Superviser l’IA : de la boîte noire au tableau de bord de confiance.
Par Samuel Desseaux — CEO d’Erythix
Paris Monitoring Day 2025
Les modèles de langage (LLM) s’invitent désormais dans tous les environnements métiers : copilotes, assistants, chatbots, agents conversationnels…
Mais leur mise en production se fait souvent à l’aveugle.
Contrairement à une application classique, un LLM n’est ni déterministe ni figé : il apprend, évolue, dérive… et parfois, hallucine.
Ce talk propose un changement de perspective : sortir du fantasme de l’IA autonome pour reprendre la main, grâce à une approche fondée sur la supervision, l’observabilité et la lisibilité métier.
Car une IA sans pilotage, c’est une boîte noire — et donc le risque de dérives, de surcoûts ou d’erreurs critiques, invisibles jusqu’à ce qu’il soit trop tard.
Du monitoring technique à l’observabilité cognitive
Superviser un modèle d’IA, ce n’est pas seulement mesurer la latence ou le nombre de tokens consommés.
C’est apprendre à observer le comportement et la logique interne du modèle à travers de nouveaux indicateurs — des SLI cognitifs :
- dérive comportementale,
- taux d’hallucination,
- coût par token utile,
- stabilité des réponses,
- scores de sécurité et de conformité (RGPD, AI Act…).
Cette approche replace le monitoring au cœur de la confiance :
comprendre pour maîtriser, observer pour piloter.
Deux angles pour reprendre le contrôle
Samuel Desseaux explorera deux dimensions complémentaires :
🔹 Boîte noire ou tableau de bord ?
Comment rendre les IA intelligibles et pilotables, avec des métriques explicables, des alertes utiles et des indicateurs alignés sur les véritables enjeux : qualité, conformité, performance.
🔹 Checklist de déploiement IA
Que faut-il absolument prévoir pour éviter les erreurs classiques ?
Quels oublis coûtent cher ?
Comment structurer une gouvernance IA accessible, utile et durable ?
Cas concrets et outils
À travers des exemples issus de l’industrie, des collectivités et des services numériques, Samuel montrera comment combiner des outils comme OpenTelemetry, Langfuse, Grafana ou Phoenix (Arize) pour construire une supervision adaptée aux LLM.
L’objectif : bâtir des tableaux de bord de confiance où la performance, la conformité et la compréhension humaine se rejoignent.
Le message clé est limpide : Déployer une IA sans supervision, c’est comme piloter une entreprise sans tableau de bord.
Une IA lisible, pilotable, responsable
Il est temps de sortir de l’illusion technologique et de construire une IA lisible, pilotable et responsable.
Dans un monde où l’intelligence artificielle devient un levier stratégique, l’observabilité n’est plus une contrainte technique :
c’est un facteur de fiabilité, de conformité et de performance.
Un pionnier fidèle du Paris Monitoring Day
Présent depuis les débuts, Samuel Desseaux fait partie des pionniers du Paris Monitoring Day.
Toujours disponible, généreux dans le partage, il incarne la philosophie de l’événement : une communauté ouverte, exigeante et passionnée par les enjeux du monitoring et de l’observabilité.
Ne manquez pas sa présentation le 25 novembre 2025 au Paris Monitoring Day à Paris.
ParisMonitoringDay #Monitoring #Observabilité #IA #LLM #MLOps #AIObservability #Erythix #TechForGood #DataReliability
