DevFest Montréal 2026

← Back to the programme
4-5 · Never Gonna Give You UpFrench

Ouvrir la boîte noire : L'interprétabilité mécaniste des LLMs

Category
AI & ML
Format
Session — 40 minutes
Audience level
Intermediate

Les grands modèles de langage (LLM) sont souvent perçus comme des boîtes noires opaques dont le fonctionnement interne demeure complexe à déchiffrer. L'interprétabilité mécaniste cherche à résoudre ce problème en décompilant les poids des réseaux de neurones pour révéler des algorithmes lisibles et compréhensibles par l'humain. Comment s'assurer qu'un agent fondé sur un grand modèle de langage (LLM) est véritablement aligné et non simplement en train de produire des réponses trompeuses? À mesure que les modèles gagnent en autonomie, l'analyse de leurs seules entrées et sorties ne suffit plus. L'interprétabilité mécaniste cherche à résoudre ce problème en décompilant les poids des réseaux de neurones pour révéler les algorithmes sous-jacents, à la manière d'une décompilation de code binaire en code source. Dans cette présentation, nous explorerons les fondements de cette approche, du phénomène d'apprentissage abrupt (grokking) jusqu'à l'utilisation des autoencodeurs épars (Sparse Autoencoders ou SAE) pour démêler les concepts représentés par le modèle. Nous présenterons Kiji Inspector, un pipeline développé au Dataiku 575 lab pour analyser le comportement des agents au moment pré

Speakers

David Cardozo

Sr AI Engineer · Dataiku

Data Scientist and technologist focused on building embedded systems to use novel techniques, and state of the art technologies (Podman, Balena, TensorFlow, Flutter) in machine learning. Software developer with experience in software exploitation, information security, open-source development and DevOps practices. Community leader for the data science community in Colombia and guest lecturer for computer science. Currently working as Senior AI Engineer at dataiku