Ouvrir la boîte noire : L'interprétabilité mécaniste des LLMs
- Category
- AI & ML
- Format
- Session — 40 minutes
- Audience level
- Intermediate
Les grands modèles de langage (LLM) sont souvent perçus comme des boîtes noires opaques dont le fonctionnement interne demeure complexe à déchiffrer. L'interprétabilité mécaniste cherche à résoudre ce problème en décompilant les poids des réseaux de neurones pour révéler des algorithmes lisibles et compréhensibles par l'humain. Comment s'assurer qu'un agent fondé sur un grand modèle de langage (LLM) est véritablement aligné et non simplement en train de produire des réponses trompeuses? À mesure que les modèles gagnent en autonomie, l'analyse de leurs seules entrées et sorties ne suffit plus. L'interprétabilité mécaniste cherche à résoudre ce problème en décompilant les poids des réseaux de neurones pour révéler les algorithmes sous-jacents, à la manière d'une décompilation de code binaire en code source. Dans cette présentation, nous explorerons les fondements de cette approche, du phénomène d'apprentissage abrupt (grokking) jusqu'à l'utilisation des autoencodeurs épars (Sparse Autoencoders ou SAE) pour démêler les concepts représentés par le modèle. Nous présenterons Kiji Inspector, un pipeline développé au Dataiku 575 lab pour analyser le comportement des agents au moment pré
Speakers
David Cardozo
Sr AI Engineer · Dataiku
Data Scientist and technologist focused on building embedded systems to use novel techniques, and state of the art technologies (Podman, Balena, TensorFlow, Flutter) in machine learning. Software developer with experience in software exploitation, information security, open-source development and DevOps practices. Community leader for the data science community in Colombia and guest lecturer for computer science. Currently working as Senior AI Engineer at dataiku