26 000 mots pour lire les neurones d’une IA, DeepMind juge l’idée insuffisante

La boîte noire de l’intelligence artificielle aurait-elle des fenêtres ? Un essai de 26 000 mots soutient que certains neurones des réseaux de neurones remplissent des fonctions cohérentes et identifiables — une hypothèse prometteuse, mais déjà contestée par des spécialistes de l’interprétabilité.

Un neurone qui reconnaît une forme, pas un objet

Le 16 octobre, The Atlantic a rapporté les travaux de Nick Cammarata, chercheur chez Goodfire et ancien membre d’OpenAI. Dans un long essai, celui-ci défend une idée simple en apparence : les neurones artificiels ne seraient pas systématiquement des unités opaques, activées par des associations impossibles à démêler.

L’exemple central concerne un neurone qui réagit à des formes en V. Il ne s’activerait pas indifféremment devant des objets visuellement éloignés, comme des chats ou des voitures. Son comportement semblerait plutôt lié à une propriété géométrique précise, commune à différentes images.

Cette observation est importante, car elle déplace la question. Au lieu de chercher uniquement ce qu’un modèle reconnaît — un chat, une voiture, un visage — l’interprétabilité tente de déterminer quelles représentations internes lui permettent d’aboutir à cette réponse. Dans cette perspective, un neurone pourrait correspondre à une forme, une texture, une relation spatiale ou un fragment de concept.

L’essai de Cammarata avance que ces fonctions cohérentes ne seraient pas des exceptions anecdotiques. Elles pourraient constituer une propriété plus générale des réseaux, au moins dans certaines architectures et pour certaines tâches.

Le vieux problème des neurones « poly­sémantiques »

La thèse s’attaque à l’un des obstacles historiques de l’interprétabilité des modèles : la polysemanticité. Un même neurone peut, dans certains cas, répondre à plusieurs motifs qui semblent sans rapport direct. Il peut s’activer pour une couleur dans une image, puis pour une texture ou une partie d’objet dans un autre contexte.

Cette situation a longtemps alimenté l’image de modèles composés de milliards de petits mécanismes indéchiffrables. Même lorsqu’un neurone présente une corrélation identifiable, rien ne garantit que cette corrélation représente une fonction stable ou réellement utilisée par le modèle.

Cammarata propose une lecture moins pessimiste. Les neurones pourraient souvent avoir une fonction principale, mais celle-ci resterait difficile à isoler à cause de la complexité des données, des interactions entre couches et de la manière dont les activations sont mesurées. Une unité qui paraît incohérente lorsqu’elle est observée sur quelques exemples pourrait révéler une logique plus précise avec un échantillon suffisamment large.

Cette approche s’inscrit dans le courant de l’interprétabilité mécaniste, qui cherche à reconstruire les circuits internes d’un modèle plutôt qu’à se contenter de comparer ses entrées et ses sorties. L’objectif n’est pas seulement de décrire les activations, mais de comprendre leur rôle causal : que se passe-t-il si une unité est inhibée, amplifiée ou remplacée ?

L’approbation de Sam Altman ne vaut pas validation scientifique

Le texte a reçu un soutien visible de Sam Altman, dirigeant d’OpenAI. Cette approbation confère une forte visibilité à une proposition encore loin d’être établie. Elle rappelle aussi l’enjeu industriel de l’interprétabilité : mieux comprendre les modèles permettrait potentiellement de détecter leurs erreurs, de repérer des comportements indésirables et de contrôler plus finement leurs décisions.

Mais un texte de chercheur, même long et documenté, ne constitue pas à lui seul une démonstration scientifique. Les résultats évoqués concernent surtout des modèles de vision, dont les représentations peuvent être plus faciles à visualiser que celles de grands modèles de langage. Une forme en V se prête directement à l’examen d’une image ; un concept abstrait manipulé dans une conversation est beaucoup plus difficile à relier à une unité précise.

Surtout, les travaux présentés restent une hypothèse de travail et n’ont pas encore fait l’objet d’une évaluation par les pairs. Leur portée devra être testée sur davantage de modèles, de jeux de données et de tâches, avec des protocoles capables de distinguer une véritable fonction interne d’une simple coïncidence statistique.

Comprendre un neurone ne suffit pas à comprendre le modèle

La critique la plus nette vient de Neel Nanda, responsable de l’interprétabilité mécaniste chez Google DeepMind. Selon lui, interpréter chaque neurone ne permet pas nécessairement de comprendre le fonctionnement global d’un modèle.

L’objection est centrale. Un réseau de neurones ne fonctionne pas comme une collection de petits experts indépendants, chacun chargé d’un concept clairement délimité. Les représentations sont distribuées, et une même décision peut dépendre de l’interaction entre plusieurs couches, plusieurs milliers d’unités et différents circuits.

Identifier un neurone sensible aux formes en V ne permet donc pas automatiquement de savoir s’il joue un rôle essentiel dans la classification finale. Il peut s’agir d’un signal redondant, d’un indice utilisé seulement dans certains contextes, ou d’un artefact créé par la méthode d’analyse. À l’inverse, une fonction décisive peut être répartie entre de nombreuses unités, sans apparaître dans l’examen d’un neurone isolé.

La distinction entre corrélation et causalité devient ici déterminante. Observer qu’un neurone s’active en présence d’un motif ne prouve pas que le modèle s’appuie effectivement sur ce motif pour produire sa réponse. Il faut encore intervenir sur le réseau, mesurer les conséquences et reconstituer les chaînes de calcul.

Une piste crédible, pas encore une carte des modèles

Le désaccord ne porte donc pas seulement sur la lisibilité des neurones. Il oppose deux niveaux d’analyse. Le premier cherche des unités compréhensibles et des motifs visuels cohérents. Le second veut reconstruire les circuits complets qui relient ces unités aux sorties du modèle.

Les deux approches peuvent se compléter. Une meilleure connaissance des neurones pourrait fournir les briques élémentaires nécessaires à l’étude des circuits. Mais confondre ces briques avec une explication complète ferait courir le risque de produire une interprétabilité de façade : des descriptions séduisantes, sans garantie sur le comportement réel du système.

Le prochain jalon sera concret : vérifier si les fonctions observées par Nick Cammarata se retrouvent dans d’autres modèles de vision, puis déterminer si elles prédisent et modifient effectivement les décisions du réseau. Si ces tests sont concluants, l’interprétabilité gagnera un outil de diagnostic utile. Dans le cas contraire, l’idée d’un neurone artificiel lisible restera une intuition intéressante, mais insuffisante pour percer le fonctionnement global des IA.