BDH-CQ, 150 millions de paramètres, frôle GPT-5.6 Luna Low pour 11 fois moins cher
Un écart de moins de cinq points peut masquer une différence de prix supérieure à un facteur dix. Sur ARC-AGI-1, le modèle BDH-CQ de Pathway, limité à 150 millions de paramètres, atteint presque le niveau d’un modèle présenté comme bien plus puissant — pour une fraction du coût.
Le score ne raconte pas toute l’histoire
BDH-CQ obtient 29,5 % en pass@2 sur ARC-AGI-1. En comparaison, GPT-5.6 Luna Low atteint 34,2 % sur le même benchmark. L’écart est de 4,7 points en valeur absolue, soit environ 13,7 % de performance en moins par rapport au score de GPT-5.6.
À première vue, l’avantage reste au modèle d’OpenAI. Mais le rapport de coût présenté par Pathway modifie fortement la lecture du résultat : une tâche traitée par BDH-CQ reviendrait à 0,0007 dollar, soit moins d’un dixième de centime. Le coût annoncé pour GPT-5.6 Luna Low serait environ 11 fois supérieur, autour de 0,0077 dollar par tâche selon cette comparaison.
La performance n’est donc pas seulement une question de score maximal. À qualité proche, le nombre de problèmes pouvant être traités avec un budget donné devient une métrique aussi importante que la taille du modèle ou son résultat brut sur un benchmark.
Un benchmark conçu pour piéger les automatismes
ARC-AGI-1 évalue des capacités de raisonnement abstrait à partir de grilles visuelles. Le système doit identifier une règle à partir de quelques exemples, puis l’appliquer à une nouvelle grille. Les tâches sont généralement courtes, mais elles demandent de repérer des transformations qui ne se résument pas à une simple corrélation statistique.
Le benchmark est réputé difficile pour les modèles entraînés principalement sur de grands volumes de texte. Il privilégie la capacité à généraliser à partir de peu d’exemples, un scénario différent de la génération de réponses ou de la récupération d’informations.
Le pass@2 signifie qu’un modèle dispose de deux tentatives et que l’évaluation mesure la probabilité qu’au moins une réponse soit correcte. Cette précision est importante : le score dépend du nombre d’échantillons produits, de la stratégie de sélection et du budget de calcul autorisé. Une comparaison de coûts doit donc tenir compte non seulement du modèle, mais aussi du nombre de tentatives et du processus d’inférence.
BDH-CQ mise sur un raisonnement qui reste invisible
La particularité de BDH-CQ ne tient pas uniquement à ses 150 millions de paramètres. Le modèle utilise un raisonnement latent récurrent : au lieu de produire une longue chaîne de pensée sous forme de texte, il effectue plusieurs étapes de calcul dans un état interne.
Autrement dit, le modèle peut poursuivre son raisonnement sans afficher une succession de phrases intermédiaires. Cette approche évite de générer, puis de relire, de nombreux tokens consacrés à la description du raisonnement. Elle peut réduire la facture d’inférence, en particulier lorsque la tâche exige plusieurs étapes de recherche avant de parvenir à une réponse.
La récursivité comme budget de calcul
Dans un modèle classique, une réponse plus complexe implique souvent davantage de tokens générés, donc davantage de calcul et un coût plus élevé. Avec une architecture récurrente, une partie de ce travail peut rester confinée à des représentations internes réutilisées au fil des étapes.
Ce choix ne transforme pas automatiquement un petit modèle en système généraliste. Il suggère toutefois qu’une partie des gains attribués aux très grands modèles peut venir de la manière dont le calcul est organisé, et pas seulement du nombre de paramètres. Un modèle compact, spécialisé dans un type de raisonnement, peut ainsi consacrer une part importante de ses ressources à la résolution effective du problème plutôt qu’à la formulation d’une explication détaillée.
Le revers est une moindre transparence. Une chaîne de pensée textuelle n’est pas une garantie de fiabilité, mais elle fournit au moins des éléments inspectables. Avec un raisonnement latent, l’analyse du processus passe par les activations internes, les sorties intermédiaires contrôlées ou des outils spécifiques d’interprétabilité. Le modèle peut être moins coûteux tout en étant plus difficile à auditer.
Le coût par tâche devient une métrique stratégique
Le calcul de Pathway est particulièrement significatif pour les usages où le volume domine. À 0,0007 dollar par tâche, un million de tâches coûterait environ 700 dollars, hors coûts annexes liés au matériel, au stockage, au déploiement et à l’ingénierie. À coût unitaire équivalent, le modèle de référence à 11 fois plus cher atteindrait environ 7 700 dollars pour le même volume.
Cette différence peut peser dans des applications où chaque requête génère une décision intermédiaire : contrôle de données, classement, vérification de sorties, recherche combinatoire ou orchestration d’agents. Dans ces scénarios, gagner quelques points de benchmark tout en multipliant la dépense peut devenir moins intéressant qu’accepter une légère baisse de précision et traiter davantage de cas.
La limite est que le coût annoncé ne constitue pas une constante universelle. Il dépend du matériel utilisé, du taux d’utilisation des accélérateurs, de la longueur des calculs, du nombre de tentatives et des méthodes de déploiement. Le chiffre de 0,0007 dollar doit donc être compris comme une estimation dans un cadre expérimental, pas comme un tarif garanti pour chaque infrastructure.
Une avance à confirmer hors d’ARC-AGI-1
Le résultat ne signifie pas que BDH-CQ possède les capacités générales de GPT-5.6. ARC-AGI-1 mesure un ensemble précis de compétences, et un modèle optimisé pour ce type de problèmes peut obtenir un bon résultat sans être performant en conversation, en programmation ou en traitement documentaire.
La comparaison reste néanmoins instructive. Elle montre qu’un écart de taille spectaculaire ne se traduit pas nécessairement par un écart proportionnel sur toutes les tâches. Elle rappelle aussi que la course à l’IA ne se mesure plus uniquement en paramètres, en longueur de contexte ou en score maximal : le coût d’une réponse correcte, la latence et la capacité à fonctionner sur des infrastructures modestes deviennent des critères de sélection concrets.
Le prochain jalon sera une reproduction indépendante des résultats, avec des protocoles identiques pour le nombre de tentatives et le budget de calcul, puis une évaluation sur des tâches extérieures à ARC-AGI-1. Si BDH-CQ conserve un score proche de 30 % tout en maintenant un coût inférieur à un centime par tâche, la pression s’accentuera sur les modèles géants : pour de nombreux usages, la question ne sera plus seulement de savoir quel système obtient le meilleur score, mais combien de problèmes il peut résoudre pour un dollar.
