K2 Horizon ouvre son entraînement au public, mais ses 375 milliards ne dominent pas

La course aux modèles de pointe ne se joue plus uniquement dans les laboratoires capables de financer des systèmes propriétaires. Avec K2 Horizon, l’Institute of Foundation Models de la MBZUAI tente de remettre l’ouverture au centre du jeu — jusqu’aux traces laissées pendant l’entraînement.

Une famille de six modèles, jusqu’à 375 milliards de paramètres

Publié le 3 septembre 2026, K2 Horizon regroupe six modèles dont la taille s’étend de 0,9 milliard à 375 milliards de paramètres. Cette amplitude vise plusieurs usages : modèles légers déployables sur une infrastructure limitée, systèmes intermédiaires pour les entreprises et modèle géant destiné aux tâches les plus exigeantes.

L’ambition la plus visible se trouve dans la version de 375 milliards de paramètres, conçue pour rivaliser avec les grands modèles propriétaires et les meilleurs modèles à poids ouverts. Mais l’Institute of Foundation Models ne présente pas uniquement un modèle de pointe. Le projet cherche aussi à construire une gamme cohérente, dans laquelle les versions compactes peuvent être utilisées, adaptées et étudiées indépendamment du système géant.

Les versions de 0,9 milliard, 3,7 milliards et 7 milliards de paramètres revendiquent des records à leur échelle sur plusieurs évaluations. Ces annonces doivent toutefois être lues avec prudence : un record dépend du protocole retenu, de la version exacte du modèle, des données de test et des éventuelles étapes de fine-tuning. La comparaison n’a de valeur que si ces conditions sont homogènes entre les systèmes.

L’ouverture revendiquée va au-delà des poids

La principale originalité de K2 Horizon tient à la portée de son approche « fully open ». L’Institute of Foundation Models annonce la publication des poids, du code d’entraînement, des configurations, des journaux de formation et de certains éléments des données utilisées.

Cette liste est importante. Dans le monde des modèles open-weight, les utilisateurs peuvent généralement télécharger les poids et parfois le code d’inférence, sans avoir accès aux choix opérés pendant l’entraînement. Les informations manquantes concernent alors la composition des données, les hyperparamètres, les étapes de filtrage, les incidents rencontrés ou encore l’évolution des performances au fil des cycles.

Les journaux de formation peuvent documenter cette trajectoire : progression de la perte, consommation de calcul, changements de configuration et résultats intermédiaires. Ils ne garantissent pas à eux seuls la reproductibilité complète d’un modèle, mais ils rendent l’analyse scientifique beaucoup plus sérieuse qu’une simple mise à disposition d’un fichier de poids.

Une nuance reste essentielle : la publication « d’éléments des données » ne signifie pas nécessairement que l’intégralité du corpus d’entraînement est accessible. Les contraintes de droit d’auteur, de confidentialité et de licences peuvent limiter la mise à disposition des données originales. L’ouverture de K2 Horizon devra donc être évaluée sur le détail de ce qui est publié, et pas seulement sur l’étiquette employée.

Apache 2.0 : un choix qui vise l’adoption

Les modèles et le code sont distribués sous licence Apache 2.0, une licence permissive qui autorise notamment l’usage commercial, la modification et la redistribution, sous réserve du respect de ses conditions.

Pour les entreprises, ce choix réduit les obstacles juridiques associés à l’expérimentation et au déploiement. Pour les chercheurs, il facilite la création de variantes, la comparaison avec d’autres architectures et la publication de résultats dérivés. Pour les acteurs qui développent des outils spécialisés, la possibilité de partir d’un modèle ouvert peut aussi diminuer la dépendance aux API de fournisseurs propriétaires.

L’enjeu dépasse donc la disponibilité d’un modèle. En publiant les étapes d’entraînement, MBZUAI cherche à rendre contrôlable une partie de la chaîne de production des systèmes d’IA. Cette transparence peut aider à identifier les biais, à comprendre les limites d’un modèle et à vérifier si une amélioration provient de l’architecture, des données ou du post-entraînement.

Un géant compétitif, mais pas encore dominant

Les premières analyses indépendantes ne décrivent pas le modèle de 375 milliards de paramètres comme le nouveau leader incontesté. L’analyse publiée par CellCog le situe plutôt dans une zone compétitive face aux meilleurs modèles propriétaires et aux modèles à poids ouverts déjà disponibles.

Ce point est stratégique. La taille reste un facteur déterminant, mais elle ne suffit pas à garantir la supériorité. La qualité et la diversité des données, les méthodes de post-training, l’alignement, l’utilisation d’outils, la longueur de contexte et l’efficacité de l’inférence peuvent modifier fortement le résultat final.

Un modèle de 375 milliards de paramètres impose par ailleurs des coûts élevés. Il faut davantage de mémoire, de puissance de calcul et de bande passante pour l’exécuter, y compris avec des techniques de quantification ou de parallélisation. Dans de nombreux cas d’usage, un modèle plus petit, moins coûteux et mieux spécialisé offrira une meilleure performance opérationnelle.

C’est pourquoi les résultats des versions de 0,9, 3,7 et 7 milliards pourraient compter autant que ceux du modèle géant. Des performances élevées sur ces paliers rendent le système plus facile à déployer sur des serveurs standards ou dans des environnements privés. Elles donnent aussi aux chercheurs une base plus accessible pour reproduire les expériences.

Le logiciel libre revient au premier plan de la course

K2 Horizon s’inscrit dans un mouvement plus large : la contestation du modèle selon lequel seuls quelques groupes disposant de budgets considérables peuvent faire progresser l’état de l’art. L’ouverture des poids a déjà permis la création de nombreuses variantes et l’apparition de solutions spécialisées. L’accès au code d’entraînement et aux journaux peut franchir une étape supplémentaire en permettant d’étudier non seulement le produit final, mais aussi sa fabrication.

Cette stratégie ne supprime pas l’avantage des acteurs propriétaires. Ceux-ci conservent souvent une avance en matière de données privées, d’infrastructure, d’intégration produit et de capacité à itérer rapidement. Elle déplace toutefois le rapport de force : une entreprise ou un laboratoire peut choisir de déployer localement un modèle, d’auditer son comportement et de le modifier sans dépendre d’un fournisseur externe.

Le risque est de confondre transparence et reproductibilité parfaite. Reproduire l’entraînement d’un modèle de cette taille reste hors de portée de la plupart des équipes. L’ouverture rend la méthode inspectable, mais elle ne rend pas le calcul gratuit.

Le prochain test sera celui de la reproduction

La valeur réelle de K2 Horizon se mesurera sur trois éléments concrets : la capacité d’équipes indépendantes à reproduire ses résultats, la stabilité de ses performances sur des évaluations non sélectionnées par ses créateurs et son coût d’exploitation face à des modèles comparables.

Le prochain jalon attendu n’est donc pas seulement un nouveau classement. Ce sera la publication d’expériences externes détaillées, portant sur les données, l’entraînement et le déploiement. Si ces travaux confirment les records des petits modèles et établissent une reproduction crédible des performances du modèle de 375 milliards de paramètres, K2 Horizon pourrait imposer une référence durable pour l’IA ouverte. Sinon, il restera un projet important par sa transparence, mais encore insuffisant pour reprendre l’avantage sur les systèmes propriétaires.

Sources : Institute of Foundation Models · CellCog