Gemini 4 Neon arrive deuxième sur 4 200 sessions, mais Google revendique le score
Le vrai test d’un assistant IA ne se joue plus seulement sur une question d’examen ou un problème de logique. Avec Gemini 4 Neon, Google met en avant des performances obtenues sur des sessions d’agents et sur la génération de code sécurisé — deux terrains où la capacité à enchaîner correctement les actions compte autant que la qualité d’une réponse isolée.
Google positionne Gemini 4 Neon sur les tâches longues
Présenté en novembre 2026, Gemini 4 Neon est décrit par Google comme un modèle conçu pour le code et les agents capables d’exécuter des tâches longues. Cette orientation dépasse le simple modèle conversationnel : un agent doit interpréter un objectif, le décomposer en étapes, utiliser des outils, vérifier ses résultats et corriger ses erreurs lorsque l’exécution ne se déroule pas comme prévu.
Dans un environnement de développement, cela peut se traduire par la modification de plusieurs fichiers, l’exécution de tests, l’analyse d’une erreur puis la production d’un correctif. Dans d’autres contextes, l’agent peut devoir naviguer entre plusieurs applications ou manipuler des données selon une procédure définie.
Cette chaîne d’actions introduit des difficultés absentes de nombreux tests théoriques. Une réponse peut être pertinente sur le plan textuel tout en échouant dès qu’elle doit être appliquée dans un environnement réel. Une mauvaise décision prise au début d’un workflow peut également rendre inutiles les étapes suivantes.
Une deuxième place sur plus de 4 200 sessions
Selon Google, Gemini 4 Neon a obtenu la deuxième place de l’Agent Arena Index d’Arena, avec un score de 1 336. Le classement s’appuie, d’après l’entreprise, sur plus de 4 200 sessions d’agents réelles.
Le choix de sessions plutôt que de questions standardisées est significatif. Il vise à mesurer la capacité d’un modèle à conduire une tâche jusqu’à son terme, et pas seulement à produire une réponse correcte dans un contexte court. Cette approche peut mieux refléter les difficultés rencontrées par les utilisateurs : ambiguïtés dans les consignes, erreurs d’outils, résultats intermédiaires incomplets ou nécessité de revenir sur une décision précédente.
La deuxième place constitue donc un signal intéressant sur la maturité opérationnelle du modèle. Elle ne permet toutefois pas, à elle seule, de mesurer précisément l’écart avec le premier du classement. Le score de 1 336 n’est interprétable qu’en fonction du protocole complet : modèles concurrents, critères de notation, outils disponibles, durée des sessions et poids accordé aux interventions humaines.
La notion de session « réelle » mérite également d’être examinée. Elle peut désigner des interactions produites dans un environnement d’utilisation authentique, mais elle ne renseigne pas nécessairement sur la diversité des tâches ni sur leur niveau de difficulté. Un classement de ce type peut aussi être sensible à la manière dont les agents sont configurés autour du modèle : instructions système, mécanismes de reprise, accès aux outils ou nombre de tentatives autorisées.
Le code sécurisé comme second indicateur
Google revendique par ailleurs un score de 76 % sur le niveau difficile d’AutoBaxBench, un test consacré à la génération de code sécurisé.
Ce résultat porte sur une dimension particulièrement sensible des assistants de programmation. Générer du code qui fonctionne ne suffit pas : il faut aussi éviter l’introduction de vulnérabilités, respecter les contraintes de sécurité et conserver un comportement prévisible dans les cas limites. Cette exigence est d’autant plus importante lorsque le code produit par un agent est capable de modifier automatiquement un projet ou de lancer des commandes.
Là encore, le chiffre doit être lu avec prudence. Google présente ce résultat, mais aucune évaluation indépendante n’est fournie dans les éléments communiqués. Les performances peuvent varier selon le langage utilisé, la nature des vulnérabilités recherchées, la possibilité pour le modèle de relire son propre code et le nombre de corrections qu’il est autorisé à effectuer.
Un score élevé sur un benchmark de sécurité ne garantit donc pas l’absence de défauts dans un projet réel. Il indique plutôt que le modèle répond correctement à un ensemble défini de scénarios. La validation humaine, l’analyse statique et les tests d’intrusion restent nécessaires avant toute mise en production.
Le déplacement du débat, des examens vers l’exécution
Les annonces autour de Gemini 4 Neon illustrent une évolution des critères de comparaison entre modèles. Les résultats sur les examens de connaissances ou les problèmes mathématiques restent utiles pour mesurer certaines capacités générales. Ils disent toutefois peu de choses sur la fiabilité d’un système qui doit agir pendant plusieurs minutes, voire davantage, dans un environnement doté d’outils.
Pour les agents, les indicateurs les plus importants deviennent plus concrets : taux de réussite complet, nombre d’interventions humaines, capacité à récupérer après une erreur, durée d’exécution, coût en calcul et fréquence des actions dangereuses. Un agent qui termine une tâche en consommant trop de ressources ou en nécessitant plusieurs corrections peut être moins utile qu’un modèle légèrement moins performant, mais plus prévisible.
Cette logique explique l’intérêt de l’Agent Arena Index. Si le protocole est suffisamment transparent et reproductible, il peut fournir un complément aux tests académiques. Il reste toutefois nécessaire de distinguer la performance du modèle de celle de l’ensemble qui l’entoure. Les outils, les règles d’orchestration et les mécanismes de contrôle participent directement au résultat final.
Une avancée à confirmer hors du discours de Google
Les deux chiffres mis en avant — 1 336 points et 76 % — dessinent un modèle compétitif sur les usages d’agents et le code sécurisé. Ils ne constituent pas encore une preuve indépendante que Gemini 4 Neon est le meilleur choix pour les environnements professionnels.
Le prochain jalon sera la reproduction de ces résultats par des évaluateurs externes, avec des protocoles publiés et des comparaisons contrôlées. Il faudra notamment vérifier la place de Gemini 4 Neon dans l’Agent Arena Index sur une période plus longue, mesurer ses performances avec les mêmes outils que ses concurrents et suivre son taux d’échec sur des projets de code réels.
Le passage des assistants capables de répondre aux agents capables d’agir se mesurera alors moins à leur rang dans un classement qu’au nombre de tâches terminées sans supervision, au coût de chaque exécution et aux erreurs évitées. C’est sur ces indicateurs opérationnels que Gemini 4 Neon devra désormais confirmer les promesses avancées par Google.