Les Détecteurs d'Écriture IA : Une Fiabilité Mise en Doute par OpenAI

L'ascension des modèles de langage artificiel tels que ChatGPT a suscité un intérêt croissant pour des outils capables de détecter le contenu généré par IA. Cependant, OpenAI, la firme derrière ChatGPT, a récemment clarifié un point crucial : les détecteurs d'écriture par IA ne fonctionnent pas.

Une Clarification Nécessaire

Suite à un article promotionnel offrant des conseils aux éducateurs sur l'utilisation de ChatGPT en tant qu'aide pédagogique, OpenAI a également publié une FAQ connexe. Un point particulièrement notable dans cette FAQ concerne l'efficacité des détecteurs de contenu généré par IA.

"En bref, non. Bien que certains (y compris OpenAI) aient lancé des outils prétendant détecter le contenu généré par IA, aucun d'entre eux n'a prouvé qu'il pouvait distinguer de manière fiable entre le contenu généré par IA et celui créé par des humains."

Les Limites Actuelles des Détecteurs

L'inefficacité de ces détecteurs d'écriture n'est pas une nouvelle révélation. En juillet, un examen approfondi des détecteurs tels que GPTZero a révélé que beaucoup les considèrent comme étant principalement de la "poudre de perlimpinpin". Ces outils produisent souvent de faux positifs car ils se basent sur des métriques de détection non éprouvées. En réalité, rien ne distingue toujours un texte écrit par IA d'un texte humain, surtout si le contenu est paraphrasé. C'est probablement l'une des raisons pour lesquelles OpenAI a mis fin à son AI Classifier, un outil expérimental conçu pour détecter les textes écrits par IA, qui avait un taux de précision déplorable de 26%.

Les Limites de ChatGPT

Outre la mise au point sur les détecteurs, la FAQ d'OpenAI aborde une autre idée fausse : ChatGPT peut-il savoir si un texte est écrit par une IA ? La réponse est claire :

"ChatGPT n'a aucune 'connaissance' de ce qui pourrait être généré par l'IA. Il peut parfois inventer des réponses à des questions telles que 'as-tu écrit ceci ?' ou 'cela aurait-il pu être écrit par une IA ?'. Ces réponses sont aléatoires et sans fondement factuel."

De plus, OpenAI met en garde contre la tendance de ses modèles à "confabuler" ou fournir de fausses informations, suggérant de ne pas se fier uniquement à ChatGPT pour des recherches, car il peut inventer des citations ou des références.

L'Humain Reste la Meilleure Solution

Bien que les outils automatisés ne soient pas efficaces, cela ne signifie pas qu'un humain ne puisse jamais détecter un texte généré par IA. Par exemple, un enseignant familier avec le style d'écriture typique d'un élève peut déceler des changements soudains dans le style ou les compétences de rédaction. De plus, certaines tentatives négligentes de présenter un travail généré par IA comme étant rédigé par un humain peuvent laisser des indices. Comme le remarque un professeur d'analyste AI fréquent et de Wharton, Ethan Mollick :

"À l'heure actuelle, l'écriture par IA est indétectable et le restera probablement. Les détecteurs d'IA ont des taux de faux positifs élevés et ne devraient donc pas être utilisés."

En somme, à l'ère actuelle de la technologie, il est recommandé de se méfier des outils de détection automatisés et de privilégier l'expertise humaine.