L'IA et le test des lettres majuscules : une méthode surprenante pour distinguer les humains des IA

L'IA et le test des lettres majuscules : une méthode infaillible pour distinguer les humains des IA

Dans le monde de l'intelligence artificielle, une nouvelle méthode a vu le jour pour distinguer les humains des IA : le test des lettres majuscules. Cette astuce, qui consiste à poser des questions en utilisant des lettres majuscules, semble dérouter les intelligences artificielles comme ChatGPT, alors que les humains peuvent facilement donner la bonne réponse.

Le test de Turing revisité

L'idée rappelle le test de Turing, proposé pour la première fois par le scientifique informatique Alan Turing en 1950. Selon lui, une IA serait considérée comme véritablement intelligente une fois que nous ne pourrions plus distinguer ses réponses de celles d'un humain. Mais maintenant que les grands modèles de langage (LLM) comme ChatGPT peuvent sonner de manière convaincante comme des humains, Hong Wang de l'Université de Californie à Santa Barbara (UCSB) et ses collègues ont voulu trouver d'autres moyens de débusquer les machines.

Deux tests pour déjouer les IA

Après avoir envisagé un certain nombre d'options, l'équipe a retenu deux tests. L'un demande au LLM d'identifier ce qui est représenté dans des images créées à l'aide de caractères de texte, connues sous le nom d'art ASCII. L'autre pose des questions obscurcies par des lettres majuscules qui changent le sens des mots ou produisent des absurdités : par exemple, "isCURIOSITY waterARCANE wetTURBULENT orILLUSION drySAUNA?" (l'eau est-elle mouillée ou sèche ?), pour laquelle la réponse attendue est "mouillée".

L'équipe a testé cinq LLM, dont GPT-3 d'OpenAI et ChatGPT, et LLaMA de Meta. Tous ont échoué au test des lettres majuscules, et seul ChatGPT a réussi à marquer des points au test ASCII, avec une maigre précision de 8 %. En comparaison, lorsque l'équipe a demandé à 10 personnes de passer les mêmes tests, elles ont obtenu une précision de 100 % au test des lettres majuscules et de 94 % au test ASCII.

Pourquoi les IA échouent-elles ?

Selon Wang, il n'est pas surprenant que les gens réussissent facilement le test des lettres majuscules. "Les humains aiment trouver et reconnaître des motifs", dit-il. "Pour les bots, ces lettres majuscules et minuscules forment un seul mot, et ils ne savent pas comment en exclure une partie."

Nafise Sadat Moosavi, de l'Université de Sheffield, au Royaume-Uni, qui n'a pas participé à l'étude, estime que, bien que les LLM échouent aux tests actuellement, ils pourraient être en mesure de les réussir avec une formation supplémentaire, rendant les tests inutiles. "Je ne pense pas que les solutions proposées puissent être un moyen définitif d'identifier un bot d'un humain", dit-elle.

Cependant, Weizhi Wang, également de l'UCSB, membre de l'équipe, estime que les LLM ne seront pas en mesure de réussir le test des lettres majuscules en raison de la manière dont ils découpent le texte en morceaux pour traiter les données, un processus connu sous le nom de tokenisation. "Les humains comprennent le test au niveau des mots", dit-il. "Si vous divisez le mot en différents tokens, la machine a du mal."