GPT-3, OpenAI playground : un rendu presque humain
GPT-3, (ne pas confondre avec ChatGPT) ou transformateur préformé génératif de troisième génération, est un modèle d'apprentissage automatique à base de réseaux neuronaux formé à partir de données Internet pour générer tout type de texte. Développé par OpenAI, il nécessite une petite quantité de texte en entrée pour générer de grands volumes de textes pertinents et sophistiqués générés par la machine.
Qu'est-ce que GPT-3 ?
Le réseau neuronal d'apprentissage profond de GPT-3 est un modèle comportant plus de 175 milliards de paramètres d'apprentissage automatique. Pour mettre les choses à l'échelle, le plus grand modèle de langage entraîné avant GPT-3 était le modèle Turing Natural Language Generation (NLG) de Microsoft, qui comptait 10 milliards de paramètres. Début 2021, GPT-3 est le plus grand réseau neuronal jamais produit. Par conséquent, GPT-3 est meilleur que tout autre modèle antérieur pour produire un texte suffisamment convaincant pour donner l'impression qu'un humain aurait pu l'écrire.
De quoi est capable GPT-3 ?
Le GPT-3 traite les entrées de texte pour effectuer une variété de tâches en langage naturel. Il utilise à la fois la génération de langage naturel et le traitement du langage naturel pour comprendre et générer des textes en langage humain naturel. La génération de contenu compréhensible pour les humains a toujours été un défi pour les machines qui ne connaissent pas les complexités et les nuances du langage, mais GPT-3 est formé pour générer un texte humain réaliste. GPT-3 a été utilisé pour créer des articles, de la poésie, des histoires, des reportages et des dialogues à partir d'une petite quantité de texte d'entrée qui peut être utilisée pour produire de grandes quantités de copies.
GPT-3 peut créer tout ce qui a une structure textuelle, et pas seulement du texte en langage humain. Il peut également générer des résumés de texte et même du code de programmation.
ChatGPT et GPT-3.5
Quant à ChatGPT, le générateur de texte qui fait tant parler, OpenAI précise qu’il est basé sur un modèle de la série GPT-3.5, entraîné sur les infrastructures de Microsoft Azure AI. Trois des modèles d’OpenAI sont issus de GPT-3.5 :
- code-davinci-002 : le modèle de base ;
- text-davinci-002 : un modèle InstructGPT basé sur le précédent ;
- text-davinci-003 : une amélioration du modèle précédent.
Le processus d’apprentissage permet à ces technologies d’intégrer des données spécifiques pour apporter une réponse plus pertinente aux différentes requêtes.
