Meta prévoit des modèles de recommandation "des ordres de grandeur" plus grands que GPT-4. Pourquoi ?
Dans une annonce publiée aujourd'hui, Meta a fait une affirmation remarquable visant à donner plus de clarté sur ses algorithmes de recommandation de contenu. L'entreprise se prépare pour des systèmes d'analyse du comportement "des ordres de grandeur" plus grands que les plus grands modèles de langage existants, y compris ChatGPT et GPT-4. Est-ce vraiment nécessaire ?
Des modèles de recommandation de plus en plus grands
De temps en temps, Meta décide de renouveler son engagement en faveur de la transparence en expliquant comment fonctionnent quelques-uns de ses algorithmes. Parfois, cela est révélateur ou informatif, et parfois cela ne fait que soulever d'autres questions. Cette fois-ci, c'est un peu des deux.
En plus des "cartes système" expliquant comment l'IA est utilisée dans un contexte ou une application donnée, le réseau social et publicitaire a publié un aperçu des modèles d'IA qu'il utilise. Par exemple, il peut être utile de savoir si une vidéo représente du hockey sur roller ou du roller derby, même s'il y a un certain chevauchement visuel, afin qu'elle puisse être recommandée correctement.
Meta a été parmi les organisations de recherche les plus prolifiques dans le domaine de l'IA multimodale, qui combine des données de plusieurs modalités (visuelles et auditives, par exemple) pour mieux comprendre un morceau de contenu.
Des modèles d'IA de taille gigantesque
C'est alors que survient ce petit détail intéressant alors qu'il décrit comment il développe ses ressources de calcul :
"Pour comprendre et modéliser en profondeur les préférences des gens, nos modèles de recommandation peuvent avoir des dizaines de billions de paramètres - des ordres de grandeur plus grands que même les plus grands modèles de langage utilisés aujourd'hui."
Qu'est-ce que cela signifie pour l'avenir de l'IA ?
Pensez-y : un modèle d'IA aussi grand ou plus grand que tout ce qui a été créé jusqu'à présent... ce qui entre d'un côté, c'est chaque action que vous effectuez sur les plateformes de Meta, ce qui sort de l'autre, c'est une prédiction de ce que vous ferez ou aimerez ensuite. C'est un peu effrayant, n'est-ce pas ?
Bien sûr, ils ne sont pas les seuls à faire cela. TikTok a mené la charge en matière de suivi et de recommandation algorithmiques, et a construit son empire des médias sociaux sur son flux addictif de contenu "pertinent" destiné à vous faire défiler jusqu'à ce que vos yeux vous fassent mal. Ses concurrents sont ouvertement envieux.
Meta vise clairement à aveugler les annonceurs avec la science, à la fois avec l'ambition déclarée de créer le plus grand modèle du quartier, et avec des passages comme le suivant :
"Ces systèmes comprennent les préférences comportementales des gens en utilisant des modèles d'attention à très grande échelle, des réseaux neuronaux graphiques, l'apprentissage en quelques coups, et d'autres techniques. Les# Meta prévoit des modèles de recommandation "des ordres de grandeur" plus grands que GPT-4. Pourquoi ?
Dans une annonce publiée aujourd'hui, Meta a fait une affirmation remarquable visant à donner plus de clarté sur ses algorithmes de recommandation de contenu. L'entreprise se prépare pour des systèmes d'analyse du comportement "des ordres de grandeur" plus grands que les plus grands modèles de langage existants, y compris ChatGPT et GPT-4. Est-ce vraiment nécessaire ?
Des modèles de recommandation de plus en plus grands
De temps en temps, Meta décide de renouveler son engagement en faveur de la transparence en expliquant comment fonctionnent quelques-uns de ses algorithmes. Parfois, cela est révélateur ou informatif, et parfois cela ne fait que soulever d'autres questions. Cette fois-ci, c'est un peu des deux.
En plus des "cartes système" expliquant comment l'IA est utilisée dans un contexte ou une application donnée, le réseau social et publicitaire a publié un aperçu des modèles d'IA qu'il utilise. Par exemple, il peut être utile de savoir si une vidéo représente du hockey sur roller ou du roller derby, même s'il y a un certain chevauchement visuel, afin qu'elle puisse être recommandée correctement.
Meta a été parmi les organisations de recherche les plus prolifiques dans le domaine de l'IA multimodale, qui combine des données de plusieurs modalités (visuelles et auditives, par exemple) pour mieux comprendre un morceau de contenu.
Des modèles d'IA de taille gigantesque
C'est alors que survient ce petit détail intéressant alors qu'il décrit comment il développe ses ressources de calcul :
"Pour comprendre et modéliser en profondeur les préférences des gens, nos modèles de recommandation peuvent avoir des dizaines de billions de paramètres - des ordres de grandeur plus grands que même les plus grands modèles de langage utilisés aujourd'hui."
Qu'est-ce que cela signifie pour l'avenir de l'IA ?
Pensez-y : un modèle d'IA aussi grand ou plus grand que tout ce qui a été créé jusqu'à présent... ce qui entre d'un côté, c'est chaque action que vous effectuez sur les plateformes de Meta, ce qui sort de l'autre, c'est une prédiction de ce que vous ferez ou aimerez ensuite. C'est un peu effrayant, n'est-ce pas ?
Bien sûr, ils ne sont pas les seuls à faire cela. TikTok a mené la charge en matière de suivi et de recommandation algorithmiques, et a construit son empire des médias sociaux sur son flux addictif de contenu "pertinent" destiné à vous faire défiler jusqu'à ce que vos yeux vous fassent mal. Ses concurrents sont ouvertement envieux.