Que sont devenus les co-auteurs du papier sur les Transformers après leur passage chez Google Brain ?

Depuis décembre 2017, les huit co-auteurs de l'article sur les Transformers ont fait un long chemin dans le monde de l'intelligence artificielle.

Le document intitulé "Attention Is All You Need" est un article de recherche publié en 2017 par Vaswani et al. (incluant les huit co-auteurs mentionnés précédemment). L'objectif de cet article est de présenter une nouvelle architecture de réseau de neurones appelée "Transformer".

Les modèles dominants de l'époque pour la traduction de séquences étaient basés sur des réseaux de neurones récurrents ou convolutionnels complexes, comprenant un encodeur et un décodeur. Les meilleurs modèles utilisaient également un mécanisme d'attention pour connecter l'encodeur et le décodeur.

Le Transformer, en revanche, repose entièrement sur des mécanismes d'attention, éliminant ainsi complètement les récurrences et les convolutions. Les expériences menées lors de deux tâches de traduction automatique démontrent que ces modèles sont non seulement supérieurs en qualité, mais également plus facilement parallélisables et nécessitent nettement moins de temps pour être entraînés.

L'article a eu un impact significatif dans le domaine du traitement automatique de la langue et de l'apprentissage profond, puisque l'architecture Transformer est devenue la base de nombreux modèles d'intelligence artificielle tels que BERT, GPT et d'autres, développés notamment par Google et OpenAI.

Voici un résumé de leurs projets actuels :

Ashish Vaswani

Ashish Vaswani (@ashVaswani) a quitté Google fin 2021 pour fonder Adept AI Labs (@AdeptAILabs) qui a levé jusqu'à présent 415 millions de dollars et est évaluée à plus de 1 milliard de dollars. Il semble que la société se porte bien et compte déjà 40 employés. Ashish aurait également quitté Adept il y a quelques mois.

Ashish Vaswani

Noam Shazeer

Après vingt ans passés chez Google, Noam Shazeer (@NoamShazeer) a quitté l'entreprise fin 2021 pour fonder Character.ai (@character_ai) avec son ami Daniel De Freitas (@dan_defr). Ils ont levé près de 200 millions de dollars à ce jour et sont presque licorne, avec une efficacité impressionnante et environ 20 employés.

Character.ai : discutez avec Elon Musk ou des figures historiques et fictives
Qu’est-ce que Character.AI ? Character.AI est un outil d’intelligence artificielle qui permet aux utilisateurs de créer et d’interagir avec des agents intelligents. La plateforme offre la possibilité de construire et partager des personnages animés par l’IA capables de converser, jouer à des jeux e…
Noam Shazeer

Niki Parmar

Niki Parmar (@nikiparmar09), la seule femme auteure du papier sur les Transformers, a quitté Google fin 2021 et est co-fondatrice d'Adept AI Labs (@AdeptAILabs). Niki aurait également quitté Adept quelques mois auparavant.

Niki Parmar

Jakob Uszkoreit

Jakob Uszkoreit (@kyosu), considéré par beaucoup comme le principal cerveau derrière l'architecture des Transformers, a quitté Google à la mi-2021 et a cofondé Inceptive Labs (@Inceptive_labs), une entreprise conçue pour concevoir des ARNm avec des réseaux de neurones. Ils ont jusqu'à présent levé 20 millions de dollars et viennent de dépasser 20 employés.

Jakob Uszkoreit

Llion Jones

Llion Jones (@YesThisIsLion) travaille toujours chez Google. Il prétend avoir apporté la contribution la plus significative à l'article : la rédaction du titre.

Llion Jones

Aidan Gomez

Aidan Gomez (@aidangomezzz) a quitté Google Brain en septembre 2019 pour fonder Cohere (@CohereAI). Jusqu'à présent, ils ont levé près de 400 millions de dollars. Cohere a récemment dépassé les 180 employés et continue de se développer après trois ans d'existence.

Aidan Gomez

Lukasz Kaiser

Lukasz Kaiser (@lukaszkaiser), l'un des co-créateurs de TensorFlow (@TensorFlow), a quitté Google à la mi-2021 pour rejoindre OpenAI (@OpenAI).

Lukasz Kaiser

Illia Polosukhin

Illia Polosukhin (@ilblackdragon) a quitté Google en février 2017. Il a fondé NEAR Protocol (@NEARProtocol) en juin 2017, un concurrent d'Ethereum et Solana. NEAR est actuellement évalué à environ 2 milliards de dollars. Il semble qu'ils aient levé 375 millions de dollars et réalisé de nombreux tours secondaires.

Illia Polosukhin

Ces ex-collaborateurs de Google Brain continuent d'avoir un impact significatif sur le paysage de l'intelligence artificielle et de la technologie, chacun suivant sa propre voie entrepreneurial après leur travail en collaboration sur les Transformers.

Source : Twitter