Que sont devenus les co-auteurs du papier sur les Transformers après leur passage chez Google Brain ?
Depuis décembre 2017, les huit co-auteurs de l'article sur les Transformers ont fait un long chemin dans le monde de l'intelligence artificielle.
Le document intitulé "Attention Is All You Need" est un article de recherche publié en 2017 par Vaswani et al. (incluant les huit co-auteurs mentionnés précédemment). L'objectif de cet article est de présenter une nouvelle architecture de réseau de neurones appelée "Transformer".
Les modèles dominants de l'époque pour la traduction de séquences étaient basés sur des réseaux de neurones récurrents ou convolutionnels complexes, comprenant un encodeur et un décodeur. Les meilleurs modèles utilisaient également un mécanisme d'attention pour connecter l'encodeur et le décodeur.
Le Transformer, en revanche, repose entièrement sur des mécanismes d'attention, éliminant ainsi complètement les récurrences et les convolutions. Les expériences menées lors de deux tâches de traduction automatique démontrent que ces modèles sont non seulement supérieurs en qualité, mais également plus facilement parallélisables et nécessitent nettement moins de temps pour être entraînés.
L'article a eu un impact significatif dans le domaine du traitement automatique de la langue et de l'apprentissage profond, puisque l'architecture Transformer est devenue la base de nombreux modèles d'intelligence artificielle tels que BERT, GPT et d'autres, développés notamment par Google et OpenAI.
Voici un résumé de leurs projets actuels :
Ashish Vaswani
Ashish Vaswani (@ashVaswani) a quitté Google fin 2021 pour fonder Adept AI Labs (@AdeptAILabs) qui a levé jusqu'à présent 415 millions de dollars et est évaluée à plus de 1 milliard de dollars. Il semble que la société se porte bien et compte déjà 40 employés. Ashish aurait également quitté Adept il y a quelques mois.
Noam Shazeer
Après vingt ans passés chez Google, Noam Shazeer (@NoamShazeer) a quitté l'entreprise fin 2021 pour fonder Character.ai (@character_ai) avec son ami Daniel De Freitas (@dan_defr). Ils ont levé près de 200 millions de dollars à ce jour et sont presque licorne, avec une efficacité impressionnante et environ 20 employés.
Niki Parmar
Niki Parmar (@nikiparmar09), la seule femme auteure du papier sur les Transformers, a quitté Google fin 2021 et est co-fondatrice d'Adept AI Labs (@AdeptAILabs). Niki aurait également quitté Adept quelques mois auparavant.
Jakob Uszkoreit
Jakob Uszkoreit (@kyosu), considéré par beaucoup comme le principal cerveau derrière l'architecture des Transformers, a quitté Google à la mi-2021 et a cofondé Inceptive Labs (@Inceptive_labs), une entreprise conçue pour concevoir des ARNm avec des réseaux de neurones. Ils ont jusqu'à présent levé 20 millions de dollars et viennent de dépasser 20 employés.
Llion Jones
Llion Jones (@YesThisIsLion) travaille toujours chez Google. Il prétend avoir apporté la contribution la plus significative à l'article : la rédaction du titre.
Aidan Gomez
Aidan Gomez (@aidangomezzz) a quitté Google Brain en septembre 2019 pour fonder Cohere (@CohereAI). Jusqu'à présent, ils ont levé près de 400 millions de dollars. Cohere a récemment dépassé les 180 employés et continue de se développer après trois ans d'existence.
Lukasz Kaiser
Lukasz Kaiser (@lukaszkaiser), l'un des co-créateurs de TensorFlow (@TensorFlow), a quitté Google à la mi-2021 pour rejoindre OpenAI (@OpenAI).
Illia Polosukhin
Illia Polosukhin (@ilblackdragon) a quitté Google en février 2017. Il a fondé NEAR Protocol (@NEARProtocol) en juin 2017, un concurrent d'Ethereum et Solana. NEAR est actuellement évalué à environ 2 milliards de dollars. Il semble qu'ils aient levé 375 millions de dollars et réalisé de nombreux tours secondaires.
Ces ex-collaborateurs de Google Brain continuent d'avoir un impact significatif sur le paysage de l'intelligence artificielle et de la technologie, chacun suivant sa propre voie entrepreneurial après leur travail en collaboration sur les Transformers.
Source : Twitter