OpenAI lance Superalignment pour contrôler les systèmes d'IA plus intelligents que nous
OpenAI, l'organisation de recherche en intelligence artificielle, a annoncé le lancement de Superalignment, une nouvelle équipe dédiée à la résolution des défis techniques liés à l'alignement de la superintelligence. Cette initiative est co-dirigée par Ilya Sutskever et Jan Leike.
Qu'est-ce que la superintelligence ?
La superintelligence est considérée comme la technologie la plus impactante que l'humanité ait jamais inventée. Elle pourrait aider à résoudre de nombreux problèmes mondiaux importants. Cependant, la puissance considérable de la superintelligence pourrait également être très dangereuse et pourrait conduire à la dépossession de l'humanité, voire à son extinction.
Le défi de l'alignement de la superintelligence
L'un des défis majeurs est de garantir que les systèmes d'IA, beaucoup plus intelligents que les humains, suivent l'intention humaine. Actuellement, il n'existe pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et empêcher qu'elle ne devienne incontrôlable. Les techniques actuelles pour aligner l'IA, comme l'apprentissage par renforcement à partir des retours humains, reposent sur la capacité des humains à superviser l'IA. Cependant, les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents qu'eux. De nouvelles percées scientifiques et techniques sont donc nécessaires.
L'approche de Superalignment
L'objectif de Superalignment est de construire un chercheur en alignement automatisé de niveau humain approximatif. Ensuite, de grandes quantités de calculs peuvent être utilisées pour augmenter les efforts et aligner de manière itérative la superintelligence.
Pour aligner le premier chercheur en alignement automatisé, il sera nécessaire de :
- Développer une méthode de formation évolutive,
- Valider le modèle résultant,
- Tester de manière intensive l'ensemble du pipeline d'alignement.
L'équipe de Superalignment
Une équipe de chercheurs et d'ingénieurs en apprentissage machine de haut niveau est en cours de constitution pour travailler sur ce problème. OpenAI dédie 20% des calculs qu'elle a sécurisés à ce jour au cours des quatre prochaines années à la résolution du problème de l'alignement de la superintelligence.
Rejoindre l'équipe
L'alignement de la superintelligence est l'un des problèmes techniques non résolus les plus importants de notre époque. OpenAI a besoin des meilleurs esprits du monde pour résoudre ce problème. Si vous avez réussi dans le domaine de l'apprentissage machine, mais que vous n'avez pas encore travaillé sur l'alignement, c'est le moment de faire le changement ! OpenAI estime qu'il s'agit d'un problème d'apprentissage machine tractable, et vous pourriez apporter d'énormes contributions.
Si vous êtes intéressé, OpenAI serait ravi de vous entendre ! Vous pouvez postuler pour les postes d'ingénieur de recherche, de chercheur scientifique et de responsable de recherche.
