Google utilise l'IA pour créer une souris de jeu sans les mains

Google a fait des choses plutôt intéressantes avec l'IA, mais l'une des applications les plus impressionnantes de cette technologie doit être le tout nouveau Project Gameface, une souris de jeu alimentée par l'IA et sans les mains que la société a annoncée lors de Google I/O 2023.

Présentation du Project Gameface

Grâce à une webcam, il est possible d'utiliser Project Gameface pour jouer à des jeux sur PC qui nécessiteraient normalement une souris pour se déplacer, grâce à la technologie de l'IA. Le système fonctionne en utilisant la webcam pour scanner le visage et rechercher les mouvements de la tête et les expressions faciales. Ces mouvements et expressions se traduisent alors en mouvements du personnage dans le jeu.

Les commandes sont également robustes et intuitives. Le logiciel Gameface vous permet de configurer des liaisons de touches et de souris pour à peu près tout. Par exemple, ouvrir la bouche pourrait être configuré pour cliquer avec le bouton gauche de la souris. Bien sûr, il existe toutes sortes d'autres options de mouvements ou d'expressions, comme sourire, regarder à gauche, ou lever le sourcil gauche. Vous pouvez même définir à quel point ces mouvements ou expressions doivent être proéminents pour relayer l'entrée. Cela devrait aider le logiciel à être plus adaptable aux besoins des différents utilisateurs.

Technologie derrière Project Gameface

Project Gameface utilise la solution open-source MediaPipe de Google, qui relie différents modèles d'IA pour vous donner une sortie. "La sortie est une grille de 468 points sur votre visage qui sont ensuite convertis en télémétrie comme le mouvement de la souris ou les clics", explique Laurence Moroney, le principal défenseur de l'IA chez Google.

Moroney précise que cela fonctionne nativement sur les appareils et que "l'une des choses les plus incroyables à propos de cette technologie est qu'elle ne nécessite qu'une entrée d'une webcam."

Une collaboration avec le streamer de jeu Lance Carr

Vous vous demandez peut-être qui est Lance Carr. Permettez-nous de vous le présenter. Lance Carr est un streamer de jeux qui vit avec une dystrophie musculaire. Si vous connaissez un peu cette maladie, vous savez qu'elle affaiblit vos muscles et peut rendre presque tout plus difficile à faire, y compris le jeu. C'est là que Google intervient. La maison de Lance a brûlé en 2021 alors qu'il était en train de jouer à Diablo II en streaming. Tous ses équipements coûteux, y compris la souris de suivi de tête adaptative qui lui permettait de jouer, ont été détruits.

Google a entendu parler de l'histoire et a contacté Lance. Le travail a rapidement commencé entre Google et Lance pour co-concevoir Project Gameface. L'espoir de Lance est que cette technologie puisse être mise à la disposition de tous ceux qui pourraient l'utiliser pour faciliter leur vie.

Google a également rendu le code de la technologie open-source, et il est même disponible dès aujourd'hui en avant-première pour ceux qui souhaitent le consulter sur le répertoire GitHub de Google.

Source : Google