Les fournisseurs de modèles de fondation respectent-ils la loi européenne sur l'IA ?

Une récente étude de l'Université de Stanford s'est penchée sur le respect des fournisseurs de modèles de fondation, tels qu'OpenAI et Google, de la future loi européenne sur l'IA. Il s'avère que ces derniers, dans leur majorité, ne respectent pas les exigences de cette loi encore à l'état de projet.

L'IA sous la loupe réglementaire de l'UE

L'Intelligence Artificielle (IA) est au centre des débats mondiaux et son impact sur l'économie, la politique et la société se fait chaque jour plus concret. Face à ces enjeux, l'Union Européenne (UE) finalise actuellement son "AI Act", la première réglementation globale visant à encadrer l'IA. Récemment, un projet de loi a été adopté par le Parlement européen, avec 499 votes pour, 28 contre et 93 abstentions.

La loi comprend des obligations explicites pour les fournisseurs de modèles de fondation tels qu'OpenAI et Google. Ainsi, les chercheurs de Stanford ont évalué la conformité de ces fournisseurs avec le projet de loi, et ont conclu que la plupart ne respectent pas les exigences proposées.

Ces fournisseurs ne divulguent généralement pas suffisamment d'informations concernant les données, le calcul et le déploiement de leurs modèles, ainsi que les caractéristiques clés des modèles eux-mêmes. Ils ne respectent pas non plus les exigences du projet de loi concernant la description de l'utilisation de données protégées par le droit d'auteur, le matériel utilisé et les émissions produites lors de la formation, et la manière dont ils évaluent et testent les modèles.

Les défis persistants de la conformité à la loi sur l'IA

Quatre domaines en particulier présentent de nombreux défis pour la conformité des organisations à la loi sur l'IA :

• Les données protégées par le droit d'auteur : peu de fournisseurs divulguent des informations sur le statut de droit d'auteur des données d'apprentissage. Beaucoup de modèles de fondation sont formés sur des données provenant d'Internet, dont une part importante est probablement protégée par le droit d'auteur. La validité légale de l'apprentissage à partir de ces données en tant qu'utilisation équitable, en particulier pour les données avec des licences spécifiques, et de la reproduction de ces données, reste incertaine.
• La consommation d'énergie : les fournisseurs de modèles de fondation ne rendent pas compte de manière uniforme de l'utilisation de l'énergie, des émissions, de leurs stratégies de mesure des émissions et des mesures prises pour les atténuer.
• La divulgation insuffisante des risques : le paysage des risques pour les modèles de fondation est immense. Alors que de nombreux fournisseurs de modèles de fondation énumèrent les risques, peu divulguent les mesures de mitigation qu'ils mettent en œuvre et l'efficacité de ces mesures.
• L'absence de normes d'évaluation : les fournisseurs de modèles de fondation n'ont pas adopté de normes d'évaluation cohérentes et systématiques. Les tests de sécurité, d'équité, de biais, de robustesse, et de performance des modèles sont souvent effectués de manière ad hoc, sans processus d'évaluation standardisés et reproductibles. De plus, la description des techniques d'évaluation et des résultats des tests est souvent absente ou insuffisante.

Découvertes

Les résultats montrent une gamme frappante de conformité parmi les fournisseurs de modèles : certains fournisseurs obtiennent moins de 25% (AI21 Labs, Aleph Alpha, Anthropic) et seul un fournisseur obtient au moins 75% (Hugging Face/BigScience) à l'heure actuelle.

Il existe quatre domaines où de nombreuses organisations obtiennent de mauvais scores : les données protégées par le droit d'auteur, l'informatique/énergie, l'atténuation des risques et l'évaluation/test.

Il existe une dichotomie claire en matière de conformité en fonction de la stratégie de diffusion, c'est-à-dire dans quelle mesure les fournisseurs de modèles de base rendent leurs modèles publiquement disponibles.

La mise en œuvre de ces 12 exigences dans la loi apporterait un changement substantiel tout en restant à la portée des fournisseurs de modèles de base. Cela améliorerait la transparence, réduirait les risques et faciliterait la responsabilité. En d'autres termes, cela transformerait l'écosystème actuel des modèles de base d'une manière compatible avec les valeurs et les objectifs de la loi de l'UE sur l'IA

Recommandations

Au vu de ces découvertes, les chercheurs recommandent les actions suivantes :

1. Mise en œuvre de la loi : L'Union européenne doit finaliser et mettre en œuvre cette loi de manière efficace. Les résultats suggèrent que cette loi apportera des changements substantiels à l'écosystème des modèles de base.
2. Amélioration de la conformité : Les fournisseurs de modèles de base doivent travailler à améliorer leur conformité avec la loi. Cela implique un travail sur les zones de faible conformité identifiées dans l'étude.
3. Participation des parties prenantes : Les gouvernements, les entreprises, les universités, les organisations à but non lucratif et les citoyens doivent être impliqués dans le débat sur la réglementation de l'IA. Chaque partie a un rôle à jouer pour veiller à ce que l'IA soit utilisée de manière éthique et responsable.
4. Coopération internationale : La réglementation de l'IA ne doit pas se limiter à l'Europe. Il est nécessaire de développer une coopération internationale pour créer des normes mondiales sur l'IA. Cela garantira que l'IA est utilisée de manière bénéfique pour tous, indépendamment de la juridiction.

Conclusion

En conclusion, si le "AI Act" de l'UE représente une avancée significative vers une réglementation responsable de l'IA, il est clair que sa mise en œuvre nécessitera une collaboration étroite entre les régulateurs, les chercheurs et l'industrie de l'IA.

Source : Stanford