Adobe intègre l'IA générative de Firefly à Photoshop

Adobe enrichit Photoshop avec une série de fonctionnalités basées sur l'IA générative de Firefly. Ces nouvelles fonctionnalités permettront aux utilisateurs d'étendre les images au-delà de leurs limites avec des arrière-plans générés par Firefly, d'ajouter des objets aux images grâce à l'IA générative et d'utiliser une nouvelle fonction de remplissage génératif pour supprimer des objets avec beaucoup plus de précision que le remplissage conscient du contenu précédemment disponible.

Disponibilité

Ces fonctionnalités ne seront disponibles que dans la version bêta de Photoshop pour le moment. Adobe rend également certaines de ces capacités accessibles aux utilisateurs de la bêta de Firefly sur le web. Les utilisateurs de Firefly ont déjà créé plus de 100 millions d'images sur le service.

Intégration

L'intégration de Firefly permet aux utilisateurs de Photoshop d'utiliser des prompts de texte en langage naturel pour décrire le type d'image ou d'objet qu'ils souhaitent que Firefly crée. Comme pour tous les outils d'IA générative, les résultats peuvent parfois être quelque peu imprévisibles. Par défaut, Adobe fournira aux utilisateurs trois variations pour chaque prompt, bien qu'il n'y ait actuellement pas d'option pour itérer sur l'un de ces résultats pour voir des variations similaires sur un résultat donné.

Comment ça fonctionne

Pour réaliser tout cela, Photoshop envoie des parties d'une image donnée à Firefly - pas l'image entière, bien que la société expérimente également cela - et crée une nouvelle couche pour les résultats.

Maria Yap, vice-présidente de l'imagerie numérique chez Adobe, a fait une démonstration de ces nouvelles fonctionnalités avant l'annonce d'aujourd'hui. Comme pour toutes les choses liées à l'IA générative, il est souvent difficile de prédire ce que le modèle renverra, mais certains des résultats étaient étonnamment bons. Par exemple, lorsqu'on lui a demandé de générer une flaque d'eau sous un corgi en course, Firefly semblait prendre en compte l'éclairage global de l'image, générant même un reflet réaliste. Tous les résultats n'ont pas fonctionné aussi bien - une flaque d'eau violette brillante était également une option - mais le modèle semble faire un assez bon travail pour ajouter des objets et surtout pour étendre les images existantes au-delà de leur cadre.

Paysages

Étant donné que Firefly a été formé sur les photos disponibles dans Adobe Stock (ainsi que sur d'autres images commercialement sûres), il n'est peut-être pas surprenant qu'il réussisse particulièrement bien avec les paysages. Comme la plupart des générateurs d'images génératives, Firefly a du mal avec le texte.

Adobe a également veillé à ce que le modèle renvoie des résultats sûrs. Cela est en partie dû à l'ensemble de formation utilisé, mais Adobe a également mis en place des mesures de sécurité supplémentaires.

"Nous avons marié cela avec une série de choses de prompt engineering que nous connaissons", explique Yap. "Nous excluons certains termes, certains mots que nous jugeons non sûrs. Et nous envisageons même une autre hiérarchie de 'si Maria sélectionne une zone qui a beaucoup de peau', peut-être que pour l'instant - et vous verrez parfois des messages d'avertissement - nous n'élargirons pas un prompt sur celle-ci, simplement parce que c'est imprévisible. Nous ne voulons tout simplement pas aller dans un endroit qui ne nous semble pas confortable."

Conclusion

Comme pour toutes les images de Firefly, Adobe appliquera automatiquement ses Content Credentials à toutes les images utilisant ces fonctionnalités basées sur l'IA.

Beaucoup de ces fonctionnalités seraient également très utiles dans Lightroom. Yap est d'accord, et bien qu'elle ne s'engage pas sur un calendrier, elle confirme que la société prévoit d'apporter Firefly à son outil de gestion de photos.

Source : Adobe