Un squarepants fascistes de l'éponge, un chien conduisant une voiture et Jésus jouant à Minecraft – ce ne sont que quelques-unes des choses que vous pouvez voir lorsque vous partez à travers la nouvelle application d'Openai a rempli exclusivement avec des vidéos courtes générées en utilisant l'intelligence artificielle.
Et si vous ne trouvez pas ce que vous recherchez, ne vous inquiétez pas: vous pouvez le faire facilement en utilisant une petite fenêtre d'invite basée sur le texte dans l'application. Le résultat est un flux très addictif de vidéos parfois drôles et parfois étranges de 10 secondes.
OpenAI a publié l'application Sora mardi, quelques jours seulement après que Meta a publié un produit similaire dans le cadre de sa plate-forme Meta AI. NPR a jeté un coup d'œil tôt et a constaté que l'application d'Openai pourrait facilement générer des vidéos très réalistes, y compris de vrais individus (avec leur permission). Les premiers résultats sont à la fois des chercheurs époustouflants et inquiétants.
« Vous pouvez créer des vidéos incroyablement réelles, vos amis disant des choses qu'ils ne diraient jamais », a déclaré Solomon Messing, professeur agrégé à l'Université de New York au Center for Social Media and Politics. « Je pense que nous pourrions être à l'époque où voir ne croit pas. »
Deepfake tiktok
L'application Sora 2 ressemble et se sent remarquablement comme d'autres applications de médias sociaux vidéo verticales comme Tiktok. Il est livré avec quelques paramètres différents – il est possible de choisir des vidéos par humeur, par exemple. Les utilisateurs sont autorisés à contrôler la façon dont leur visage est utilisé « de bout en bout » utilisé dans les vidéos générées par AI-AI, selon OpenAI. Cela signifie que les utilisateurs peuvent permettre à leur visage d'être utilisé par tout le monde, un petit cercle d'amis ou seulement eux-mêmes. De plus, ils sont autorisés à supprimer des vidéos montrant leur ressemblance à tout moment.
Sora est également livré avec des moyens d'identifier son contenu comme généré par l'IA. Les vidéos téléchargées à partir de l'application contiennent des filigranes en mouvement portant le logo SORA, et les fichiers ont des métadonnées intégrées qui les identifient comme une IA-made, selon la société.
Openai dit qu'il a placé des garde-corps sur ce que l'application peut faire. Un porte-parole de l'entreprise a également dirigé NPR vers la carte système de Sora, qui interdit la génération de contenu qui pourrait être utilisé pour des choses comme « la tromperie, la fraude, les escroqueries, le spam ou l'identité ».
« Pour soutenir l'application, nous fournissons des rapports intégrés, combinons l'automatisation avec une revue humaine pour détecter les modèles d'utilisation abusive et appliquer des pénalités ou supprimer le contenu lorsque des violations se produisent », indique le document.
Mais le bref temps de NPR à l'aide de l'application a révélé que les garde-corps semblaient être quelque peu lâches autour de Sora. Bien que de nombreuses invites aient été refusées, il a été possible de générer des vidéos qui prennent en charge les théories du complot. Par exemple, il était facile de créer une vidéo de ce qui semblait être le président Richard Nixon donnant une adresse télévisée en disant à l'Amérique que l'atterrissage de la lune a été truqué.
Et l'un des astronautes Neil Armstrong retirant son casque sur la lune.
NPR a également pu générer des vidéos qui représentaient une attaque de drone sur une centrale électrique. Cela semblait lui aussi violer les directives sur la violence et (peut-être) le terrorisme.
De plus, l'application semblait contenir d'autres lacunes. NPR a pu le faire produire de courtes vidéos sur des sujets liés aux armes chimiques, biologiques, radiologiques et nucléaires en contradiction directe des politiques d'utilisation mondiales d'Openai. (Les vidéos créées n'ont jamais été partagées et contenaient des inexactitudes qui les rendraient inutiles à quiconque recherche ce type d'informations.)
Clown on the Run
Bien qu'il ne soit pas clair si d'autres utilisateurs ont trouvé des exploits similaires, un examen rapide du contenu montre que Sora est utilisé pour générer un énorme volume de vidéos représentant des marques de marque et un matériel protégé par le droit d'auteur. Une vidéo représentait Ronald McDonald fuyant la police dans une voiture de hamburger. Beaucoup d'autres incluaient des personnages de caricatures populaires et de jeux vidéo.
Openai a déclaré à NPR qu'il était conscient de l'utilisation du matériel protégé par le droit d'auteur à Sora, mais a estimé qu'il donnait plus de liberté à ses utilisateurs en lui permettant.
« Les gens sont impatients de s'engager avec leur famille et leurs amis à travers leur propre imagination, ainsi que des histoires, des personnages et des mondes qu'ils aiment, et nous voyons de nouvelles opportunités pour les créateurs d'approfondir leur connexion avec les fans », a déclaré Vaun Shetty, le chef des partenariats des médias d'Openai, dans une déclaration écrite partagée avec NPR. « Nous travaillerons avec des détenteurs de droits pour bloquer les caractères de Sora à leur demande et répondre aux demandes de retrait. »
OpenAI est actuellement poursuivi par la violation du droit d'auteur avec son modèle de grande langue, Chatgpt.
Monde virtuel courageux
Ce que l'effet d'un monde des médias sociaux a été entièrement motivé par l'IA reste incertain, a déclaré le désordre. De nombreux chercheurs étaient profondément préoccupés par les « Deepfakes » lorsque la vidéo AI est apparue pour la première fois, et pourtant peu de ces vidéos gagnent du terrain. « Nous étions tous collectivement paniqués à propos de Deepfakes il y a quelques années, mais la société n'a pas vraiment été décomposée à cause de DeepFakes », a-t-il déclaré.
Mais d'autres craignent qu'un sentiment collectif de réalité commence à s'effondrer. Sora n'est que la dernière d'une multitude d'outils qui peuvent générer des images, des vidéos et audio à volonté.
« Nous voyons vraiment la capacité de générer un contenu hyper réaliste incroyablement réaliste de toutes sortes de moyens différentes que vous voulez », a déclaré Henry Ajder, chef de conseil en espace latent, qui suit l'évolution du contenu généré par l'IA.
Aussi inquiet qu'il soit dupe des gens, Ajder a déclaré qu'il était également très préoccupé par les conséquences de personne qui fait confiance à ce qu'ils voient en ligne.
« Nous devons résister à l'attraction quelque peu nihiliste », « nous ne pouvons plus dire ce qui est réel, et donc cela n'a plus d'importance » « , a-t-il déclaré.
Messing a dit que même si on ne sait pas quelles seront les conséquences, ce qui est clair, c'est que Sora est très très bonne pour créer tout ce que l'on peut imaginer: « Cela me laisse juste en quelque sorte sans voix », a-t-il déclaré. « Je ne comprenais pas très bien à quel point le contenu est bon. »
