Grok d’Elon Musk a publié un nouvelle fonctionnalité de génération d’images IA Mardi soir, un chatbot IA qui, tout comme le chatbot IA, n’a que très peu de garde-fous. Cela signifie que vous pouvez générer de fausses images de Donald Trump en train de fumer de la marijuana dans l’émission de Joe Rogan, par exemple, et les télécharger directement sur la plateforme X. Mais ce n’est pas vraiment la société d’IA d’Elon Musk qui alimente cette folie ; plutôt une nouvelle startup — Laboratoires de la Forêt Noire — est l’équipe derrière ce long métrage controversé.
La collaboration entre les deux a été révélée lorsque xAI annoncé L’entreprise travaille avec Black Forest Labs pour alimenter le générateur d’images de Grok à l’aide de son modèle FLUX.1. Black Forest Labs, une start-up spécialisée dans l’imagerie et la vidéo, lancée le 1er août, semble sympathiser avec la vision de Musk pour Grok en tant que « chatbot anti-woke », sans les garde-fous stricts que l’on trouve dans Dall-E d’OpenAI ou Imagen de Google. Le site de médias sociaux est déjà inondé d’images scandaleuses de la nouvelle fonctionnalité.
Black Forest Labs est basé en Allemagne et est récemment sorti de la clandestinité avec un financement d’amorçage de 31 millions de dollars, dirigé par Andreessen Horowitz, selon un communiqué de presse. Parmi les autres investisseurs notables figurent Garry Tan, PDG de Y Combinator, et Brendan Iribe, ancien PDG d’Oculus. Les cofondateurs de la startup, Robin Rombach, Patrick Esser et Andreas Blattmann, étaient d’anciens chercheurs qui ont contribué à la création des modèles de diffusion stable de Stability AI.
Selon Analyse artificielleLes modèles FLUX.1 de Black Forest Lab surpassent les générateurs d’images IA de Midjourney et d’OpenAI en termes de qualité, du moins selon le classement des utilisateurs dans leur arène d’images.
La startup affirme qu’elle « rend nos modèles accessibles à un large public », avec des modèles de génération d’images IA open source sur Visage qui fait un câlin et GitHubL’entreprise affirme également qu’elle prévoit de créer prochainement un modèle de conversion de texte en vidéo.
Black Forest Labs n’a pas immédiatement répondu à la demande de commentaire de TechCrunch.
Dans son communiqué de lancement, la société affirme vouloir « renforcer la confiance dans la sécurité de ces modèles » ; cependant, certains pourraient dire que le flot d’images générées par l’IA sur X Wednesday a eu l’effet inverse. De nombreuses images que les utilisateurs ont pu créer à l’aide de Grok et de l’outil de Black Forest Labs, comme Pikachu tenant un fusil d’assaut, n’ont pas pu être recréées avec les générateurs d’images de Google ou d’OpenAI. Il ne fait aucun doute que des images protégées par le droit d’auteur ont été utilisées pour l’entraînement du modèle.
C’est un peu le but
Ce manque de garde-fous est probablement l’une des principales raisons pour lesquelles Elon Musk a choisi ce collaborateur. Musk a clairement indiqué qu’il pensait que les garde-fous rendaient en réalité les modèles d’IA moins sûrs. « Le danger d’entraîner l’IA à être éveillée – en d’autres termes, à mentir – est mortel », a déclaré Elon Musk dans un communiqué. tweet à partir de 2022.
Anjney Midha, directrice du conseil d’administration de Black Forest Labs, a publié sur X une série de comparaisons entre les images générées le premier jour du lancement par Google Gemini et la collaboration Flux de Grok. Le fil met en évidence les problèmes bien documentés de Google Gemini dans la création d’images historiquement exactes de personnes, en particulier en injectant de la diversité raciale dans les images de manière inappropriée.
« Je suis heureux @ibab et l’équipe a pris cela au sérieux et a fait le bon choix », a déclaré Midha dans un tweetfaisant référence à l’évitement apparent de cette question par FLUX.1 (et mentionnant le récit du chercheur principal de xAI, Igor Babuschkin).
À cause de cette erreur, Google s’est excusé et a désactivé La capacité des Gémeaux à générer des images de personnes en février. À ce jour, l’entreprise ne permet toujours pas à Gemini de générer des images de personnes.
Un déluge de désinformation
Ce manque général de protection pourrait causer des problèmes à Musk. La plateforme X a suscité des critiques lorsque des images explicites deepfake générées par l’IA représentant Taylor Swift est devenu viral sur la plateforme. En plus de cet incident, Grok génère des gros titres hallucinés qui apparaissent aux utilisateurs sur X presque chaque semaine.
La semaine dernière, cinq secrétaires d’État a exhorté X à cesser de diffuser de fausses informations à propos de Kamala Harris sur X. Plus tôt ce mois-ci, Musk repartagé une vidéo qui a utilisé l’IA pour cloner la voix de Harris, donnant l’impression que le vice-président a admis être une « embauche de diversité ».
Musk semble déterminé à laisser ce genre de désinformation envahir la plateforme. En permettant aux utilisateurs de publier les images de l’IA de Grok, qui semblent dépourvues de filigrane, directement sur la plateforme, il a essentiellement ouvert un feu de désinformation dirigé vers le fil d’actualité X de tout le monde.
