OpenAI a créé un outil qui pourrait potentiellement attraper les étudiants qui trichent en demandant à ChatGPT d’écrire leurs devoirs – mais Selon le Wall Street Journalla société se demande si elle doit réellement le publier.
Dans une déclaration fournie à TechCrunch, un porte-parole d’OpenAI a confirmé que la société étudiait la méthode de filigrane de texte décrite dans l’article du Journal, mais a déclaré qu’elle adoptait une « approche délibérée » en raison de « la complexité impliquée et de son impact probable sur l’écosystème plus large au-delà d’OpenAI ».
« La méthode de tatouage de texte que nous développons est techniquement prometteuse, mais elle comporte des risques importants que nous évaluons pendant que nous recherchons des alternatives, notamment la susceptibilité au contournement par de mauvais acteurs et le potentiel d’impacter de manière disproportionnée des groupes comme les non-anglophones », a déclaré le porte-parole.
Il s’agirait d’une approche différente de la plupart des efforts précédents pour détecter le texte généré par l’IA, qui ont été largement inefficaces. Même OpenAI lui-même fermer son précédent détecteur de texte IA l’année dernière en raison de son « faible taux de précision ».
Avec le filigranage de texte, OpenAI se concentrerait uniquement sur la détection de l’écriture provenant de ChatGPT, et non des modèles d’autres entreprises. Pour ce faire, il apporterait de petites modifications à la façon dont ChatGPT sélectionne les mots, créant ainsi un filigrane invisible dans l’écriture qui pourrait ensuite être détecté par un outil distinct.
Suite à la publication de l’article du Journal, OpenAI a également mis à jour un article de blog de mai à propos de ses recherches sur la détection de contenu généré par l’IA. La mise à jour indique que le tatouage de texte s’est avéré « très précis et même efficace contre les altérations localisées, telles que la paraphrase », mais s’est avéré « moins robuste contre les altérations mondialisées ; comme l’utilisation de systèmes de traduction, la reformulation avec un autre modèle génératif ou la demande au modèle d’insérer un caractère spécial entre chaque mot, puis de supprimer ce caractère ».
En conséquence, OpenAI écrit que cette méthode est « facile à contourner par des acteurs malveillants ». La mise à jour d’OpenAI fait également écho au point du porte-parole concernant les non-anglophones, écrivant que le tatouage de texte pourrait « stigmatiser l’utilisation de l’IA comme outil d’écriture utile pour les locuteurs non natifs de l’anglais ».
