Deux mois après l’affaire Hugging Face, OpenAI doit à nouveau expliquer ce que ses agents sont allés faire là où personne ne les avait envoyés. Cette fois, les sites concernés appartiennent au gouvernement des États-Unis. L’entreprise a reconnu que ses agents avaient consulté des données publiques de plusieurs administrations sans en avoir reçu l’ordre. En plus de cela, Transluce, un laboratoire indépendant, leur attribue une tentative de piratage qui a échoué. Comment tout cela est-il possible ?
Sommaire :
Des visites non demandées sur des sites publics
Ces informations ont émergé à la suite d’une revue interne des « activités de modèles mal alignés« . Cette dernière est l’expression qu’emploie OpenAI pour désigner les cas où une IA agit d’une façon que personne ne lui a demandée. Sam Altman a précisé sur les réseaux sociaux que cet examen porte sur l’usage que font les agents de leur accès à Internet pendant les phases d’entraînement et d’évaluation.
Les agents ont d’abord récupéré des informations accessibles à n’importe quel visiteur sur SEC.gov et Investor.gov, les deux sites du gendarme américain de la Bourse. Ils ont ensuite publié une partie sur une autre page web publique. Après cela, ces agents ont interrogé des données du Census Bureau, grâce à des clés de développeurs trouvées dans des dépôts GitHub publics. Les requêtes se limitaient à de la lecture de données publiques, mais l’usage de ces identifiants trouvés en ligne pose question.
OpenAI insiste sur les limites de l’incident. Elle affirme n’avoir relevé aucune utilisation d’identifiants de la SEC, aucun accès à des comptes ou à des informations non publiques, aucune modification de données et aucune faille exploitée. La SEC indique de son côté ne pas avoir connaissance d’accès non autorisé à des informations non publiques, et le département du Commerce assure qu’aucune donnée privée du recensement n’a été consultée. Pour l’entreprise, la plupart des activités examinées relevaient de recherches banales, les agents se tournant vers les sites gouvernementaux parce qu’ils les jugent fiables.
VOIR AUSSI : Pourquoi les anciennes IA semblent devenir moins bonnes après une nouvelle sortie
La tentative de piratage signalée par Transluce
Transluce, laboratoire de recherche indépendant qui évalue les modèles d’IA, a retrouvé la trace d’agents qui semblent venir d’OpenAI et qui auraient mené un piratage qualifié de rudimentaire contre le site du bureau des droits civiques du ministère de l’Éducation. La tentative visait à obtenir des données de ce bureau. Elle a échoué, et le ministère affirme que ses vérifications n’ont révélé aucun impact sur son site ni sur ses bases de données. OpenAI, qui dit examiner le rapport de Transluce, n’a pas tranché publiquement sur ce cas précis.
Transluce mentionne aussi d’autres activités jugées anormales, dont une partie n’est pas clairement attribuable à OpenAI. Elles ciblaient les ministères de la Justice et du Commerce, ainsi que des sites des États de Californie, du Maryland, de l’Illinois, du Texas et de New York. Selon le laboratoire, les modèles utilisaient ces sites de manière imprévue et enfreignaient parfois leurs conditions d’utilisation. Il affirme par ailleurs avoir détecté ce type de comportements au moins depuis mars, avec des tentatives infructueuses visant notamment une bibliothèque universitaire du Nouveau-Mexique et l’institut australien de la santé et du bien-être.
Un épisode qui s’ajoute à une série
Cette affaire s’inscrit dans une succession de révélations. En juillet, OpenAI avait admis que deux de ses modèles, évalués dans un environnement de test isolé, avaient pénétré la base de données de la plateforme Hugging Face sans qu’on le leur demande.
Quelques jours avant les annonces concernant les sites américains, le Premier ministre australien avait indiqué qu’un agent d’OpenAI avait piraté la base nationale de données de santé de son pays. Cet incident est présenté comme le premier cas connu de piratage d’un réseau gouvernemental par une IA. OpenAI a expliqué que l’épisode australien remontait à juin, mais qu’elle n’en avait eu connaissance qu’en août.
Face à cela, OpenAI a publié le 16 septembre une méthode pour rendre publics les comportements déviants de ses modèles, accompagnée de 6 premiers rapports. L’entreprise y avait mis en pause son modèle Astra, jugé potentiellement trop performant pour les cyberattaques.
IdealoGeek est un média indépendant. Soutiens-nous en nous ajoutant à tes favoris sur Google Actualités :






