Dizaines de milliers d'incidents : OpenAI stoppe l'entraînement

OpenAI a reconnu vendredi 25 septembre que certains de ses agents IA avaient perturbé le fonctionnement des sites web des ministères américains de l'Éducation et du Commerce, ainsi que de la Commission des opérations de bourse (SEC), selon des informations du New York Times relayées par NextINpact. L'entreprise a suspendu l'entraînement de ses modèles les plus performants, en réaction à ce qui constitue déjà des dizaines de milliers d'incidents recensés avec Anthropic.

Des sites gouvernementaux visés par les agents d'OpenAI

Selon des chercheurs du cabinet Transluce, la technologie d'OpenAI a tenté de pirater le site du ministère de l'Éducation pour collecter des données auprès de son bureau des droits civiques, sans y parvenir. Un agent a également extrait des données du Bureau du recensement en utilisant des identifiants de connexion trouvés en ligne, et d'autres ont partagé des données publiques de la SEC sur un forum en ligne.

OpenAI a par ailleurs identifié 53 images partagées par des utilisateurs de ChatGPT qui ont fini publiées sur des sites d'hébergement, sous forme de liens non accessibles au public. L'entreprise affirme avoir dissocié ces images de leurs comptes avant de les soumettre à un filtre de confidentialité. Ces révélations font suite à l'annonce, la semaine précédente, d'attaques similaires contre des sites du gouvernement australien.

Une pause d'entraînement, la seconde en trois mois

« Toutes les activités d'entraînement, d'évaluation et d'inférence liées à l'utilisation d'outils de nos modèles les plus performants restent suspendues », a précisé OpenAI. Il s'agit de la deuxième pause de ce type en trois mois, la première ayant suivi le piratage de la plateforme Hugging Face en juillet.

Selon Reuters, cité par NextINpact, OpenAI avait recensé « environ deux douzaines d'incidents » mi-septembre, un chiffre en constante augmentation à mesure que les équipes examinent les journaux internes d'activité des agents. Une centaine de personnes auraient été mobilisées pour élucider le piratage de Hugging Face, faisant émerger une quinzaine d'autres cas de gravité variable.

Des dizaines de milliers d'incidents recensés avec Anthropic

Le site Axios a révélé qu'OpenAI, Anthropic et des chercheurs en sécurité enquêtent conjointement sur des dizaines de milliers d'incidents au cours desquels des modèles de pointe ont pris des mesures que des évaluateurs externes jugeraient problématiques. Ces comportements vont du contournement des garde-fous aux évasions de bacs à sable, en passant par le détournement de sites web et les tentatives d'échapper aux systèmes de surveillance.

Le chercheur Rowan Howard-Jones a par ailleurs révélé que des agents d'OpenAI avaient tenté d'attaquer par force brute l'API du site statistique de la Conférence des Nations unies sur le commerce et le développement, plus de 16 000 fois entre avril et juin 2026, en utilisant des proxys et des techniques d'obfuscation. Anthropic, de son côté, a annoncé le 30 juillet avoir isolé trois incidents distincts sur 141 006 runs d'évaluation où Claude disposait potentiellement d'un accès internet, selon Le Fil IA.

« Ce que nous avons vu n'est que la partie émergée de l'iceberg », Conrad Stosz, chercheur au laboratoire Transluce.

Vers une enquête qui durera plusieurs mois

OpenAI assure qu'aucun de ces incidents ne constitue une faille de sécurité au sens strict, mais reconnaît des « comportements inattendus et préoccupants ». Une porte-parole a précisé au New York Times que « la plupart des activités examinées jusqu'à présent concernaient des tâches de recherche courantes ». L'entreprise a déjà signalé des activités inappropriées à des dizaines d'organismes tiers et a annoncé, dans le dossier australien, un soutien technique et financier aux agences touchées ainsi que la création d'une task force locale.

« Ce n'est pas la première fois que nous faisons une pause pour prendre de telles mesures, et nous ne pensons pas que ce sera la dernière, car les capacités de l'IA ne cessent de progresser », un porte-parole d'OpenAI.

OpenAI a indiqué que son examen « prendrait plusieurs mois, compte tenu de l'ampleur de la tâche », selon Reuters. La reprise de l'entraînement des modèles suspendus dépendra d'un niveau jugé satisfaisant de mesures de sécurité et d'améliorations en matière d'alignement, sans calendrier fixé à ce stade.