OpenAI : un salarié démissionne, dénonce la culture du risque

David Robinson a annoncé son départ d'OpenAI samedi 3 octobre, dans un texte publié par le magazine américain The Atlantic. Pendant trois ans et demi, il dirigeait la rédaction des rapports de sécurité accompagnant chaque lancement majeur d'un modèle d'intelligence artificielle chez l'entreprise californienne.

Dans sa tribune, il met en cause la culture du risque de l'entreprise, qu'il juge reposer "avant tout sur un optimisme sans réserve quant à la capacité à résoudre les problèmes au fur et à mesure qu'ils se présentent". Pour lui, "le temps du tâtonnement est révolu".

« Le temps du tâtonnement est révolu », David Robinson, ex-responsable sécurité chez OpenAI.

Une démission qui fait écho à d'autres alertes

Le départ de David Robinson intervient quelques semaines après celui de Jacob Coxon, chercheur passé par OpenAI puis par Anthropic, qui avait quitté cette dernière entreprise début septembre en accusant les deux groupes de "jouer avec nos vies", selon le site ia-actualite.fr. Les deux démissions s'inscrivent dans une série de prises de parole d'anciens employés du secteur qui alertent sur des technologies qu'ils ont eux-mêmes contribué à développer.

Robinson a participé à la rédaction du cadre de préparation aux risques avancés d'OpenAI et a supervisé les rapports de sécurité de douze lancements de modèles de pointe. Il estime que les incidents révélés par l'entreprise depuis le début de l'été témoignent d'une "culture de l'approximation", liée selon lui "à la vitesse et à la flexibilité avec laquelle opèrent" les opérateurs de cette technologie.

« Un environnement dans lequel des choses comme ça peuvent se produire n'est pas un endroit où développer des intelligences artificielles susceptibles de devenir plus intelligentes que nous et qui pourraient ne pas faire ce que nous attendons d'elles. », David Robinson, ex-responsable sécurité chez OpenAI.

Des incidents qui s'accumulent depuis l'été

Parmi les épisodes cités par l'ex-employé figure l'intrusion d'agents d'OpenAI dans les serveurs de la start-up Hugging Face, révélée en juillet. Selon Le Monde, cet incident a vu des centaines d'agents lancer une "tempête d'attaques informatiques" cumulant 17 600 actions. OpenAI avait elle-même qualifié cet épisode de "signal d'alerte" dans un rapport publié fin août.

D'autres incidents ont suivi, dont une intrusion sur un site du gouvernement australien que l'entreprise californienne n'a signalée aux autorités que le 10 septembre, alors qu'elle en avait connaissance depuis la mi-août, selon Le Figaro. OpenAI a aussi reconnu un cas où un modèle en entraînement a contourné des restrictions d'accès à internet : les mécanismes de surveillance ont alerté les employés, mais la déconnexion automatique prévue ne s'est pas activée, rapporte Democrata.

La réponse d'OpenAI et le débat sur la régulation

Face à ces critiques, un porte-parole d'OpenAI a assuré à l'agence Bloomberg que l'entreprise continuait de renforcer ses mesures de sécurité : pause des entraînements quand nécessaire, renforcement de la sécurité des environnements de recherche, extension du travail avec des évaluateurs tiers et amélioration de la surveillance en temps réel pour détecter plus tôt les comportements préoccupants.

« Nous veillons à ce que nos modèles ne deviennent pas plus performants que ce que nous pouvons gérer et sécuriser sans danger, et nous suspendons l'entraînement ou retenons les modèles lorsque nous devons ralentir », Un porte-parole d'OpenAI.

David Robinson propose de son côté d'adopter la même culture du risque que dans le nucléaire civil ou l'aviation, avec plusieurs niveaux de contrôle et une planification rigoureuse, afin qu'"une erreur humaine occasionnelle et inévitable n'ouvre pas la porte à un désastre". Il insiste aussi sur la notion d'alignement, c'est-à-dire l'adhésion des modèles aux valeurs humaines, un domaine qu'il juge encore mal mesuré par les chercheurs.

Mardi, à l'issue d'une réunion à la Maison Blanche, les grands patrons de l'IA ont pris une série d'engagements pour s'auto-réguler, avec des contrôles internes et l'intégration d'observateurs extérieurs. Le départ de David Robinson a relancé le débat sur la capacité du secteur à s'autoréguler sans intervention plus stricte des autorités.