Risques de l'IA : la démission qui agite Anthropic

Le 9 septembre, le chercheur en intelligence artificielle Jacob Coxon a démissionné d'Anthropic en dénonçant l'irresponsabilité de son employeur comme de son précédent poste chez OpenAI. Selon lui, ces deux entreprises fonceraient vers une « superintelligence capable de s'auto-améliorer ». Sa sortie a relancé le débat sur les risques de l'IA au sein même de la communauté scientifique, que certains accusaient jusque-là d'exagérer la menace pour servir les intérêts commerciaux des géants du secteur.

« les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie », Jacob Coxon, ex-chercheur chez Anthropic et OpenAI.

Une enquête massive auprès des chercheurs

La démission de Jacob Coxon a provoqué une réaction en chaîne de responsables politiques, de salariés et de dirigeants d'entreprises d'IA, qui ont appelé à ralentir et encadrer le développement de la technologie. Pour vérifier si cette inquiétude reflète un véritable consensus scientifique, Le Monde s'appuie sur la plus vaste enquête disponible, publiée fin 2024 et menée auprès de 1 580 chercheurs ayant publié dans les revues et conférences d'IA les plus prestigieuses (NeurIPS, ICML, ICLR, AAAI, JMLR et IJCAI).

La question posée était directe : quelle probabilité attribuer au fait que les progrès futurs de l'IA provoquent l'extinction de l'humanité ou une perte de pouvoir tout aussi grave et permanente ? La moyenne des réponses s'établit à 18 %, et un chercheur sur deux a estimé ce risque supérieur ou égal à 10 %. Selon le centre de recherche CeSIA, un chercheur sur trois attribue au moins 20 % de probabilité à un tel scénario, et seuls 12 % considèrent ce risque comme nul.

Des alertes qui dépassent le monde de l'IA

Cette inquiétude ne se limite pas aux spécialistes du machine learning. En septembre, 42 mathématiciens membres de la Royal Society britannique, dont cinq médaillés Fields, ont exprimé leur « extrême inquiétude » face aux progrès rapides de l'IA dans leur propre discipline, rapporte Le Monde. Des lauréats de prix Nobel et Turing, des personnalités culturelles et religieuses comme le pape Léon XIV, ainsi que des centaines d'organisations, ont également signé des appels à la prudence.

Au Conseil de sécurité de l'ONU en septembre, le gouvernement français, pourtant partisan d'un déploiement rapide de l'IA dans l'économie et l'administration, a lui-même plaidé pour un cadre international commun sur les modèles d'IA de pointe, à l'image de l'Agence internationale de l'énergie atomique. Un groupe scientifique indépendant mandaté par l'Assemblée générale des Nations unies a de son côté estimé en juillet que les capacités de l'IA progressent désormais plus vite que la science et les gouvernements ne sont capables de les comprendre et de les encadrer.

« Les capacités de l’IA dépassent désormais la compréhension scientifique et la capacité des gouvernements à s’adapter », Yoshua Bengio, coprésident du groupe scientifique indépendant mandaté par l'ONU.

Un consensus loin d'être total

Tous les chercheurs ne partagent pas ce niveau d'alarme. Malik Ghallab, chercheur en robotique au LAAS-CNRS à Toulouse, se montre prudent face aux chiffres avancés par les sondages. Il juge que le risque d'extinction lié à une IA agissant comme acteur autonome n'est pas documenté scientifiquement, même s'il reconnaît que les usages malveillants, les cyberattaques et les tensions géopolitiques liées à l'IA sont des dangers déjà tangibles.

« Aujourd’hui, le risque d’une IA, en tant qu’acteur autonome, qui provoquerait directement la fin de l’humanité n’est pas documenté », Malik Ghallab, chercheur en robotique et IA au LAAS-CNRS.

D'autres travaux, comme ceux relayés par le CNRS en octobre, pointent un paradoxe différent : les chercheurs qui utilisent l'IA générative publient davantage et progressent plus vite dans leur carrière, mais leurs travaux explorent moins de nouveaux territoires scientifiques. Les gains de productivité liés aux grands modèles de langage dans la recherche pourraient dépasser 89 %, selon une étude publiée dans la revue Science.

Ces chiffres ne clôturent pas le débat sur la régulation de l'IA. Le rapport international sur la sûreté de l'IA avancée, cité par le centre CeSIA, répertorie treize catégories de risques, dont au moins quatre touchent directement la sécurité nationale : manipulation de l'opinion publique, cyberattaques, armes chimiques et biologiques, et perte de contrôle des systèmes. Les discussions sur un éventuel accord international fixant des lignes rouges à l'IA, évoquées à l'ONU en septembre, restent à ce stade exploratoires.