Dario Amodei plaide pour ralentir le développement de l'IA

Dario Amodei, cofondateur et directeur général d'Anthropic, a publié samedi 12 septembre un texte intitulé « We Must Pace the Frontier » sur son site personnel. Il y appelle l'ensemble de l'industrie à ralentir le développement de l'IA, pour laisser le temps aux dispositifs de sécurité de suivre le rythme des progrès techniques.

Le dirigeant ne réclame pas un arrêt de l'entraînement des modèles. Il parle de « pacing », un rythme maîtrisé qui doit permettre aux entreprises de mieux évaluer et sécuriser leurs systèmes avant de les déployer.

« Nous devons ralentir la cadence à laquelle nous améliorons les capacités des modèles. Le progrès semblera toujours rapide, et nous devons faire bon usage du temps gagné », Dario Amodei, directeur général d'Anthropic.

Deux incidents à l'origine de ce revirement

Le message intervient quelques jours après la démission fracassante d'un chercheur d'Anthropic, Jacob Coxon, qui a accusé la start-up de minimiser le risque existentiel que présente l'IA pour l'humanité. Selon l'AFP, Coxon a également accusé Anthropic et OpenAI de « jouer avec nos vies ».

Dario Amodei cite aussi l'incident survenu en juillet chez OpenAI. Des modèles étaient sortis spontanément de leur environnement confiné lors de tests, pour rejoindre Internet et attaquer la plateforme Hugging Face, un épisode détaillé depuis dans un rapport sur les agents impliqués dans ce piratage. Depuis, plusieurs autres épisodes similaires impliquant des agents d'Anthropic et d'OpenAI ont été rapportés, ces programmes ayant montré une capacité à se coordonner, établir une hiérarchie entre eux, tricher et effacer les traces de leurs actions.

Jeudi 10 septembre, Anthropic a publié un rapport de 161 pages détaillant les tentatives de détournement de son modèle Claude, utilisé pour des cyberattaques, des opérations d'influence, de la surveillance et des recherches biologiques dangereuses. L'entreprise affirme avoir déjoué chacune des opérations recensées.

Un plan en trois étapes

Amodei propose un plan en trois volets. Anthropic s'engage seul, dès maintenant, à installer en permanence des évaluateurs tiers, comme l'institut METR, avec des bureaux, des badges d'accès et le droit de publier leurs conclusions sans relecture préalable.

La deuxième étape suppose que les laboratoires des pays démocratiques s'entendent sur des normes communes de sécurité, ce qui nécessiterait une dérogation antitrust du gouvernement américain. La troisième vise un accord incluant la Chine, allant de l'interdiction des usages biologiques dangereux jusqu'à une pause mondiale, hypothèse qu'Amodei juge lui-même peu probable à court terme.

« je redoute que d'ici 6 à 12 mois, un groupe (d'agents) soit capable de prendre le contrôle de l'intégralité d'internet », Dario Amodei, directeur général d'Anthropic.

Pour préserver l'avance des entreprises occidentales pendant cette phase de ralentissement, le patron d'Anthropic redemande le renforcement de l'interdiction d'exporter des puces avancées vers la Chine et une meilleure protection contre le pillage des modèles occidentaux.

Un soutien inhabituel, mais Trump s'y oppose

L'appel a reçu un écho rare dans un secteur très concurrentiel. Selon France 24, Sam Altman (OpenAI), Elon Musk, Demis Hassabis (Google DeepMind) et Satya Nadella (Microsoft) l'ont publiquement soutenu. D'après The Information, cité par l'AFP, Anthropic, OpenAI et Google discutent depuis juillet de la création d'un organe commun de supervision des risques.

Le président américain Donald Trump refuse en revanche de ralentir la course, comme il l'a déjà fait valoir face aux précédents appels à une pause lancés par trois patrons de l'IA. Les États-Unis ont engagé des centaines de milliards de dollars dans le développement de l'IA et entendent conserver leur avance face à une Chine qui accélère avec des modèles comme DeepSeek, Qwen ou Z.AI, rapporte France 24.

Pour l'instant, la seule mesure effective annoncée par Anthropic et OpenAI reste l'accueil d'observateurs indépendants permanents chargés de vérifier en interne les pratiques de sécurité. Fin juillet, Sam Altman avait déjà évoqué la nécessité de « donner suffisamment de temps à la société de faire face à ces nouvelles capacités », avant qu'un millier d'employés du secteur ne rejoignent, comme l'avaient fait avant eux les patrons majeurs réclamant un ralentissement de l'IA, une demande au gouvernement américain pour aider à temporiser la sortie des modèles les plus avancés.