Sans annotateurs humains : le pari du Constitutional AI Anthropic

Depuis décembre 2022, Anthropic entraîne ses modèles Claude selon une méthode nommée Constitutional AI Anthropic. Le principe est simple à énoncer mais rare dans l'industrie : plutôt que de faire évaluer des milliers de réponses par des humains, l'entreprise fournit à l'IA un texte de principes, une « constitution », et lui demande de juger elle-même ses propres réponses à l'aune de ce document. Ce guide explique comment fonctionne concrètement le Constitutional AI d'Anthropic, ce que contient la constitution de Claude en 2026, et pourquoi cette approche fait autant débat chez les chercheurs en sécurité de l'IA.

Qu'est-ce que le Constitutional AI d'Anthropic

Le principe : une IA qui s'auto-corrige selon des règles écrites

Dans le papier fondateur « Constitutional AI: Harmlessness from AI Feedback », publié le 15 décembre 2022 et signé par Yuntao Bai, Saurav Kadavath et 49 autres chercheurs d'Anthropic, l'entreprise explique vouloir entraîner « un assistant IA inoffensif mais non évasif, qui répond aux requêtes problématiques en expliquant ses objections », sans qu'aucun humain n'ait besoin d'étiqueter les sorties nuisibles. Le seul contrôle humain passe par une liste de règles ou de principes, d'où le nom « Constitutional ». Un exemple de principe cité dans le papier : « choisis la réponse qu'une personne sage, éthique, polie et amicale aurait le plus vraisemblablement formulée ».

Les deux phases d'entraînement

Le procédé se déroule en deux temps. D'abord une phase d'apprentissage supervisé : le modèle génère une réponse, la critique lui-même au regard de la constitution, puis produit une version révisée. Ce cycle critique-révision peut tourner plusieurs fois avant que les réponses corrigées ne servent de données d'entraînement. Ensuite vient une phase de renforcement, appelée RLAIF (reinforcement learning from AI feedback) : le modèle produit deux réponses à la même requête, un second modèle évalue laquelle respecte le mieux la constitution, et cette préférence artificielle sert de signal de récompense pour l'entraînement par renforcement. Selon Anthropic, cette approche est nettement moins gourmande en ressources humaines que la collecte de dizaines de milliers d'étiquettes de préférence, tout en rendant les objectifs du modèle plus lisibles pour les utilisateurs et les régulateurs.

De la première constitution à la version 2026

Le document de mai 2023 et ses sources

Anthropic publie la première version publique de la constitution de Claude le 9 mai 2023. D'après le site AI Wiki, ce document d'environ 2 700 mots regroupe près de 75 principes, répartis ainsi : huit tirés de la Déclaration universelle des droits de l'homme des Nations unies, quatre adaptés des conditions d'utilisation d'Apple, quatre destinés à représenter des perspectives non occidentales, onze issus des règles Sparrow de DeepMind, et le reste provenant des recherches internes d'Anthropic. L'entreprise elle-même reconnaît, dans sa publication sur le Collective Constitutional AI, que cette méthode « met en évidence le rôle disproportionné que jouent les développeurs dans le choix de ces valeurs, puisque c'est bien nous qui avons écrit la constitution ».

La refonte de janvier 2026 et sa hiérarchie à quatre niveaux

Le 22 janvier 2026, Anthropic publie une constitution entièrement révisée. Le texte passe à environ 23 000 mots selon AI Wiki, soit près de neuf fois la longueur du document de 2023. Le changement n'est pas que quantitatif : plutôt qu'une liste de règles isolées, la nouvelle constitution explique le raisonnement derrière chaque principe, pour aider le modèle à comprendre pourquoi il doit se comporter d'une certaine façon plutôt que de simplement lui dicter quoi faire. Ce document instaure une hiérarchie à quatre niveaux de priorité que le modèle doit respecter dans l'ordre :

• Niveau 1, « broadly safe » : ne pas compromettre la supervision humaine du développement de l'IA et prévenir les dommages catastrophiques ou irréversibles
• Niveau 2, « broadly ethical » : honnêteté, bonnes valeurs, éviter les torts contraires aux intuitions morales largement partagées
• Niveau 3, conformité aux directives d'Anthropic : suivre les consignes organisationnelles spécifiques de l'entreprise et la loi applicable
• Niveau 4, « genuinely helpful » : être maximalement utile à l'utilisateur et à l'opérateur dans le respect des contraintes précédentes

Collective Constitutional AI : quand le public écrit les règles

Face à la critique sur le rôle disproportionné des ingénieurs d'Anthropic dans l'écriture de la constitution, l'entreprise a testé une variante participative dès octobre 2023, en partenariat avec le Collective Intelligence Project. Environ 1 000 Américains ont été invités à rédiger collectivement une constitution alternative via une plateforme de délibération en ligne, Polis. D'après Anthropic, les participants ont soumis au total 1 127 déclarations et exprimé 38 252 votes, soit une moyenne de 34 votes par personne. Un modèle a ensuite été entraîné avec la méthode Constitutional AI classique, mais en utilisant cette constitution issue du public plutôt que celle rédigée en interne. L'expérience visait, selon Anthropic, à « explorer comment des processus démocratiques peuvent influencer le développement de l'IA », sans pour autant remplacer la constitution officielle de Claude, restée entre les mains de l'entreprise.

Constitutional Classifiers : la méthode étendue à la modération en temps réel

En février 2025, Anthropic a transposé le principe constitutionnel au-delà de l'entraînement, pour créer une défense en temps réel contre les tentatives de contournement (jailbreaks). Ces « Constitutional Classifiers » sont des garde-fous entraînés sur des données synthétiques générées à partir d'une constitution qui précise ce qui est autorisé et ce qui ne l'est pas, par exemple : Claude peut aider pour un devoir de chimie universitaire, mais pas pour la synthèse de substances classées. Une nouvelle génération, les Constitutional Classifiers++, a ensuite été décrite par Anthropic : elle repose sur une architecture à deux étages, une sonde qui examine les activations internes de Claude filtre tout le trafic, et les échanges suspects sont ensuite escaladés vers un classificateur plus puissant qui examine les deux côtés de la conversation. Selon Anthropic, ce système combiné, déployé un mois durant sur le trafic de Claude Sonnet 4.5, a atteint un taux de refus de 0,05 % sur les requêtes inoffensives, soit une baisse de 87 % par rapport au système de classificateurs original, et aucun jailbreak universel n'y a été découvert à ce jour.

Tableau comparatif des variantes du Constitutional AI

Pourquoi cette méthode divise

Le Constitutional AI est présenté par Anthropic comme une réponse aux limites du RLHF classique (apprentissage par renforcement à partir de retours humains), qui impose un arbitrage difficile entre utilité et innocuité et repose sur des dizaines de milliers d'étiquettes humaines coûteuses à produire. En rendant explicites, en langage naturel, les objectifs et le raisonnement du modèle, la méthode se veut aussi un gain de transparence : chercheurs et régulateurs peuvent lire la constitution et comprendre sur quelle base une réponse a été refusée ou acceptée. Mais Anthropic reconnaît elle-même la limite principale de l'exercice : c'est l'entreprise qui rédige le texte fondateur, donc qui choisit in fine les valeurs que suivra le modèle, même quand une consultation publique vient enrichir la réflexion. D'après AI Wiki, la position publique d'Anthropic a d'ailleurs évolué au fil des années, passant d'un discours où « le Constitutional AI est notre méthode d'alignement » à une présentation où il n'est plus qu'une des couches d'une pile de sécurité plus large, associée au RLHF, au RLAIF et aux classificateurs constitutionnels.

Questions fréquentes

Le Constitutional AI remplace-t-il totalement les évaluateurs humains ?

Non. La méthode réduit fortement le besoin d'étiquettes humaines pour identifier les contenus nuisibles, mais Anthropic continue de combiner Constitutional AI avec du RLHF classique pour capter des nuances que la constitution ne couvre pas facilement, selon AI Wiki.

Qui a écrit la constitution de Claude ?

La première version, publiée le 9 mai 2023, a été rédigée par des employés d'Anthropic, en s'inspirant de la Déclaration universelle des droits de l'homme, des conditions d'utilisation d'Apple et des règles Sparrow de DeepMind. Une expérience distincte, le Collective Constitutional AI, a fait rédiger une constitution alternative par environ 1 000 citoyens américains en 2023.

Qu'est-ce qui a changé dans la constitution de janvier 2026 ?

Le texte est passé d'environ 2 700 mots à environ 23 000 mots, selon AI Wiki, et adopte une hiérarchie à quatre niveaux de priorité : rester sûr, rester éthique, respecter les consignes d'Anthropic, puis être utile. L'accent est mis sur l'explication du raisonnement derrière chaque règle plutôt que sur une simple liste d'interdits.

Les Constitutional Classifiers servent-ils aussi à l'entraînement ?

Non, ils interviennent après l'entraînement, au moment de l'utilisation du modèle. Ce sont des garde-fous en temps réel qui filtrent les entrées et sorties de Claude pour détecter des tentatives de contournement, distincts de l'entraînement Constitutional AI proprement dit.

Cette méthode est-elle propre à Anthropic ou reprise ailleurs ?

Elle a été introduite et reste employée par Anthropic pour l'ensemble de la famille Claude, mais elle a aussi inspiré des reproductions en open source sur des modèles comme Llama, selon AI Wiki.