Roman accusé d'être écrit par l'IA : les détecteurs d'IA

Le premier roman de Thélyson Orélien, C'était ça ou mourir (Grasset), phénomène littéraire de la rentrée, a été accusé d'avoir été « écrit presque intégralement par une intelligence artificielle » par un compte anonyme sur X. Cette accusation s'appuie sur les résultats du logiciel Pangram, l'un des détecteurs d'IA les plus utilisés au monde. L'affaire relance un débat scientifique loin d'être tranché : peut-on vraiment prouver qu'un texte a été rédigé par une machine ?

France Inter a mené son propre test en soumettant au logiciel des extraits pris au début, au milieu et à la fin du livre. Les résultats ont désigné une origine artificielle comprise entre 95 % et 100 %, selon les segments analysés.

Comment fonctionne la détection de textes générés par IA

Pangram est un réseau neuronal entraîné à repérer des régularités stylistiques. « L'exemple classique, c'est les tournures ternaires, ou les tirets cadratins, qui étaient très fréquents dans les textes générés, parce que les outils avaient été entraînés sur des textes scientifiques américains ou des romans américains, dans lesquels il y avait beaucoup de structures ternaires », explique Thierry Poibeau, directeur de recherche au CNRS spécialiste du traitement automatique des langues.

« L'exemple classique, c'est les tournures ternaires, ou les tirets cadratins, qui étaient très fréquents dans les textes générés, parce que les outils avaient été entraînés sur des textes scientifiques américains ou des romans américains, dans lesquels il y avait beaucoup de structures ternaires », Thierry Poibeau, directeur de recherche au CNRS.

L'entreprise new-yorkaise, fondée en 2023 par deux anciens élèves de Stanford, a construit son modèle en confrontant des dizaines de millions de documents humains authentiques à des textes miroirs produits par des IA comme ChatGPT ou Claude sur les mêmes sujets. Elle a levé 9 millions de dollars récemment, portant son financement total à 13 millions de dollars, selon le HuffPost.

Des taux de fiabilité qui varient selon les études

Pangram revendique un taux de faux positifs, c'est-à-dire un texte humain identifié à tort comme généré par une IA, d'environ 1 sur 10 000. Mais les études indépendantes donnent des résultats plus contrastés. Des chercheurs de l'université de Bruxelles ont soumis 200 textes à l'outil, 160 humains et 40 générés par ChatGPT, et ont mesuré un taux de faux positifs de 2 %, bien supérieur au chiffre officiel.

La chercheuse Marzena Karpinska nuance toutefois ce constat : selon elle, l'outil s'est nettement amélioré depuis ces premiers tests, et son taux de faux positifs sur des textes en français atteindrait aujourd'hui 0,0026 %. Pour les textes littéraires en anglais, il serait proche de zéro, même si aucune donnée spécifique n'existe encore pour la littérature française.

Une étude publiée en préprint sur arXiv en octobre 2025, portant sur 186 000 articles de 1 500 journaux américains, a par ailleurs trouvé 9,1 % de textes générés ou mixtes, avec un poids plus lourd dans les petits titres (9,3 %) que dans les grands médias (1,7 %). Seuls 4 % des articles concernés déclaraient l'usage de l'IA.

Un outil statistique, pas une preuve définitive

Max Spero, PDG et cofondateur de Pangram, a lui-même mis en garde contre une confiance aveugle dans son outil, auprès du média américain The Atlantic en mai 2026.

« jamais être l'arbitre final », Max Spero, PDG et cofondateur de Pangram.

Même OpenAI, la maison mère de ChatGPT, avait tenté de développer son propre détecteur avant d'abandonner le projet en 2023, faute de maîtriser ses taux d'erreur. Pangram affirme aujourd'hui être capable de déterminer avec précision, dans 9 999 cas sur 10 000, si un texte a été généré intégralement par l'IA, assisté par l'IA ou entièrement humain, avec un taux de détection manquée de 0,34 %.

Le professeur Sébastien Droogenbroeck, qui a comparé des textes humains à des textes modifiés par l'IA selon la même méthode que Pangram, arrive à une conclusion similaire à celle de Marzena Karpinska : les faux positifs restent extrêmement rares sur ce type de corpus. Reste qu'un score élevé, même à 95 % ou 100 %, demeure une estimation statistique et non une preuve documentaire, incapable de dire quel modèle précis aurait été utilisé ni à quel moment du processus d'écriture.