Une étude inédite de Microsoft Research révèle que l’intelligence artificielle générative, utilisée pour réviser des documents professionnels sur de longues périodes, introduit progressivement des erreurs et altère la qualité des informations. Baptisée DELEGATE-52, cette recherche a évalué le comportement de grands modèles de langage (LLM) lors de tâches successives de lecture, d’interprétation et de modification de textes complexes. Si ces outils impressionnent par leur rapidité sur des actions courtes, ils tendent à supprimer des données pertinentes, à modifier des informations correctes et à générer des distorsions cumulatives lorsqu’ils opèrent sans supervision humaine régulière. Le constat est clair : l’autonomie accordée à l’IA dans les environnements corporatifs comporte des risques bien réels.
Un benchmark conçu pour simuler les flux professionnels
Le test DELEGATE-52 a été développé pour reproduire des activités réelles dans de nombreux domaines de connaissance, bien loin des évaluations classiques qui se limitent à des questions isolées. Les chercheurs ont mesuré ce qui se produit lorsque l’IA reçoit l’autonomie nécessaire pour exécuter des séquences étendues — rédaction de rapports, création de présentations ou synthèse de contenu — en plusieurs étapes. Ils ont observé que les problèmes s’aggravent à mesure que le nombre d’interactions de l’intelligence artificielle au sein d’un même document augmente. Chaque petite erreur, même imperceptible à une étape donnée, s’accumule et finit par compromettre l’intégrité de l’information finale. Ce phénomène, qualifié de dégradation documentale, illustre une faiblesse structurelle des systèmes actuels.
La dégradation documentale : un effet boule de neige
L’un des apports centraux de l’étude est la mise en évidence de la dégradation documentale, soit la perte progressive de précision au fil des révisions successives opérées par l’IA. Une information légèrement modifiée lors d’une première relecture peut être considérée comme correcte dans les étapes suivantes, entraînant des distorsions qui s’amplifient. Ce comportement rappelle le jeu du téléphone arabe où de petites altérations se multiplient jusqu’à produire un résultat très différent de l’original. Selon la recherche, ce schéma a été observé dans plusieurs modèles avancés disponibles sur le marché. Ainsi, un document pourtant cohérent en apparence peut contenir des erreurs substantielles après plusieurs passages de l’IA.
Pourquoi la précision s’érode-t-elle ?
Les grands modèles de langage fonctionnent en prédisant les mots les plus probables dans une séquence donnée, sans véritable compréhension du sens des informations qu’ils manipulent. Lorsqu’ils doivent éditer plusieurs fois un document, ils prennent des décisions sur ce qu’il faut garder, supprimer ou modifier — et dans de nombreux cas, des données importantes sont excessivement résumées, réinterprétées de façon erronée ou remplacées par un contenu plausible mais faux. Les documents volumineux constituent un défi supplémentaire, car le système doit gérer un vaste contexte simultanément. Cette limitation intrinsèque explique pourquoi l’accumulation d’erreurs est inévitable sans intervention humaine. L’absence de vérification factuelle en temps réel aggrave encore le phénomène.
Python : un cas où l’IA résiste mieux
Parmi les domaines testés, la programmation en Python a affiché des performances relativement meilleures. Les chercheurs notent que les tâches de génération et de modification de code possèdent des caractéristiques favorisant une évaluation automatique : les erreurs peuvent être détectées par des tests, des compilateurs et des validateurs, ce qui n’est pas le cas des textes classiques. Cette spécificité aide à comprendre le succès notable de l’automatisation par IA dans le développement logiciel. Néanmoins, les experts rappellent que les codes produits par intelligence artificielle doivent impérativement passer une revue technique avant d’être déployés en production. La différence fondamentale réside dans la possibilité de vérifier objectivement le résultat.
La supervision humaine, clé de la fiabilité
La conclusion principale de DELEGATE-52 est que l’œil humain reste indispensable. Les modèles actuels, aussi perfectionnés soient-ils, ne possèdent pas une compréhension réelle du contexte, des intentions ou des conséquences des informations qu’ils traitent. Les professionnels expérimentés jouent un rôle crucial dans la vérification des faits, l’analyse critique, l’identification des incohérences et la validation des résultats. En pratique, la combinaison entre intelligence artificielle et supervision humaine offre de meilleurs résultats que l’une ou l’autre approche isolée. Le rapport insiste sur le fait que pour des activités sensibles — rapports financiers, contrats juridiques, recherches scientifiques — l’IA doit rester un outil d’aide, non un substitut.