top of page

Ce que les LLM changent dans les documents qu’on leur confie

alexandrediehl
2 juin
2 min de lecture

Dernière mise à jour : il y a 25 minutes

Le rapport de Microsoft #Research "LLMs Corrupt Documents in #Delegation" révèle que plus un #LLM touche à un document, plus ce dernier se dégrade. L'étude a évalué 19 LLMs différents sur 52 domaines professionnels variés (comptabilité, aviation, structures cristallines, juridique, musique, etc.).

Les modèles les plus faibles suppriment du contenu (ce qui se remarque facilement), tandis que les modèles les plus performants effectuent des modifications plausibles qui passent inaperçues. L’exemple le plus frappant est celui d’un « au moins » qui devient « moins » au milieu du document.

Plusieurs constats sont particulièrement inquiétants :🍊 Les chercheurs ont conçu des paires de tâches d’édition inversées (« forward » et « backward ») : en théorie, le document devrait rester inchangé. En pratique, ce n’est jamais le cas.🍉 Après seulement 2 interactions (#prompts), 18 % du contenu d’un document était corrompu. Après 6 interactions, ce taux atteignait 30 %. Après 20 interactions, plus de 50 %.

Même les meilleurs modèles dégradaient les documents de 25 % en moyenne à l’issue des #workflows.

L’étude révèle également que les LLM commencent à voir leurs performances se dégrader au-delà d’environ 10 000 tokens, alors même qu’ils annoncent parfois des fenêtres de contexte pouvant atteindre un million de tokens. L’IA agentique aggrave encore la situation : l’ajout d’agents a empiré les résultats, notamment parce qu’il multiplie par 2 à 5 la consommation de tokens.

À ce jour, les LLM ne sont pas suffisamment fiables pour des workflows complexes d’édition documentaire sans architecture sophistiquée et supervision étroite. Des agents bien conçus peuvent améliorer la situation, mais cela exige une ingénierie particulièrement rigoureuse.

En d’autres termes, amis juristes, avocats ou simples utilisateurs qui vous amusez à faire rédiger seuls vos documents juridiques par une IA : relisez attentivement et ne lui accordez pas une confiance aveugle (#trustnoone"). Vous demeurez toujours responsables des documents qui en résultent.

 
 
 

Commentaires


bottom of page