J’ai été récemment interrogé par le journal L’informaticien au sujet des différentes solutions de traduction qui s’offrent aux entreprises et, en particulier, des questions de traduction automatique (voir l’article). Au cours de nos entretiens, Emilien Ercolani, le journaliste, m’a demandé de faire évaluer la traduction d’une phrase tirée d’un de ses précédents articles, et qu’il avait soumise à plusieurs moteurs de traduction automatique (Google, Bing, Power Translator, Systran et Babylon). Dans un premier temps, nous avons demandé à une traductrice (Andrea) de traduire la phrase source sans mentionner quoi que ce soit d’autre : nous ne lui avons donc pas fourni les traductions automatiques. C’est la cible 1. Ensuite nous avons demandé à trois autres traducteurs (Angie, Mark et Marie) de commenter les traductions automatiques. Nous ne leur avons pas dit qu’il s’agissait de traductions automatiques, mais que nous voulions choisir entre plusieurs formulations. Mark a reconnu de la traduction automatique, les autres n’ont pas commenté (ils ont pu reconnaître de la traduction automatique sans nous en parler). Enfin, nous avons demandé à Mark, qui avait corrigé auparavant les traductions automatiques, de faire une proposition de traduction : c’est la cible 2 (voir les résultats complets de notre test).
Les résultats sont éloquents : il suffit de comparer l’une des deux phrases cibles rédigées par des traducteurs humains à n’importe laquelle des phrases cibles construites par un moteur. Mais, pour poursuivre l’analyse, je me suis amusé à compter les erreurs relevées par les traducteurs humains dans les formulations automatiques. Pour chaque erreur, je comptais deux points, et un point pour les remarques stylistiques (du type « l’utilisation de indeed est un peu démodée » : ce n’est pas une erreur à proprement parler, mais une remarque stylistique). Puis, j’ai divisé le nombre de mots de la phrase source par le nombre de points obtenus, ce qui m’a donné un pourcentage : par exemple, la formulation de Google comporte 5 erreurs et 1 faute de style, ce qui me donne un total de 11 points. Ce total, divisé par 45 (le nombre de mots de la phrase source), donne un pourcentage d’erreurs de 24%. Si je retire 24% de 100%, j’obtiens un score qualité de 76%.
Moteur |
Erreurs |
Fautes de style |
Points |
Score Qualité |
5 |
1 |
11 |
76% |
|
Bing |
5 |
1 |
11 |
76% |
Systran |
6 |
0 |
12 |
74% |
Reverso |
7 |
0 |
14 |
69% |
Power Translator |
8 |
0 |
16 |
65% |
Babylon |
8 |
1 |
17 |
63% |
Ce score de 76%, que Google partage avec Bing, est très mauvais ! Pour donner une idée de ce que représente un tel pourcentage, cela revient à dire que dans un texte de 5 lignes (50 mots), un lecteur serait arrêté par une erreur 5 fois par ligne (25 erreurs) ! Personne n’accepterait ça dans un journal. A titre de comparaison, les scores qualités considérés comme acceptables dans le monde de la traduction professionnelle sont compris entre 95% et 100%. Microsoft, par exemple, refuse tout contrôle qualité dont le score est inférieur à 99%. Comme on peut le voir ici, sur une seule phrase, on est loin du compte avec la traduction automatique !
Il est d’ailleurs très probable que les résultats seraient différents si la phrase source avait été modifiée avant d’être soumise aux moteurs. C’est que soulignait déjà l’expérience dont je rendais compte dans Le site de traduction de Microsoft comparé à Google et PROMT.
Dans tous les cas, et même si elle est limitée à une seule phrase, cette petite expérience-ci confirme un point très important : la traduction automatique ne permet pas de délivrer des textes directement publiables. Et, les indéniables améliorations des moteurs renforcent encore le besoin de bien connaître la langue cible pour évaluer correctement le travail réalisé : peu de Français savent avec certitude quand on peut se passer de l’article « the » dans une phrase, pour reprendre une des erreurs qui revient souvent dans l’expérience. En fait, il s’agit d’un excellent outil de traduction… pour traducteurs ! Car il va beaucoup plus vite de relire (on dit « post-éditer » dans le jargon de la TA) que de traduire, et un traducteur professionnel peut multiplier par cinq à dix sa productivité quotidienne en utilisant des moteurs de traduction. Mais c’est une illusion de croire que l’on peut diffuser des textes traduits par un moteur sans post-édition.
Ces travaux de post-édition sont d’ailleurs proposés par plusieurs agences de traduction. Outre celles qui travaillent pour de très grandes entreprises du secteur informatique (ce n’est un secret pour personne que Microsoft ou Symantec exploitent énormément la traduction automatique pour localiser leurs produits), elles seraient de plus en plus nombreuses à proposer ce services aux clients moins naturellement portés sur la haute technologie. D’après un rapport de Common Sense Advisory, (The Market for MT Post-Editing, 22 novembre 2010, Donald DePalma et Vijayalaxmi Hegde), les agences qui proposent un service de post-édition sont encore peu nombreuses, et ce service ne représente pas une grosse part de leur chiffre d’affaires (moins de 10% du CA pour 73% des agences interrogées), mais c’est celui qui croît le plus vite pour une vingtaine d’agences.