J’ai été récemment interrogé par le journal L’informaticien au sujet des différentes solutions de traduction qui s’offrent aux entreprises et, en particulier, des questions de traduction automatique (voir l’article). Au cours de nos entretiens, Emilien Ercolani, le journaliste, m’a demandé de faire évaluer la traduction d’une phrase tirée d’un de ses précédents articles, et qu’il avait soumise à plusieurs moteurs de traduction automatique (Google, Bing, Power Translator, Systran et Babylon). Dans un premier temps, nous avons demandé à une traductrice (Andrea) de traduire la phrase source sans mentionner quoi que ce soit d’autre : nous ne lui avons donc pas fourni les traductions automatiques. C’est la cible 1. Ensuite nous avons demandé à trois autres traducteurs (Angie, Mark et Marie) de commenter les traductions automatiques. Nous ne leur avons pas dit qu’il s’agissait de traductions automatiques, mais que nous voulions choisir entre plusieurs formulations. Mark a reconnu de la traduction automatique, les autres n’ont pas commenté (ils ont pu reconnaître de la traduction automatique sans nous en parler). Enfin, nous avons demandé à Mark, qui avait corrigé auparavant les traductions automatiques, de faire une proposition de traduction : c’est la cible 2 (voir les résultats complets de notre test).
Les résultats sont éloquents : il suffit de comparer l’une des deux phrases cibles rédigées par des traducteurs humains à n’importe laquelle des phrases cibles construites par un moteur. Mais, pour poursuivre l’analyse, je me suis amusé à compter les erreurs relevées par les traducteurs humains dans les formulations automatiques. Pour chaque erreur, je comptais deux points, et un point pour les remarques stylistiques (du type « l’utilisation de indeed est un peu démodée » : ce n’est pas une erreur à proprement parler, mais une remarque stylistique). Puis, j’ai divisé le nombre de mots de la phrase source par le nombre de points obtenus, ce qui m’a donné un pourcentage : par exemple, la formulation de Google comporte 5 erreurs et 1 faute de style, ce qui me donne un total de 11 points. Ce total, divisé par 45 (le nombre de mots de la phrase source), donne un pourcentage d’erreurs de 24%. Si je retire 24% de 100%, j’obtiens un score qualité de 76%.
| Moteur |
Erreurs |
Fautes de style |
Points |
Score Qualité |
|
5 |
1 |
11 |
76% |
|
| Bing |
5 |
1 |
11 |
76% |
| Systran |
6 |
0 |
12 |
74% |
| Reverso |
7 |
0 |
14 |
69% |
| Power Translator |
8 |
0 |
16 |
65% |
| Babylon |
8 |
1 |
17 |
63% |
Ce score de 76%, que Google partage avec Bing, est très mauvais ! Pour donner une idée de ce que représente un tel pourcentage, cela revient à dire que dans un texte de 5 lignes (50 mots), un lecteur serait arrêté par une erreur 5 fois par ligne (25 erreurs) ! Personne n’accepterait ça dans un journal. A titre de comparaison, les scores qualités considérés comme acceptables dans le monde de la traduction professionnelle sont compris entre 95% et 100%. Microsoft, par exemple, refuse tout contrôle qualité dont le score est inférieur à 99%. Comme on peut le voir ici, sur une seule phrase, on est loin du compte avec la traduction automatique !
Il est d’ailleurs très probable que les résultats seraient différents si la phrase source avait été modifiée avant d’être soumise aux moteurs. C’est que soulignait déjà l’expérience dont je rendais compte dans Le site de traduction de Microsoft comparé à Google et PROMT.
Dans tous les cas, et même si elle est limitée à une seule phrase, cette petite expérience-ci confirme un point très important : la traduction automatique ne permet pas de délivrer des textes directement publiables. Et, les indéniables améliorations des moteurs renforcent encore le besoin de bien connaître la langue cible pour évaluer correctement le travail réalisé : peu de Français savent avec certitude quand on peut se passer de l’article « the » dans une phrase, pour reprendre une des erreurs qui revient souvent dans l’expérience. En fait, il s’agit d’un excellent outil de traduction… pour traducteurs ! Car il va beaucoup plus vite de relire (on dit « post-éditer » dans le jargon de la TA) que de traduire, et un traducteur professionnel peut multiplier par cinq à dix sa productivité quotidienne en utilisant des moteurs de traduction. Mais c’est une illusion de croire que l’on peut diffuser des textes traduits par un moteur sans post-édition.
Ces travaux de post-édition sont d’ailleurs proposés par plusieurs agences de traduction. Outre celles qui travaillent pour de très grandes entreprises du secteur informatique (ce n’est un secret pour personne que Microsoft ou Symantec exploitent énormément la traduction automatique pour localiser leurs produits), elles seraient de plus en plus nombreuses à proposer ce services aux clients moins naturellement portés sur la haute technologie. D’après un rapport de Common Sense Advisory, (The Market for MT Post-Editing, 22 novembre 2010, Donald DePalma et Vijayalaxmi Hegde), les agences qui proposent un service de post-édition sont encore peu nombreuses, et ce service ne représente pas une grosse part de leur chiffre d’affaires (moins de 10% du CA pour 73% des agences interrogées), mais c’est celui qui croît le plus vite pour une vingtaine d’agences.
L’article me laisse un peu perplexe. Bien sûr que la traduction automatique « ne permet pas de délivrer des textes directement publiables ». Est-il besoin de le démontrer?
La TA est un outil incontournable pour qui ne connaît rien d’une langue cible mais veut une idée de ce qui est écrit. En 2012, la qualité « publication » n’est pas la seule vocation de la traduction. Dans la pyramide de la qualité, la TA occupe le sommet, mais à la base, il y a un gros besoin de traduction sans impératif de qualité.
L’idée que la post-édition accélère de « cinq à dix fois » la productivité est surprenante. Dans mon expérience, l’accélération est plutôt de 50% (votre article parlant de qualité publiable) à peut-être 200% pour un travail rapide. Au-delà, le différentiel de qualité (entre TA avant et après post-édition) chute spectaculairement, vu qu’à cette vitesse le traducteur ne peut travailler sur le sens (source/cible), il corrige la forme sur la cible. 50% = accélération idéale pour de la qualité, et 200%, horizon à partir duquel la post-édition n’apporte plus rien de notable. Ceci dit, des agences peu scrupuleuses sont prêtes à jouer du pipeau à leurs clients, j’en conviens
Voilà mes deux centimes d’Euro.
– YC
Billet incontestablement très intéressant mais qui, malheureusement, risque fort de n’être lu que par des traducteurs professionnels qui savent depuis longtemps ce qu’il faut attendre de la traduction automatique, c’est-à-dire qu’il ne prêchera que des convertis. Quant au public qu’il s’agit d’atteindre, c’est-à-dire les éventuels clients, s’il s’aventure à parcourir ce texte, il ne saisira pas grand-chose et, malgré le titre qui est on ne peut plus éloquent, il a les plus grandes chances de comprendre tout de travers.
Je me permets de renvoyer à ce que j’écrivais le 4 juillet 2010 sur ce blog : « Le vulgaire est persuadé que la traduction automatique permet au moins de saisir le sens de la phrase ; évidemment on ne respecte pas tout à fait l’imparfait du subjonctif ni l’accord du participe, mais il suffira d’un coup de plumeau à donner, je veux dire d’une relecture rapide avec quelques corrections de çà et de là et tout sera impeccable ». Bien sûr il a intérêt à le croire puisqu’il voudrait payer le moins possible aux traducteurs, voire rien du tout. Il est donc tout disposé à ne regarder dans ce qu’il a sous les yeux que ce qui est susceptible de conforter ses préjugés et il ignorera tout ce qui va en sens inverse. Si vous lui dites, donc, que le score qualité de Google est de 76%, il conclura que le travail est déjà fait à 76% et qu’il pourra réduire d’autant la rémunération du traducteur. Et c’est ainsi qu’on voit des jeunes qui s’inscrivent au chômage, comme cette pauvre jeune qui signait Transtextuel et dont le dernier billet m’a vraiment fait pleurer.
Au sujet de Google Traduction, je suis effaré de devoir rappeler un fait que tout le monde semble ignorer (il arrive tout de même qu’on en parle en passant, comme s’il s’agissait d’un fait secondaire), c’est que ce logiciel utilise toujours l’anglais comme langue pont, c’est-à-dire que, si vous traduisez un texte d’espagnol en français, il commencera par le traduire d’espagnol en anglais puis d’anglais en français. Vous imaginez la perte d’information qui peut en résulter. Un seul exemple suffira: une phrase espagnole comme «Mi hermano podía venir» est correctement rendue en français par «Mon frère pouvait venir», que ce soit par Promt, par Reverso ou par Systran; mais Google nous donne «Mon frère pourrait venir». C’est que la phrase a dû faire le tour par l’anglais où elle est devenue «My brother could come», et l’on sait que «could» veut dire à la fois «pouvait» et «pourrait»; obligé de choisir entre les deux, Google a opté pour le sens le plus fréquent qui en l’occurrence ne convient pas. L’erreur se retrouve même entre deux langues voisines puisque l’espagnol «Mi hermano podía venir» nous donne en portugais «Meu irmão poderia vir», avec «poderia» au lieu de «podia», c’est-à-dire le conditionnel au lieu de l’imparfait.
Voilà ce qu’il faudrait dire à ceux qui pensent que la traduction automatique a maintenant tout résolu… et que malheureusement on ne dit pas. Je reconnais que je manque de diplomatie et que, vieux retraité, je n’ai pas à chercher des clients mais, si c’était le cas, j’aurais envie d’envoyer à celui qui trouverait mon prix exagéré une ou plusieurs traductions automatiques en lui disant qu’il peut recourir gratuitement à ce système.
Ping : Traduzione ‘automagica’: alcune novità e una discussione seria | metagrapho
« il s’agit d’un excellent outil de traduction… pour traducteurs ! Car il va beaucoup plus vite de relire »
Là, vous me faites bien rire.
Ce que vous appelez post-édition, en pratique c’est pour le traducteur/correcteur une nouvelle traduction au prix d’une révision.
Et cette pratique bien pourrie se répand dans les agences de traduction.
Bonjour Patrick,
je ne connais pas les pratiques des autres agences de traduction, et je ne peux pas me prononcer à leur sujet.
Mais ce n’est pas ce dont je parle dans cet article.
J’ai, en tant que traducteur indépendant, utilisé ensemble un logiciel de traduction automatique, un logiciel à mémoire de traduction et ma propre force de travail, pour traduire deux ouvrages d’informatique (un domaine que je connaissais très bien à l’époque). Sur ce projet, qui a duré plusieurs mois, j’ai produit 2000 mots de l’heure, qui étaient révisés par un tiers à la même vitesse. Ce qui signifie que, à deux, nous avons produit 1000 mots de l’heure pour traduire/relire/faire des copies d’écran et enrichir le dictionnaire de l’outil de trad auto. Et le résultat était impeccable.
C’est cette expérience-là (que j’ai déjà relaté ailleurs) qui me fait écrire, et je le maintiens, que la trad auto constitue un excellent outil de traduction pour traducteurs ! Par opposition à un outil de traduction employé par un non-traducteur (un client par exemple). Il me semble important de le dire, car il y a un mensonge manifeste de la part des éditeurs de logiciels de traduction automatique, qui consiste à dire que leurs outils permettraient à tout un chacun de traduire sans faire appel à un professionnel. Or c’est faux.
D’un autre côté, je trouve peu professionnelle aujourd’hui l’attitude, assez répandue parmi les traducteurs indépendants, qui consiste à ignorer ces outils en se contentant d’en médire sans tenter de les maîtriser. Pour mémoire, cette même attitude de victime a fait perdre aux traducteurs la mainmise sur les mémoires de traduction alors qu’ils auraient pu être les gagnants de leur généralisation. Mais il aurait fallu apprendre à les utiliser à leur profit au lieu de faire l’autruche en espérant que ça passe.
Et ce ne sont pas les quelques professionnels qui ont bien compris comment décupler leur productivité sans le dire qui me contrediront. Je pense par exemple à certains traducteurs qui, loin des projecteurs, utilisent la reconnaissance vocale pour facturer par jour ce que d’autres mettent une semaine à gagner. Ignorer les outils, c’est se faire avoir. Apprendre à les exploiter au mieux de ses intérêts, c’est développer son business.
Et enfin, pour finir sur ce billet d’humeur qui répond au vôtre, je précise que Anyword n’utilise pas la traduction automatique, et ne demande pas aux traducteurs de faire de la post-édition. Nous ne nous interdisons pas de le proposer à l’avenir, et nous avons commencé à mener quelques expérimentations, dont je rends compte sur ce blog, mais nous ne sommes pas entrés dans ce modèle.
GB
Bonjour,
Votre article m’a beaucoup intéressé et je souhaiterais connaître votre avis sur mes différents posts sur le blog : http://blog.traductionaparis.fr
Bien cordialement,
L’Equipe Traduction à Paris