Google Translator, Bing ou Systran : les traducteurs automatiques sont très inférieurs aux humains

J’ai été récemment interrogé par le journal L’informaticien au sujet des différentes solutions de traduction qui s’offrent aux entreprises et, en particulier, des questions de traduction automatique (voir l’article). Au cours de nos entretiens, Emilien Ercolani, le journaliste, m’a demandé de faire évaluer la traduction d’une phrase tirée d’un de ses précédents articles, et qu’il avait soumise à plusieurs moteurs de traduction automatique (Google, Bing, Power Translator, Systran et Babylon). Dans un premier temps, nous avons demandé à une traductrice (Andrea) de traduire la phrase source sans mentionner quoi que ce soit d’autre : nous ne lui avons donc pas fourni les traductions automatiques. C’est la cible 1. Ensuite nous avons demandé à trois autres traducteurs (Angie, Mark et Marie) de commenter les traductions automatiques. Nous ne leur avons pas dit qu’il s’agissait de traductions automatiques, mais que nous voulions choisir entre plusieurs formulations. Mark a reconnu de la traduction automatique, les autres n’ont pas commenté (ils ont pu reconnaître de la traduction automatique sans nous en parler). Enfin, nous avons demandé à Mark, qui avait corrigé auparavant les traductions automatiques, de faire une proposition de traduction : c’est la cible 2 (voir les résultats complets de notre test).

Les résultats sont éloquents : il suffit de comparer l’une des deux phrases cibles rédigées par des traducteurs humains à n’importe laquelle des phrases cibles construites par un moteur. Mais, pour poursuivre l’analyse, je me suis amusé à compter les erreurs relevées par les traducteurs humains dans les formulations automatiques. Pour chaque erreur, je comptais deux points, et un point pour les remarques stylistiques (du type « l’utilisation de indeed est un peu démodée » : ce n’est pas une erreur à proprement parler, mais une remarque stylistique). Puis, j’ai divisé le nombre de mots de la phrase source par le nombre de points obtenus, ce qui m’a donné un pourcentage : par exemple, la formulation de Google comporte 5 erreurs et 1 faute de style, ce qui me donne un total de 11 points. Ce total, divisé par 45 (le nombre de mots de la phrase source), donne un pourcentage d’erreurs de 24%. Si je retire 24% de 100%, j’obtiens un score qualité de 76%.

Moteur

Erreurs

Fautes de style

Points

Score Qualité

Google

5

1

11

76%

Bing

5

1

11

76%

Systran

6

0

12

74%

Reverso

7

0

14

69%

Power Translator

8

0

16

65%

Babylon

8

1

17

63%

Ce score de 76%, que Google partage avec Bing, est très mauvais ! Pour donner une idée de ce que représente un tel pourcentage, cela revient à dire que dans un texte de 5 lignes (50 mots), un lecteur serait arrêté par une erreur 5 fois par ligne (25 erreurs) ! Personne n’accepterait ça dans un journal. A titre de comparaison, les scores qualités considérés comme acceptables dans le monde de la traduction professionnelle sont compris entre 95% et 100%. Microsoft, par exemple, refuse tout contrôle qualité dont le score est inférieur à 99%. Comme on peut le voir ici, sur une seule phrase, on est loin du compte avec la traduction automatique !

Il est d’ailleurs très probable que les résultats seraient différents si la phrase source avait été modifiée avant d’être soumise aux moteurs. C’est que soulignait déjà l’expérience dont je rendais compte dans Le site de traduction de Microsoft comparé à Google et PROMT.

Dans tous les cas, et même si elle est limitée à une seule phrase, cette petite expérience-ci confirme un point très important : la traduction automatique ne permet pas de délivrer des textes directement publiables. Et, les indéniables améliorations des moteurs renforcent encore le besoin de bien connaître la langue cible pour évaluer correctement le travail réalisé : peu de Français savent avec certitude quand on peut se passer de l’article « the » dans une phrase, pour reprendre une des erreurs qui revient souvent dans l’expérience. En fait, il s’agit d’un excellent outil de traduction… pour traducteurs ! Car il va beaucoup plus vite de relire (on dit « post-éditer » dans le jargon de la TA) que de traduire, et un traducteur professionnel peut multiplier par cinq à dix sa productivité quotidienne en utilisant des moteurs de traduction. Mais c’est une illusion de croire que l’on peut diffuser des textes traduits par un moteur sans post-édition.

Ces travaux de post-édition sont d’ailleurs proposés par plusieurs agences de traduction. Outre celles qui travaillent pour de très grandes entreprises du secteur informatique (ce n’est un secret pour personne que Microsoft ou Symantec exploitent énormément la traduction automatique pour localiser leurs produits), elles seraient de plus en plus nombreuses à proposer ce services aux clients moins naturellement portés sur la haute technologie. D’après un rapport de Common Sense Advisory, (The Market for MT Post-Editing, 22 novembre 2010, Donald DePalma et Vijayalaxmi Hegde), les agences qui proposent un service de post-édition sont encore peu nombreuses, et ce service ne représente pas une grosse part de leur chiffre d’affaires (moins de 10% du CA pour 73% des agences interrogées), mais c’est celui qui croît le plus vite pour une vingtaine d’agences.

La Traduction professionnelle dans la presse et l’édition

Plusieurs publications récentes s’intéressent aux questions de traduction.

À commencer par l’élégant article de Pierre Assouline, intitulé « Il faut lever le nez quand on traduit », et où l’on peut lire des phrases comme « [Svetlana Geier, traductrice] dit des choses sur la littérature qu’aucun critique, aucun écrivain, aucun éditeur ne saurait dire. Car nul n’est placé comme un traducteur pour vivre et faire vivre un texte de l’intérieur. » Et en effet, elle dit, par exemple, « qu’on ne traduit pas de gauche à droite, en suivant la langue, mais seulement après s’être approprié la phrase. Elle doit être digérée de l’intérieur, toucher le coeur. Je lis le livre si souvent que les pages en sont trouées. D’abord, je le connais par coeur. Ensuite, vient un jour où enfin j’entends la mélodie du texte. » Le reste à l’avenant : hommage d’un écrivain au travail des traducteurs, l’article présente un documentaire allemand de Vadim Jendreyko, La Femme aux cinq éléphants (qui passe au Reflet Médicis et au Lucernaire, à Paris), et la nouvelle traduction de L’Iliade, réalisée par Philippe Brunet, parue au Seuil. Agréable à lire, ce court article présente avec intelligence et finesse les servitudes et la grandeur de notre métier, vu sous son angle le plus littéraire.

Mais il n’y a pas que la littérature dans la vie du traducteur ! C’est ce que rappellent avec force Clare Donovan, directrice de l’ESIT, et Marie Meriaud-Brischoux, directrice générale de l’ISIT, dans cet autre article du Monde : « Wanted ! : traducteurs et interprètes francophones » (que j’ai lu grâce à Ghislaine Cathenod, qui me l’a signalé). Elles relèvent la contradiction, à laquelle nous sommes tous si souvent confrontés, entre un discours ambiant qui laisse penser que traduire serait à la portée de tous, si c’est seulement nécessaire, et la désespérante rareté des profils aptes à satisfaire la demande des organismes internationaux les plus habitués aux questions de traduction. Si l’Europe promeut le label EMT (European Master of Translation), si les Nations Unies signent des accords cadres avec des écoles de traduction partout dans le monde, et si l’OCDE accueille « l’Appel de Paris » s’inquiétant que bientôt « les organisations internationales ne [soient] plus en mesure de s’acquitter de leurs missions premières », c’est bien parce que les (bons) traducteurs sont peu nombreux, et que leurs compétences dépassent la simple compréhension d’une ou plusieurs langues étrangères ! Serait-ce alors une « simple » question de formation demandent les auteurs ? Mais les critères de reconnaissance des formations d’excellence (comme le sont celles dispensées par l’ESIT et l’ISIT) sont mal adaptés à des enseignements professionnalisant. C’est le mérite de cet article de poser le problème dans toute sa complexité, tout en annonçant les voies de solution possibles évoquées lors des Assises de la traduction et de l’interprétation organisées par le Ministère des Affaires étrangères et européennes.

La presse n’est pas le seul média à s’intéresser à la traduction ces temps-ci. Pour preuve, le long article paru sur le blog En Cathy Mini, qui analyse, résume et critique avec esprit l’ouvrage La traduction : la comprendre, l’apprendre, de Daniel Gile, paru aux Presses Universitaires de France. Là encore, l’auteur, interprète de conférence qui enseigne la traduction à l’Université de Lyon 2, démontre que le savoir-faire propre au traducteur dépasse de loin la seule maîtrise d’une langue étrangère. Il faut y ajouter l’expertise en matière d’expression écrite dans sa langue maternelle, une culture générale très étendue, quelques domaines de spécialisation où l’on se doit d’être réellement compétent, la maîtrise des outils de traduction, et l’expérience de l’opération de transfert elle-même, qui ne s’acquiert pas sans mal. Voilà un livre qui, aux dires de Cathy, devrait être lu par tout étudiant en Traduction (je souligne pour ceux que je connais) et complète utilement l’ouvrage Profession : Traducteur de Daniel Gouadec.

Des étudiants qui trouveront aussi un profit certain à consulter les ouvrages de la collection Traducto, dirigée par Mathieu Guidère (Maître de conférence à l’Université de Genève), aux Editions de Boeck. Jeune encore, la collection Traducto ne comporte pour le moment que quatre ouvrages, qui s’adressent en priorité aux étudiants en voie de professionnalisation. Les sujets ? Une Introduction à la traductologie, la Traduction juridique, la Communication multillingue et la Traduction audiovisuelle. A noter, la modicité du prix de vente (19,50 €), qui plaide pour l’achat du guide qui correspond le plus à vos préoccupations professionnelles. On souhaite longue vie à cette collection d’ouvrages spécialisés, qui grandira sûrement très vite.

La traduction des titres de films ne doit rien au hasard

Je viens de lire en ligne sur Slate un article passionnant sur le choix des titres des films américains diffusés en France.

Si vous êtes intéressé par les questions de traduction, vous vous êtes sûrement déjà interrogé sur les titres de films. Pourquoi certains sont-ils traduits (Pas si simple était au départ It’s complicated) et pas d’autres (Toy Story reste Toy Story) ? Pourquoi certains titres restent-ils en anglais alors que le film porte un autre titre à l’origine (pourquoi Step Up 3D s’appelle-t-il Sexy Dance 3D en France ?) Qui décide quoi ? Sur quelles bases ? Existe-t-il des règles à suivre impérativement ? Est-ce une question de réglementation ?

Cécile Dehesdin, journaliste à Slate, répond à toutes ces questions, et fournit des chiffres précis. Elle en profite pour dérouler tout le circuit du lancement en France d’un film importé, et nous montre comment un film peut se trouver au passage entièrement repositionné : Démineurs, par exemple, n’est pas du tout présenté de la même façon en France ou aux USA, où il était titré The Hurt Locker, et les bandes annonces ont été revues en conséquence.

Bref, voilà un article particulièrement instructif, un vrai must read.

La bande annonce de Démineurs en version française a malheureusement été retirée de Youtube.

Traduire des sous-titres pour le cinéma : témoignage

Je reproduis ci-dessous l’article de Bernard Achour publié dans la revue gratuite Illimité distribuée dans les cinémas UGC.

Harold Manning : traduire sans trahir

Spécialiste de la traduction et du sous-titrage français de films anglo-saxons, Harold Manning a réussi un véritable exploit en adaptant les dialogues incroyablement volubiles, inventifs et percutants de l’irrésistible In the Loop.

« Tacatacatac ! Pif ! Baoum ! Whizzz ! » C’est en termes particulièrement choisis que notre interlocuteur du jour tente de décrire ce qu’il a ressenti en découvrant In the Loop, cette formidable satire du pouvoir dont l’humour démentiel provient essentiellement de dialogues débités à un rythme de mitraillette, dont il accepta d’assurer la traduction et le sous-titrage français. « Ca n’arrête pas du début à la fin, dit Harold Manning. Un véritable feu d’artifice de jeux de mots, de références politiques, d’inventions lexicales, de sous-entendus sexuels et de grossièretés à faire rougir une caserne entière. » Mais que l’amateur de versions originales soit rassuré : grâce à son parfait bilinguisme franco-anglais, à sa connaissance aiguë des deux cultures, à son sens de la synthèse, à sa vivacité d’esprit et à sa pratique du métier, il ne perdra pas une miette de cette pure déflagration comique qu’est In the Loop.

Va te faire au revoir
Selon des règles établies d’après de savants calculs, le sous-titrage français d’un film étranger se décompose en lignes (deux d’un coup au maximum) comportant un nombre limité de caractères (41) par ligne, pas davantage, (lettres, signes de ponctuation et espaces compris) incrustés à l’image le temps nécessaire à leur lecture et à leur compréhension, soit environ quatre secondes. « Quand je travaille sur un film, j’en reçois une copie ainsi que la liste complète de ses dialogues, où figurent en heures, en minutes et en secondes le début et la fin de chaque réplique, explique Harold Manning. Ensuite, c’est à moi de condenser ma traduction en fonction de l’espace dont je dispose, calculé par une machine spécialisée. » Contrairement à la transposition d’oeuvres littéraires, il ne s’agit donc pas de reproduire l’intégralité d’un texte, mais d’en extirper le style, le sens, la musicalité (« Essentiel, la musique de la langue ! ») et l’expressivité du comédien qui le prononce, dans le cadre d’un repérage bien déterminé. Une tâche dont Harold Manning, fasciné depuis l’enfance par les mots qui clignotaient sur les images des films qu’il regardait en VO, s’est déjà acquitté près de 100 fois pour le cinéma (Bloody Sunday) comme pour la télévision (Queer as Folk).

Contacté en urgence par la productrice d’In the Loop, c’est un vrai coup de coeur pour le film qui lui fit accepter la mission « impossible » de le traduire en 15 jours : « Un film de la même durée comprend à peu près 150 pages de dialogues : ceux d’In the Loop en occupent le double, soit 2000 sous-titres ! » Mais pas un gramme de remplissage : « C’est du caviar, du Billy Wilder, chaque phrase explose de sens et de drôlerie« , s’enflamme Harold Manning. Etrangement, il n’a pas tellement buté sur la traduction des allusions politiques ou sur la multiplicité des personnages qui prennent parfois la parole en même temps. En fait, c’est aux injures follement imaginatives de l’impayable directeur de la communication du Premier Ministre anglais qu’il s’est principalement heurté. « L’expression inventée de toutes pièces « Fuckitty bye » m’a hanté plusieurs nuits, jusqu’au moment où j’ai pensé à « Va te faire au revoir » et où tout s’est débloqué« , se souvient-il.

Au fait, que signifie In the Loop ? « Ca veut dire « Dans la confidence », et on s’est essoré les méninges à force de brainstormings pour trouver un équivalent français satisfaisant, raconte Harold Manning. Mais, en fin de compte, on a jugé que ça sonnait bien phonétiquement, et on l’a laissé tel quel !« 

Les traducteurs, ces funambules des mots

Le quotidien gratuit 20 minutes publie aujourd’hui un petit article sur le travail des traducteurs de séries anglo-saxonnes. Les principaux écueils du métier sont évoqués : mode, néologismes, sous-entendus intraduisibles… Pas moins de trois traductrices spécialisées, dont Vanessa Chouraqui, qui fut en charge de Sex and the city, témoignent dans le petit article, bourré d’informations, d’Anne Kerloc’h. A lire, donc.

Traduction financière : savoir utiliser XBRL

Cet article de CFO-News fait un point synthétique sur la norme XBRL, qui permet la traduction des données financières publiées par les groupes cotés. Ces grandes entreprises sont tenues à fournir de l’information financière à leurs actionnaires en respectant les nouvelles normes comptables IFRS, et sont amenées à traduire dans plusieurs langues leurs rapports annuels et notices de résultats trimestriels.

Si la traduction du texte de commentaire ne soulève pas de question particulière (à part, évidemment, le degré d’expertise financière du traducteur), la traduction des intitulés, des concepts et des chiffres des comptes de résultat, bilans, soldes de trésorerie, etc., est très complexe à gérer. C’est à ce stade qu’intervient le langage XBRL, qui facilite la transmission électronique des données financières.

S’il n’est forcément nécessaire pour les traducteurs spécialisés en finance de savoir utiliser ce langage, ils ont malgré tout impérativement besoin de savoir en quoi il consiste et à quoi il sert. L’article de Pierre Hamon* leur fournit les informations essentielles.

*Auteur de l’ouvrage Comprendre XBRL et la taxonomie Comptes annuels, paru aux Editions BoD

Profession Traducteur : nouvelle édition de l’excellent Guide de référence de D. Gouadec

Je lis en ce moment Profession Traducteur, de Daniel Gouadec, dont la 2ème édition est parue cette année aux éditions La Maison du Dictionnaire. J’avais publié il y a quelques mois un billet pour signaler l’excellent site Web du même nom, qui comporte en particulier de nombreux liens utiles. J’y suis souvent retourné, et j’ai fini par acheter le livre et m’y plonger.

Et cet ouvrage est passionnant : très agréable à lire tant le style est fluide et naturel, le texte est fouillé, informé, détaillé. La quantité d’informations fournies à la page est tout bonnement impressionnante. L’auteur, Daniel Gouadec, est une telle référence en matière d’enseignement de la traduction* qu’il n’est pas surprenant d’apprendre du nouveau dans son livre. L’inattendu de l’affaire c’est le caractère complet, fini, de l’ouvrage. A cet égard, le titre est légèrement trompeur : il ne s’agit pas tant de présenter la profession de traducteur que d’expliquer toutes les arcanes, toutes les subtilités des métiers de la traduction.

C’est bien simple : tout y est. Du marché de la traduction à la description du poste de travail du traducteur en passant par les différents statuts, les démarches d’installation, l’organisation d’un projet de localisation lourd, les relations entre les intervenants, les effets de l’informatisation et de l’industrialisation sur le métier et, bien sûr, la question de la formation. Mais l’énumération des rubriques est insuffisante à rendre justice à ce document de référence. Bourré d’infos, travaillé (au sens où l’artisan remet sans cesse l’ouvrage sur le métier), plein de réflexions pertinentes où l’humour ne manque pas (il faut lire les -nombreuses- notes en bas de page), c’est à un véritable voyage que nous convie ce Guide Michelin* de la traduction. Un voyage parfois heureux et parfois moins, où tous les aspects de la profession sont successivement présentés, commentés, puis analysés, à la fois sous l’angle du traducteur et sous celui du donneur d’ouvrages. S’il fallait faire un reproche au livre de M. Gouadec, on pourrait, après réflexion, regretter dans certains cas le côté trop détaillé (!). On sent bien qu’il ne s’agit pas d’un regret majeur : même si sa lecture est un plaisir pour le connaisseur, celui-ci ne doit pas oublier que l’ouvrage qu’il a en mains a d’abord été rédigé pour les nouveaux venus. Et on peine à imaginer comment ils regretteraient de disposer de trop d’informations.

Ce guide devrait d’ailleurs se trouver sur la table de chevet de tout étudiant en traduction. On constate encore trop souvent, même au niveau du Master deuxième année, une ignorance certaine des tenants et aboutissants de la profession, du milieu, des usages, des outils, du marché. Il est frappant de constater parfois le peu de curiosité de certains étudiants pour ces données essentielles à leur exercice futur des professions de traducteur, chef de projet, veilleur, etc. Qu’ils lisent cet excellent livre ! Ils bénéficieront en peu de temps de l’essentiel du savoir accumulé au fil des ans par l’un des principaux témoins des évolutions de notre métier. Quant aux autres, professionnels déjà installés et expérimentés, ils trouveront un grand plaisir à voir confortées leurs analyses du secteur et de ses évolutions, et seront heureux de pouvoir à tout consulter à tout moment cette Bible de la traduction et des traducteurs.

Deux mots, pour finir : Lisez-le !
————————
*Pour ceux qui ne le sauraient pas, Daniel Gouadec dirige le Centre de formation de Traducteurs-Localiseurs, Terminologues et Rédacteurs, et le Centre de Recherches et d’applications en ingénierie linguistique, documentaire et multimédia de l’Université de Rennes 2. Il préside l’Association française des formations universitaires aux métiers de la traduction. Voir Gouadec.net et CFTTR.
**Ou ce Baedeker ?

La traduction littéraire vue par Le Figaro

Ce court billet pour signaler deux articles concernant la traduction, déjà anciens, parus dans Le Figaro et toujours accessibles dans la version en ligne du quotidien national.

Tout d’abord, un entretien passionnant avec Umberto Eco, à l’occasion de la publication de son ouvrage Dire presque la même chose (Grasset, 460 p.), qui traite des défis de la traduction en s’appuyant sur des situations concrètes commentées par l’illustre écrivain, lui-même traducteur des ouvrages de Queneau et de Nerval. Il y explique comment la traduction est avant tout affaire de négociation, tant il est impossible d’exprimer exactement dans la même chose dans deux langues différentes.

Ensuite, un article intitulé « La seconde vie des romans français« , qui fait le point sur la santé du secteur de la traduction d’ouvrages littéraires français à l’étranger. Contrairement à ce qu’on aurait tendance à croire, les livres français s’exportent, puisque les droits de traduction de plus de 6 500 ouvrages français ont été vendus dans le monde en 2006, dont plus de 2 000 livres de littérature. Et l’on apprend que nos écrivains sont particulièrement appréciés en Italie, en Espagne, au Brésil, en Argentine, en Chine, mais assez peu au Japon ou aux Pays Bas, par exemple. Le mécanisme même de la cession de droits est abordé dans le détail au travers de l’interview de plusieurs intervenants, dont des éditeurs, des agents littéraires et des représentants des organismes d’aide à la traduction.

Traduire ou ne pas traduire : le franglais dans la presse financière

Bel article de Stéphanie Grammond dans La Presse Affaires, la version Web du grand quotidien québecois La Presse, au sujet de l’arbitrage nécessaire entre termes français et termes anglais dans les journaux.

Le dilemme n’est pas simple : pour conserver la langue française, il faut l’employer, mais pour être efficace et se faire comprendre de ses lecteurs, c’est parfois l’anglais qu’il faut privilégier. La journaliste puise dans la terminologie financière, particulièrement à la Une en ce moment, pour fournir plusieurs exemples de cas difficiles à résoudre.

Certains ont eu une fin heureuse, comme « fonds commun de placement » qui a supplanté « fond mutuel », lequel n’était qu’une pâle copie, avec perte de sens au passage, de « mutual fund« . D’autres ont moins d’espoir : si vous ne savez pas ce qu’est un TGCRDE, lisez l’article !

Le français va-t-il survivre ? Le Monde pose la question

Je voudrais la parution sur le blog du Monde d’un article passionnant et très bien documenté sur la place déclinante du français, et sur les spécificités linguistiques : on sait que les Inuits ont quantité de mots pour décrire le blanc, mais saviez-vous que les langues bantoues distinguaient une dizaine de genres (contre trois pour nous: masculin, féminin et neutre) ?

Fondé à la fois sur les chiffres de l’influence des langues dans le monde et sur la constatation de ces particularismes, le long billet rédigé par argoul entame une réflexion sur la traduction et liste une série de propositions concrètes pour maintenir la place du français dans le concert des langues. Un must-read ;-).