Поделиться
С родного на чужой и обратно: тестируем 7 онлайн-переводчиков
Выбор онлайн-переводчика – дело ответственное и неочевидное. Известно, что различные сервисы предоставляют неодинаковое качество перевода, более того – это качество у одного и того же сервиса разнится в зависимости от выбранной языковой пары. Как не ошибиться в выборе и получить наилучший результат для нужного языка? Ответить на этот вопрос поможет сравнительное тестирование, проведенное профессиональным переводчиком.Онлайн-переводчики для сравнительного тестирования выбирались из списка наиболее известных сервисов на основе личных предпочтений автора. Приоритет был отдан тем, которые работают с русским языком и известны в России. Также были найдены онлайн-переводчики, для которых тот или иной язык (русский, немецкий, украинский, английский) является "родным", чтобы выяснить, насколько их уровень перевода на этот язык и обратно отличается от общепринятых мировых и российских лидеров.
Было рассмотрено 6 известных автору языков (русский, английский, немецкий, французский, украинский, польский), из них 4 синтетических, 2 аналитических, 3 славянских, 2 германских, 1 романский. Особое внимание уделялось сопоставлению уровня перевода между относительно близкими по строю языками (например, между славянскими или между западноевропейскими) с уровнем перевода между далекими по родству языками.
Обычно сервисы хорошо переводят с "родного" языка и обратно, при этом лучше всего работают с языковыми парами, в которых второй язык является близким "родному". Однако всегда есть место исключениям, как показывают оценки.
Оригиналы были взяты на всех шести языках из выборки по темам: новости науки, спорта и культуры, популярная психология, популярная лингвистика, здоровье, информационные технологии, авторские права в сети. Тексты были подобраны с минимумом сленга, узкоспециальной терминологии и запутанных грамматических конструкций – образцы литературного языка, доступного для понимания среднестатистическим пользователем, то есть средней сложности для переводчика. Все материалы были переведены в испытываемых сервисах на пять других языков из выборки, что составляет 30 направлений перевода.
Допустимая погрешность
В нашем исследовании достоверность результата зависит от добросовестности одного специалиста – автора статьи, причем польским и французским она владеет весьма несвободно. Также обзор мог бы стать более репрезентативным и выверенным за счет включения в выборку большего количества языков, представляющих разные языковые группы, и скрупулезного отбора текстов для тестирования.
Критерии выставления оценок (в баллах)
6 – "Работа специалиста" - ориентир, он же недостижимый идеал, на настоящий момент для всех технологий машинного перевода.
5 – "Готовый продукт" – перевод только с парой грамматических помарок и, возможно, не всегда самым-самым точным выбором лексики (встречается в некоторых сервисах при переводе между родственными языками).
4 – "Полуфабрикат" – ровный текст лишь с небольшими искажениями и редкими "темными местами", ясным общим смыслом, в целом хорошей лексикой и грамматикой, приятными находками в сложных случаях. Редко требуется обращение к оригиналу, но доработка специалистом необходима.
4,5 – "Полуфабрикат" плюс очень хорошая лексика и/или грамматика.
3,5 – "Полуфабрикат", но в тексте имеется повышенное содержание "темных мест", неправильных переводов слов, форм слов и связей между словами.
N.B. (4,5 + 3,5)/2 = 4
3 – "Штамповка" – пословный перевод, более-менее понятный, но нередко с неточной лексикой, искаженным смыслом и грамматическими структурами, а также малым количеством адекватной фразеологии. Без оригинала смысл местами неясен.
2 – "Суррогат"– пословный перевод, часто с языка-посредника, смысл и грамматические связи еле угадываются, искажены.
1 – "Яд" – "Суррогат" плюс много непереведенных слов.
Оригиналы на разных языках получились неодинаковой сложности, точнее, в каждом тексте были свои сложности. Тем не менее, такие неоднородные материалы позволили оценить точность работы сервисов в целом, их сильные и слабые стороны. Вне зависимости от особенностей оригинала онлайн-переводчик вполне может показать свой уровень перевода, "технику" – будь то "механическая" подстановка словарных значений из скудного словарика или грамотная дешифровка и передача структуры предложения в сочетании с хорошими словарными базами и алгоритмами поиска, или даже (высший пилотаж) анализ контекста и в случае синонимии подбор оптимальных слов, фраз, грамматических форм.
Уровень работы с текстом вполне поддается оценке независимо от числа и многообразия сложных мест в исходных текстах. Кроме того, недостаточно развитое в сервисе направление перевода или просто плохой переводчик "напортачат" и в элементарном, тогда как качественные машинные переводчики справляются с большинством сложностей и выдают ровный, внятный текст (хоть он и уступает человеческому и полон неточностей).
По этим критериям (понятность и не "дословность") качество могут оценить и сами пользователи, вероятно, именно так и выбирают онлайн-помощников. Преимуществом данного обзора является лишь большее (по сравнению с реальными рабочими условиями) количество языков при единой базе "проверочных материалов".
Параметры оценки
Оцениваются адекватность выбора лексики, фразеологизмов, терминов, грамматических структур, связность и понятность перевода в сравнении с переводами того же текста на другие языки у того же сервиса и соответствующими показателями других приложений.
Список участников сравнения онлайн-переводчиков
Google Translate
PROMT
SDL FreeTranslation.com
Reverso
WordLingo
Bing Translator
Pragma
Далее онлайн-переводчики ранжированы не на основе результатов из таблицы, а по субъективно оцененному признаку "филигранности работы" с особенностями русского, английского и немецкого языков. Первые два наиболее актуальны для российского пользователя, а немецкий показателен при тестировании тем, что, как и русский, он весьма сложен в переводе, в том числе машинном, поэтому хорошее "владение" им придает приложению, так сказать, респектабельности.
При характеристике переводчиков также принималось во внимание (малое) число "халтурных" направлений перевода и дополнительная польза специалисту. К примеру, Google Translate "подсказывает" имена, термины, живые обороты речи, а онлайн-переводчики PROMT и SDL – грамматику.
Оценка онлайн-переводчиков в различных направлениях перевода* **
*Диапазон баллов: от 1 б. (бред) до 6 б. (работа специалиста).
Цветовые обозначения:
Сиреневый – очень хорошо
Серый – посредственно
Болотный – очень плохо
**Всего 30 направлений. Для просмотра полной версии нажмите на таблицу
Источник: данные автора, 2012 г.
Сервисы из конца списка тоже предлагают хорошие переводы, но только в некоторых направлениях.
Google Translate: равный среди первых
Наиболее известный сервис – Google Translate – получает стабильно высокие баллы по многим рассмотренным направлениям перевода, а в парах с английским и в русско-украинском направлении максимально высокие.
Короткая ссылка
