Поделиться
Cognitive Translator: система машинного перевода текста нового поколения
Компания Cognitive Technologies представила систему машинного перевода текстов нового поколения Cognitive Translator, в основу которой легло более глубокое представление знания о языке. Процесс разработки системы занял около 60 человеко/лет и длился более 8 лет.
Проект Cognitive Translator рассматривается компанией как научный, хотя некоторые из его результатов сегодня используются при построении комплексных информационных систем и при разработке тиражируемых программных продуктов. Работы над созданием данной версии системы начались 2000 г. Участниками проекта, помимо специалистов Cognitive Technologies, стала группа профессиональных лингвистов из МГУ, Института Русского Языка РАН и других организаций. Группой были разработаны уникальные алгоритмы синтаксического разбора и правила машинного перевода. На их основе была построена новая структурная модель представления знания о языке, которая включает, помимо описания морфологии и синтаксиса, еще и элементы анализа структурных связей. За счет этого система добивается глубокого «понимания» текста, и даже претендует на разрешение смысловых неоднозначностей («ключ» дверной и «ключ» - источник воды).
Принципы построения модели языка, заложенные в Cognitive Translator, основаны на технологии анализа — понимания текста, что позволило в рамках исследовательского проекта при участии относительно небольшой группы разработчиков создать систему, дающую качество перевода, сравнимое с современными промышленными системами. Стоит отметить, что существующие сегодня на рынке системы машинного перевода используют подход, разработанный еще в 70 гг. прошлого века, подразумевающий непрерывное ручное наполнение базы словоформ. Для достижения высокого качества перевода и добавления новых языков этот подход требует подключения огромных ресурсов (сотен специалистов), что, естественно, ограничивает число коллективов, занятых в этой области.
Предложенная Cognitive Technologies модель описания «языка» практически инвариантна (по отношению к языкам) и позволяет на порядок снизить трудозатраты при описании морфологии и синтаксиса различных языков мира. Построенные на ее базе системы перевода нового поколения позволят разрешать смысловые неоднозначности не только для двух языков, но и для всего межъязыкового пространства. В настоящее время ядро системы — анализатор текста, предназначенный для описания новых языков, находится в открытом доступе.
Технологии анализа информации, разработанные в рамках проекта Cognitive Translator, находят свое применение в создаваемых компанией ИС, в частности для решения задач распознавания и «понимания» документов.
В целом, Cognitive Translator представляет собой интерактивную среду, обеспечивающую возможность перевода, редактирования и синхронного просмотра оригинала текста, перевода и дополнительных вариантов перевода. Ограничение по размеру переводимого текста составляет 32 КБ (примерно 32 000 знаков). Система поддерживает два направления перевода англо-русский и русско-английский.
Необходимо отметить, что представляемый проект находился в течение последних пяти лет в режиме альфа–тестирования. За это время система сделала порядка 20 млн переводов (около 15 000 переводов в день).
В ближайших планах по развитию проекта Cognitive Translator - добавление новых языков перевода, создание и подключение новых правил перевода, оптимизация технологий «понимания».
Короткая ссылка
