Поделиться
Ученые СПбГУ создали методику для автоматического определения иронии в речи
Лингвисты Санкт-Петербургского университета, проведя исследование речи, выявили жестовые, интонационные и мимические особенности человека, использующего в своей речи ироничные выражения. Определение ключевых отличий ироничного разговора от нейтрального позволит усовершенствовать системы автоматического распознавания речи и аудиовизуального синтеза на основе искусственного интеллекта. Результаты исследования опубликованы в материалах International Conference on Speech and Computer. Об этом CNews сообщили представители СПбГУ.
Голосовые и аудиовизуальные помощники стали частью жизни современного человека, однако значительная часть речевых приемов, которые человек использует в повседневности, понятна только при разговоре между людьми. Например, ироничные высказывания напрямую зависят от ситуации и интонации, поэтому понятны, как правило, лишь интуитивно и не улавливаются искусственным интеллектом.
При просмотре фильма или чтении книги можно по контексту понять, есть ли в словах персонажа ирония. Но в современных диалоговых системах контекст нередко отсутствует. Когда мы произносим иронично «Сейчас!» (или даже «Щас!»), «Конечно!» или «Ага!» в телефонном разговоре, ирония передается лишь за счет особого звукового оформления, интонации.
В отличие от обычного юмора и шутки, ирония — это не просто добавление шутливого оттенка значения, но возможность поставить под сомнение собственное высказывание или даже изменить его смысл на обратный. Если голосовой помощник не сумеет распознать такой тип иронии и воспримет ироничное «Конечно!» как согласие, коммуникация не состоится либо приведет к нежелательным последствиям.
Как отмечают лингвисты, ироничность в словах говорящего помогает распознавать и наличие видеоряда, поскольку в этом случае смысл может быть понят благодаря мимике и жестам. Ученые СПбГУ проанализировали фрагменты разговоров из российских фильмов и сериалов, так как в актерской речи эмоции выражаются наиболее ярко. Затем они записали речь 60 дикторов, носителей русского языка, в акустической кабине на кафедре фонетики и методики преподавания иностранных языков СПбГУ. Подобная подборка иронической речи в русском языке сделана впервые.
Запись производилась одновременно на профессиональный микрофон и видеокамеру с высокой частотой кадров. Ученые проанализировали жесты и мимику говорящих, а также обработали звуковые сигналы с помощью специального программного обеспечения. Затем были проведены эксперименты на восприятие: в одном участники слушали короткий звуковой фрагмент и выбирали соответствующий ему отрывок текста с иронией или без иронии, в другом зрители выполняли ту же задачу, просматривая кадры без звука; в третьем сигнал предъявлялся полностью. Как рассказала доцент СПбГУ Ульяна Кочеткова (кафедра фонетики и методики преподавания иностранных языков), это позволило выделить ту интонацию и те жесты и мимику, в которых носители языка способны услышать и увидеть иронию, даже не зная контекста. После чего характеристики высказываний с иронией «пересадили» на высказывания без иронии (и наоборот) и также дали послушать носителям языка. Это помогло оценить роль каждой из характеристик в выражении иронического значения.
«Мы провели эксперименты на восприятие и проведение различных модификаций звукового сигнала для нахождения тех интонационных и жестовых (мимических) особенностей, которые приводят к оценке слушателями и зрителями высказывания как иронического без опоры на какой-либо контекст», — сказала Ульяна Кочеткова.
По ее словам, в иронических высказываниях важен контраст по сравнению с привычным «нейтральным» оформлением: меняется темп произнесения, его громкость, регистр, диапазон голоса. Характер этих изменений зависит и от типа предложения. Например, вопросы с иронией будут отличаться от восклицаний более заметнымувеличением громкости и более заметным растягиванием слов и отдельных звуков.
В жестах и мимике иронию отличают не только конкретные движения, например определенные движения губ и бровей, но и то, как именно они сочетаются, а также их связь с аудиосигналом. В рамках проведенного фундаментального исследования ученые получили знания о том, какие характеристики человек использует для иронической окраски своей речи и по каким определяет ее в речи собеседника.
Работы по определению речевых оборотов, таких как ирония, с опорой на звучание и жестикуляцию позволяют усовершенствовать системы автоматического распознавания речи и аудиовизуального синтеза на основе искусственного интеллекта.
Ранее специалисты Санкт-Петербургского университета с помощью цифровых алгоритмов создали музыкальный отрывок первого дня Великой Отечественной войны, основанный на материалах из дневников очевидцев.
***
Санкт-Петербургский государственный университет был основан 28 января (8 февраля) 1724 г., когда Петр I издал указ об учреждении Университета и Российской академии наук. В 2024 г. Санкт-Петербургский университет отметит свой 300-летний юбилей.
Короткая ссылка
