Разделы

ПО Софт Бизнес Кадры Интернет Веб-сервисы Искусственный интеллект

ИИ-тренер от выпускницы ИТМО даст уроки публичных выступлений сотрудникам Сбербанка

Команда выпускницы ИТМО Юлии Хлюпиной разработала виртуального тренера, который дает персональные уроки публичных выступлений. В основе разработки — анализирующие речь и мимику нейросети. Проект получил грант в один млн руб. от Сбербанка и предложение на 12 млн руб. от инвесторов. Также ИИ-тренер уже готовится к тестированию сервиса на сотрудниках корпорации. Об этом CNews сообщили представители ИТМО.

Speech Up — это виртуальный помощник для тренировки навыка публичных выступлений. В его основе — разработанные командой стартапа нейросети, которые умеют анализировать речь, мимику, эмоции, манеру держаться, вычленять слова-паразиты и даже находить когнитивные искажения в суждениях (например, предубеждения или стереотипы).

Как рассказывает Юлия Хлюпина, участница команды стартапа, идея создать приложение пришла из личного опыта. Так как учеба и научная работа — это в том числе выступления на конференциях, семинарах и защитах проектов — ей часто нужно было преодолевать страх выступать перед публикой. Общение же с коллегами подтвердило, что почти каждый сталкивается с трудностями в самопрезентации.

Приложение работает так: пользователь записывает на веб-камеру свою речь (или загружает уже готовое видео). Затем искусственный интеллект исследует качество выступления и выдает оценку по пяти критериям: связность речи, ее ясность, динамизм, убедительность и соблюдение коммуникативных норм (то есть наличие слов-паразитов или агрессивность подачи). Причем система рассматривает не только отдельные параметры, но и всю совокупность факторов одновременно.

Далее человек получает подробную интерактивную аналитику и рекомендации, над чем именно следует поработать, — все они основаны на методиках психологов и экспертов по публичным выступлениям. При регулярных занятиях формируется статистика, по которой можно отследить прогресс.

Дмитрий Игнатьев, «Колибри-АРМ»: Наша система позволяет управлять рабочими местами с любой ОС
Импортонезависимость

«Для определения громкости или темпа речи не нужны нейросети. Но вот распознать такие сложные характеристики вроде уверенности, убедительности, конгруэнтности (согласованность эмоций, выражаемых человеком с помощью мимики и речи, с текстом выступления) оказалось подвластно только искусственному интеллекту. Для всех этих интегральных параметров мы использовали нейросетевые архитектуры, которые работают с мультимодальными данными из нескольких источников: видеоряда, звуковой дорожки и текстовой расшифровки», — сказала Юлия Хлюпина.

Для создания нейросетей был собран датасет из более чем 64 часов видеозаписей интервью и 2,5 тыс. текстов. А к работе над его разметкой была привлечена большая команда лингвистов и психологов.

Стартап Юлии — это результат ее обучения в магистратуре Факультета цифровых трансформаций ИТМО. Этот же проект она защитила по программе «Стартап как диплом». Летом прошлого года команда проекта стала участником полугодовой программы SberStudent. А уже осенью была готова рабочая версия — первые пилоты прошли среди сотрудников нескольких компаний, а также участников акселераторов НТИ, Высшей школы экономики.