Елену удалось довольно органично вписать в стилистику РБК

Виртуальная журналистика 

Первого в мире цифрового ведущего для информагентства «Синьхуа» разработала китайская интернет-компания Sogou — в 2018 году аудитория Поднебесной впервые услышала новости из уст виртуальной копии любимого телеведущего Цю Хао. Мимика, голос, манера речи и характерные жесты: все вышло довольно реалистично. Ведь цифровой конкурент способен работать 24 часа в сутки 7 дней в неделю, он не нервничает, не высказывает своего мнения, не требует повышенного гонорара...

Похожий эксперимент проделал канал РБК, «приняв на работу» фотореалистичного визуального персонажа, рожденного в подразделении SberDevices. Аватар пробыл в эфире до 26 ноября и красовался в разделе «Видео дня» на главной странице канала.

«В эфире «Календарь инвестора». Онлайн ритейлер Ozon сегодня отчитается за третий квартал. Другой ритейлер, но американский, Walmart, тоже представит финансовый отчет... — хрупкая шатенка в сером пиджаке и белой рубашке приятным голосом, старательно расставляя паузы, зачитывает деловые новости. Движение губ синхронизировано со словами, девушка моргает, жестикулирует. 

В «Сбере» отмечают, что могут настроить тон голоса и внешний вид аватара так, как нужно заказчику — именно поэтому Елену удалось довольно органично вписать в стилистику РБК. Полного ощущения, что перед нами живой человек, конечно, нет – но, может, оно и к лучшему. Иначе, как минимум, чувствуешь себя во вселенной «Бегущего по лезвию»... 

«Для РБК — это интересный и важный эксперимент, — признается управляющий директор телеканала РБК Илья Доронов. — Подобные технологии развиваются во всем мире, и через какое-то время мы увидим виртуальных ведущих на многих каналах. Поэтому нам особенно приятно, что мы стали первыми, кто решился испытать Елену в эфире телеканала». 

Увидеть Елену можно и в программе «Рынки», которая выходит в эфир каждый час с 7 утра до 7 вечера, и после 9 — в формате большого итогового выпуска. Там она невозмутимо зачитывает свежую информацию о главных событиях с мировых фондовых рынков. Появляется виртуальная красавица в самом конце — ее представляет телеведущий Владимир Левченко, предлагая рассказать о ситуации на валютном рынке. 

К слову, Елена не только красивая, но еще и умная, и во время работы над контентом проявила себя неплохим корректором. Так, редактор, загружая цену нефти, по ошибке написал “82 доллара и 20 копеек”, а система сама исправила копейки на центы. 

Процесс создания аватара непрост. Модель или актера снимают на несколько камер, чтобы получить датасет — обучающий материал для нейросети. Человек много работает с текстом, во время съемки ему приходится долго читать вслух, демонстрировать разные эмоции, чтобы нейросеть обучалась синхронизировать мимику, жестикуляцию и движения тела со словами. После все материалы отдаются на разметку и на обучение нейросети. 

 

Как создавали Елену Прекрасную? 

Разработкой визуальных персонажей в Сбере занимается команда Visper из SberDevices при участии коллег из Sber AR/VR Lab. Елена — их первое детище, и создавалась как ведущая новостей корпоративного канала компании. Технологию разработали еще два года назад в Лаборатории робототехники «Сбербанка» — это были первые эксперименты с визуальными персонажами. Уже после на базе их наработок команды SberDevices и Sber AR/VR Lab создали продукт Visper. 

«Продукт делится на два сегмента. Первый — это сам text-to-video сервис Visper, на котором можно создавать видео с аватарами, выбрав подходящие образ и голос, — рассказывает технический директор SberDevices Денис Филиппов. — Мы создали целую библиотеку реалистичных и анимационных персонажей, которые совсем скоро дополнятся новыми образами». 

Второй сегмент продукта — Visper Interactive. Это инфостенды с интерактивными аватарами, которые в режиме реального времени могут общаться с человеком. Приложения для аватаров создаются на основе технологий обработки естественного языка SmartNLP. Они доступны в хабе технологий «Сбера» SmartMarket и позволяют просто задавать логику диалога, предугадывать пол, возраст и даже эмоции клиента.

 

Процесс создания аватара непрост. Модель или актера снимают на несколько камер, чтобы получить датасет — обучающий материал для нейросети. Человек много работает с текстом, во время съемки ему приходится долго читать вслух, демонстрировать разные эмоции, чтобы нейросеть обучалась синхронизировать мимику, жестикуляцию и движения тела со словами. После все материалы отдаются на разметку и на обучение нейросети. 

Далее разработчики работают над персонажами, обучают их, оттачивают эмоциональные движения, улучшают совпадение мимики с текстом. Задача визуального персонажа – читать текст, а вот более сложные действия доступны аватарам Visper interactive. Так, персонаж в инфостенде обрабатывает запросы пользователей в реальном времени и генерирует ответы на основе заранее заданной базы знаний. В перспективе, надеются разработчики, он может узнавать пользователей и поддерживать беседу на отвлеченные темы.

Такой визуальный персонаж может использоваться везде, где людям нужна навигация или справочная информация

Где еще появится цифровая Елена? 

После создания Елены команда Visper опросила сотрудников банка и провела исследование, чтобы узнать, где визуальный персонаж пришелся бы кстати. В итоге родилась идея сделать сервис, позволяющий создавать видео с персонажами и даже загружать свою презентацию и фотографии. 

Кстати, одним из первых «мест работы» Елены действительно стали новости на устройствах «Сбера» — возможно, именно потому амплуа ведущей ей так к лицу. А еще она озвучивает ролики-инструкции для новых сотрудников. Также виртуальную журналистку можно увидеть на разных выставках и конференциях: например, она принимала участие в Moscow Creative Week, конференции по маркетингу от Weborama и CG event — самой крупной в России конференции по компьютерной графике. 

«Такой визуальный персонаж может использоваться везде, где людям нужна навигация или справочная информация: в музеях, торговых центрах, отелях, госучреждениях. Инфостенд с аватаром, по сути, выполняет функцию консультанта или консьержа», — объясняет Денис Филиппов.

Как бы то ни было, в ближайшем будущем мы станем сталкиваться с цифровыми братьями и сестрами Елены все чаще.