Поделиться
Новое приложение позволит управлять музыкой и менять известные композиции голосом и жестами
Чтобы исполнять музыкальные произведения, нужно уметь играть на инструментах. Для многих это сложно, а некоторым недоступно из-за физических особенностей. Аспирант «Сколтеха» Илья Боровик и его соавтор из Германии поставили перед собой цель сделать музыкальное исполнение более доступным. Авторы представили приложение, с помощью которого пользователи смогут «настраивать» произведения под свои предпочтения голосом, мимикой или жестами — например, попросить проиграть композицию медленнее или даже сделать из нее колыбельную. Результаты работы представлены в сборнике Frontiers in Artificial Intelligence and Applications. Об этом CNews сообщили представители «Сколтеха».
«Демоверсия системы состоит из модели искусственного интеллекта, которая обучена на небольшом общедоступном корпусе из 1067 музыкальных исполнений 236 произведений фортепианной музыки. Модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили ее к приложению, которое позволяет пользователю общаться с ней», — сказал Илья Боровик.
Когда пользователь запускает приложение на смартфоне и дает разрешение на использование камеры и микрофона, он начинает слушать случайное генерируемое исполнение для произведения из базы данных. Чтобы повлиять на исполнение, пользователь должен нажать на кнопку и записать видео или аудио. С помощью голосовых команд или выражения эмоций на лице можно попросить модель воспроизвести музыку по-другому. Например, сыграть мазурки Шопена как колыбельные.
«Для управления моделью мы используем указания к исполнению, которые уже написаны в нотах. В партитурах есть метки, которые указывают исполнителю, как играть ту или иную часть произведения: быстрее, медленнее, громче, тише и так далее. Мы берем все данные, которые есть, и на их основе преобразуем голосовые инструкции пользователя в эти указания», — отметил Илья Боровик.
Ученые продолжают развивать проект. Среди их планов — сделать процесс общения между пользователем и моделью полностью интерактивным, чтобы прийти к желаемому результату можно было всего за несколько итераций. Также будет доработан интерфейс приложения и расширена база данных музыкальных произведений. Сейчас в ней содержатся классические произведения, достояния общемировой культуры. На следующем этапе исследователи планируют включить оркестровую музыку.
***
«Сколтех» — негосударственный международный университет (входит в группу ВЭБ.РФ), который готовит специалистов в области науки, технологий и бизнеса, проводит исследования по приоритетным направлениям научно-технологической повестки, содействует внедрению технологий и развитию предпринимательства. В институте работают центры по шести основным направлениям — телекоммуникации, фотоника и квантовые технологии; науки о жизни и здоровье и агротехнологии; искусственный интеллект; современные материалы и инженерия; энергоэффективность и энергопереход; перспективные исследования. «Сколтех» основан в 2011 г.
Короткая ссылка
