Магистранты ИТМО создали для IT Imperial прототип ИИ-сервиса, который может сократить ручную разметку видео на 80%

Магистранты AI Talent Hub ИТМО создали для компании IT Imperial прототип сервиса, который превращает видео с действиями человека в черновик разметки для обучения роботов. По оценке компании, ручная обработка короткого ролика занимает 15–30 минут. Во внутреннем тесте прототип примерно за 1 минуту подготовил черновик разметки 30-секундного ролика, а человеку потребовалось ещё около 3 минут на проверку и исправления. Об этом CNews сообщил представитель AI Talent Hub ИТМО.

Для обучения робота видео превращают в последовательность шагов: отмечают границы действий, объект и ключевой кадр. Praxis автоматически готовит такую разметку, а специалист проверяет её на временной шкале, исправляет отдельные поля и выгружает данные. В отдельном эксперименте команда сравнила разметку с нуля и проверку автоматического черновика в одном редакторе. В одинаковых условиях работа с черновиком оказалась в 2,2 раза быстрее. Прогноз модели и правки человека хранятся отдельно, чтобы пересчитывать качество и использовать исправления для дальнейшего обучения.

Команда проверила 30 конфигураций. В итоговой схеме одна модель находит смену действий, а другая определяет действие и объект. Такое разделение позволяет отдельно настраивать временные границы и распознавание содержания. Окончательную разметку подтверждает специалист.

Определение временных границ проверили на 85 роликах: средняя ошибка составила 0,27 секунды, а 90% границ уложились в допустимое отклонение до двух секунд. В сквозном тесте на трёх собственных роликах временные границы совпали с эталоном для 72% шагов, а система верно назвала 71% совпавших действий. Отдельные компоненты показали работоспособность, но итоговое качество осталось ниже цели кейса: распознавание содержания и перенос на новые данные требуют доработки.

В течение семестра команда продолжит работу над Praxis вместе с IT Imperial: проверит прототип на роликах компании, сравнит его с текущей разметкой и измерит качество и время коррекции. Если результаты прототипа подтвердится на данных IT Imperial, сервис сможет сократить ручную часть работы как минимум на 80%.

«Мы в своей работе не всегда успеваем улучшить процессы внутри из-за фокуса на других задачах, но магистранты ИТМО показали нам новый взгляд на привычные для нас вещи. Уверен, что используем их решения в том или ином виде», — отметил Александр Слепцов, руководитель проектного офиса IT Imperial