Поделиться
В России представили открытую платформу тестирования моделей управления роботами
Институт AIRI открыл тестовый доступ к VLA Arena — открытой платформе, которая позволяет пользователям оценивать и сравнивать современные модели управления роботами по аналогии с площадками для сравнения LLM. Решение делает тестирование технологий доступным для широкой аудитории, включая исследователей, инженеров и любителей робототехники. Об этом CNews сообщили представители AIRI.
Платформа имеет интерфейс, который позволяет запускать роботов в виртуальной среде, а также подключать реальные устройства. Пользователи могут оценивать производительность моделей в различных сценариях, в том числе на русском языке. Платформа работает с реальными роботами и симуляциями, а также поддерживает последние достижения в области искусственного интеллекта и робототехники, такие как модели Vision Language Action (VLA).
На данный момент платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace. Эти роботы, доступные для самостоятельной сборки или в готовом виде, идеально подходят для использования в образовательных и исследовательских целях. Их стоимость варьируется в пределах 30 тыс. руб., что делает их доступными для широкого круга пользователей.
Особенности функционала платформы
Тестирование моделей: платформа предоставляет возможность протестировать модели в симуляции или на реальном роботе. Если у пользователя нет робота, он может сравнивать модели в виртуальной среде, а если робот есть — подключить его и проверить, как различные модели управляют его действиями.
Таблица лидеров: все модели оцениваются пользователями с учетом их предпочтений в реальных условиях. Оценки основаны на рандомизированных тестах. Это позволяет избежать предвзятости и предоставляет объективные результаты.
Модели на платформе: в настоящий момент доступны три модели для реальных роботов и четыре для симуляций. Среди них: oπ0.5 от Physical Intelligence; oSmolVLA от Hugging Face; oFlower — модель с открытым исходным кодом, доступная для модификации; oМодель с открытым исходным кодом, специально адаптированная в AIRI для работы на русском языке с более высоким коэффициентом локализации
Платформа также содержит чистые датасеты для LeRobot из открытых источников, размеченные и переведенные на русский язык для помощи разработчикам в обучении собственных моделей для LeRobot
VLA-модели — новая эпоха в области управления роботами. Это адаптированные версии больших языковых моделей, которые обладают способностью понимать и выполнять инструкции, заданные пользователем. Такие модели могут работать в различных сценариях, включая сложные задачи, требующие обобщения и анализа контекста. Все используемые модели с открытым исходным кодом, что позволяет пользователям настраивать и модифицировать их под свои задачи.
«Мы видим в VLA-моделях огромный потенциал и работаем над тем, чтобы предоставить доступ к лучшим решениям. VLA Arena — это не просто инструмент для тестирования, но и научный проект, который призван повысить уровень транспарентности в оценке роботов и моделей управления ими. Мы делаем акцент на доступности и объективных метриках, которые не только учитывают технические характеристики моделей, но и оценку их эффективности с точки зрения конечных пользователей», — сказал руководитель научной группы «Адаптивные агенты» института AIRI Владислав Куренков.
Все существующие в мире аналоги, включая RoboArena от ученых из Беркли и Стэнфорда, оперируют роботами, стоимость которых исчисляется десятками тысяч долларов и воспользоваться которыми можно только в исследовательских лабораториях. VLA Arena адаптирована специально для LeRobot, которые стоят значительно меньше и легко кастомизируются, а значит, тестирование может пройти любой желающий, даже без большого бюджета.
Первый запуск платформы запланирован на срок до трех месяцев. В этот период планируется собирать данные и отзывы, чтобы улучшить арену.
Короткая ссылка
