Поделиться
MTS AI сэкономила более 1 млрд руб. инвестиций за счет обучения моделей в облаке MWS
МТС Web Services сообщает о том, что компания MTS AI полностью перенесла в облако процесс обучения и инференса моделей искусственного интеллекта, а также больших языковых моделей. Это позволило компании ускорить запуск продуктов и сэкономить более 1 млрд руб. инвестиций в собственную инфраструктуру. Об этом CNews сообщили представители МТС.
MTS AI — центр компетенций по ИИ. Компания разрабатывает продукты и решения на базе генеративного ИИ, технологии обработки естественного языка и компьютерного зрения. Среди сервисов компании: ИИ-сервис речевой аналитики — WordPluse, платформа синтеза и распознавания речи на базе нейронных сетей и методов машинного обучения — Audiogram, сервис генерации и автодополнения кода для оптимизации процесса разработки — Kodify, а также голосовые и текстовые ассистенты для автоматизации коммуникации бизнеса с клиентами.
В основе всех сервисов компании лежат ML-модели, которые обучаются на тысячах терабайтов данных. Для ускорения процесса обучения моделей компания использует GPU. Самостоятельная закупка оборудования требует серьезных инвестиций в инфраструктуру, поэтому MTS AI приняла решение перенести процесс обучения в облако. На виртуальной инфраструктуре MWS разворачивается ML-платформа, в которой обучаются все ключевые модели компании. После завершения обучения модели продолжают инференс в облаке, что позволяет не только вывести сервис на рынок, но и поддерживать его работу.
Для решения более сложных задач MTS AI предлагает своим клиентам сервисы, в основе которых развернуты большие языковые модели. Среди них LLM для работы с текстами, а также поиска и анализа информации - Cotype и ее облегченная версия — Cotype Nano. А также on-premise-сервис генерации и автодополнения кода для оптимизации процесса разработки — Kodify. Обучение LLM более трудоемкая задача, чем работа с обычными ML-моделями. На обучение и дообучение LLM на потребительских GPU может уйти значительное время. Чтобы ускорить этот процесс, MTS AI использует мощности суперкомпьютера MWS — МТС GROM. Он позволяет компании дообучать собственные LLM в десятки раз быстрее.
Работа MTS AI с моделями в облаке делится на три этапа. На первом — происходит деплой и предобучение моделей. Это позволяет подготовить модели к интенсивному обучению и сократить затраты на него. Для этого в основном используется виртуальная инфраструктура с GPU ускорителями. На втором этапе модели проходят глубокое обучение. Оно происходит на суперкомпьютере, некоторые нейросети компания дообучаем на VI c GPU. После глубокого обучения модели готовы к работе в продуктах и сервисах компании. На третьем этапе модели переходят на инференс, который также происходит в облаке MWS.
«Для работы с моделями искусственного интеллекта требуется большое количество различного оборудования. Чем больше моделей вы внедряете, тем оно разнообразнее. Для более простых моделей нужны более слабые карты, для более мощных — более производительные, для обучения LLM — суперкомпьютер, для инференса может применяться еще один вид GPU. При работе с моделями on-prem все эти мощности пришлось бы закупать самостоятельно либо работать со всеми моделями на одном виде GPU, что привело бы к значительному увеличению инвестиционных затрат или нерациональному использованию инфраструктуры. Переезд в облако позволяет нам использовать ровно тот объем вычислительных ресурсов, который необходим и не тратить огромные суммы на закупку серверов. Лишь для того, чтобы закупить оборудование для обучения LLM, нам пришлось бы проинвестировать в инфраструктуру более миллиарда рублей. А благодаря использованию мощностей MWS мы можем перераспределить инвестиции на новые проекты. Кроме того, облачная модель потребления позволяет нам ускорять запуск новых продуктов, так как отпадает необходимость ждать поставки оборудования», — отметил директор по LLM-продуктам MTS AI Сергей Пономаренко.
Короткая ссылка
