Спецпроекты

Сбербанк и SberCloud открыли свое суперкомпьютерное облако для всех разработчиков

Интеграция Бизнес-приложения Инфраструктура
Сбербанк и SberCloud объявили о доступности собственной облачной платформы ML Space на базе мощностей суперкомпьютера «Кристофари» с более чем тысячей GPU для разработчиков ИИ-сервисов любого масштаба. Цены стартуют от нескольких рублей за GPU-минуту и от долей копейки за инференс модели.

Тысяча «лошадей» для дата-саентистов

Сбербанк и SberCloud объявили о доступности облачной платформы ML Space для любых разработчиков приложений и сервисов на базе технологий искусственного интеллекта (ИИ). Главное преимущество ML Space перед конкурентами заключается в возможности запуска процессов распределенного машинного обучения на более чем тысяче графических процессоров (GPU).

Такие мощности для работы с ИИ-технологиями стали доступны благодаря развертыванию облака ML Space на базепринадлежащего SberCloud суперкомпьютера Christofari, запуск которого состоялся в ноябре 2019 г. В настоящее время эта система лидирует в Топ-50 суперкомпьютеров России и занимает 40 строку в глобальном рейтинге Top500.

Платформа ML Space, коммерческий запуск которой запланирован в SberCloud на 12 декабря 2020 г., будет доступна разработчикам со всеми необходимыми инструментами и ресурсами — от ввода данных до автоматического развертывания обученных моделей в облаке SberCloud. ML Space уже используют команды Сбербанка, включая SberDevices и «Центр речевых технологий» (ЦРТ).

«Сейчас, по нашим оценкам, в процессе работы над ИИ-решениями только 30% времени специалистов уходит на обучение моделей, все остальное — на подготовку к нему и другую рутину, – отметил Давид Рафаловский, СТО «Сбербанк груп», исполнительный вице-президент Сбербанка и руководитель блока «Технологии»в рамках презентации сервиса. – Мы хотим, чтобы люди могли уделить непосредственно обучению моделей 99% своего внимания. ML Space и «Кристофари» на порядки ускоряют создание и вывод на рынок готовых решений, использующих машинное обучение, а также делают технологии искусственного интеллекта значительно ближе к бизнесу».

Помимо запуска облачной платформы ML Space, SberCloud объявил о запуске программы грантов «ML Space для бизнеса», в рамках которой российские предприниматели и компании могут получить от компании грант до 1 млн руб. на создание ML-технологий и внедрение их в свои ИИ-продукты.

Уникальная платформа для работы с ИИ

Платформа ML Space ориентирована на полный цикл разработки прикладных решений на базе машинного обучения и совместной работы команд специалистов по данным над созданием и развертыванием моделей машинного обучения. Платформа позволяет выбрать необходимые вычислительные ресурсы в соответствии с задачами, потребностями и бюджетом.

mls1.jpg
Облако ML Space на базе суперкомпьютера «Кристофари»

Архитектура ML Space сформирована на базе суперкомпьютера «Кристофари» из интегрированных модулей-сервисов, каждый из которых рассчитан на решение определенных задач: хранение, анализ, управление доступом и жизненным циклом данных, датасетов, моделей, Docker-контейнеров и другое.

Суперкомпьютер Christofari выполнен на базе вычислительных узлов Nvidia DGX-2. Каждый из этих узлов состоит из двух процессоров Intel Xeon Platinum 8168 24C 2,7 ГГц и поддерживает до 16 графических ускорителей Nvidia Tesla V100 с 32 ГБ памяти HBM2 каждый. Суммарная производительность суперкомпьютера составляет 6,7 петафлопс (до 8,7 петафлопс при пиковой нагрузке).

Безопасность работы с данными гарантирует ЦОД в «Сколково», который сертифицирован согласно требованиям Tier III. Возможность работы с персональными данными подтверждена сертификацией облачной платформы ML Space в соответствии с ФЗ-152, уровня УЗ-2.

Медицинский ум: чем может помочь искусственный интеллект здравоохранению
Искусственный интеллект

Открытая технология SberCloud LAMA позволяет с помощью специального модуля AutoML создавать модели машинного обучения в автоматическом режиме. Модуль Environments предназначен для запуска процесса обучения нейросетей и доступа к утилитам для мониторинга потребления ресурсов, моделей и эксперимент-менеджмента, с отслеживанием загрузки ресурсов по разрезам CPU, GPU, RAM в любой момент времени.

Пример интерфейса ML Space

За сбор и управление данными и моделями машинного обучения в многопользовательском режиме для распределенных команд отвечает модуль Data Catalog. С помощью модуля AutoDeploy готовые модели можно автоматически в несколько кликов развернуть на мощностях облака SberCloud. В дополнение, пользователям ML Space также доступен сервис TagMe для разметки данных.

Развертывание моделей в ML Space

Разработчикам предлагается удобный UX/UI платформы с привычным интерфейсом Jupyter Notebook и Jupyter Lab. На платформе уже развернуты и настроены популярные фреймворки и библиотеки для ML-разработки, а в качестве среды обучения допустимо использование любого Docker-образа.

Платформа поддерживает препроцессинг данных GPU с применением широкого набора инструментов, включая Spark, Pandas, NumPy, Scikit-Learn, Matplotlib и другие, а также Rapids на GPU для самых сложных задач. Для пользователей ML Space также доступен перенос больших данных из любых источников, в том числе, из файловых систем AmazonS3, Google Cloud Storage и баз данных PostgreSQL, MS-SQL, My SQL, Oracle, а также доступ к петабайты данных в совместном управлении.

Сколько получил, столько заплатил

Согласно официальному заявлению Сбербанка и SberCloud, цены на использование ресурсов ML Space будут «самыми низкими в сравнении с аналогичными предложениями как в мире, так и в России». Оплата использования модулей ML Space, как и потребление вычислительных ресурсов платформы будет тарифицироваться по принципу Pay-As-You-Go («Оплата по мере потребления»).

Так, цена за обучение и препроцессинг начинается от 3 руб. за одну GPU-минуту и от 0,12 руб. за одну CPU-минуту. Инференс (вывод данных из модели) обойдется в 0,054 коп., цена на деплой (развертывание модели) тарифицируется от 0,05 руб. за GPU-секунду и от 0,12 руб. за СPU-минуту, ценники на хранение данных начинаются от 1,2 руб.