Разделы

ПО Свободное ПО Софт Цифровизация Бизнес-приложения

«Яндекс» выложил в опенсорс свой ускоритель обучения нейросетей — YaFSDP

«Яндекс» открыл для всех библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом. Библиотека дает ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру. Об этом CNews сообщили представители «Яндекса».

Библиотека «Яндекса» рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей — например, таких, которые генерируют изображения. YaFSDP позволяет сократить расходы на оборудование для обучения моделей — это особенно важно для стартапов и, к примеру, научных проектов.

Одна из сложностей в обучении больших языковых моделей — это недостаточная загрузка каналов коммуникации между графическими процессорами. YaFSDP это решает. Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет.

Платформа Digital Q.BPM от «Диасофт» стабильно работает при нагрузке более 4 000 бизнес-процессов в секунду
Цифровизация

«Яндек»с разработал YaFSDP в процессе обучения своей генеративной модели нового поколения YandexGPT 3. Компания уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней.

Исходный код YaFSDP уже есть на GitHub.



37-я международная выставка информационных и коммуникационных технологий Связь-2025 37-я международная выставка информационных и коммуникационных технологий Связь-2025

erid: 2W5zFHRYEHv

Рекламодатель: АКЦИОНЕРНОЕ ОБЩЕСТВО «ЭКСПОЦЕНТР»

ИНН/ОГРН: 7718033809/1027700167153