Поделиться
Ученые из T-Bank AI Research создали новую архитектуру быстрых языковых моделей
Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research представили новую архитектуру быстрых языковых моделей ReBased. Она позволяет эффективнее решать специализированные задачи в обработке естественного языка. Об этом CNews сообщили представители T-Bank.
Новая разработка сокращает расходы на вычислительные мощности при использовании искусственного интеллекта практически без потерь в качестве. В перспективе это приведет к более широкому коммерческому использованию языковых моделей, которое сейчас ограничено высокой ресурсозатратностью. Кроме того, снижение потребления энергии в области вычислений, особенно в больших центрах обработки данных, может иметь положительный эффект на окружающую среду и снизить выбросы парниковых газов.
Проведя анализ архитектуры Base, представленной учеными Стэнфорда в декабре 2023 г., ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Это позволяет улучшить процесс его обработки и получать более точные ответы. Ученые также упростили алгоритм выделения текстовой информации, что привело к увеличению производительности, повышению качества работы с длинными текстами и улучшению контекстного обучения. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.
ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач, которые имеют конкретную область применения и требуют учета ее особенностей. Например, в медицине такой задачей может считаться классификация текстов на основе симптомов и диагнозов.
Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.
Ученые проводили эксперименты на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.
Ярослав Аксенов, исследователь обработки естественного языка в T-bank AI Research: «Примечательно, что параллельно с выходом нашей статьи группа исследователей из Стэнфорда выпустила исследование на эту же тему, но с другим подходом к решению. Сейчас это одна из наиболее интересных областей исследований в NLP по всему миру: трансформеры слишком медленные, но линейные модели уступают им по качеству. И мы, и ученые из Стэнфорда занимаемся поиском оптимальных архитектур. Мы ценим их вклад в развитие технологий и рады возможности участвовать в научном диалоге такого уровня».
В перспективе линейные модели все чаще будут использоваться в комбинации с трансформерами в качестве составной части гибридных архитектур. Такие архитектуры сочетают в себе и скорость, и высокое качество выполнения задач.
Короткая ссылка
