Поделиться
Ученые T-Bank AI Research создали новый метод для ускорения алгоритмов рекомендаций и их разнообразия
Ученые из T-Bank AI Research создали новый метод Sampled Maximal Marginal Relevance (SMMR), который позволяет до 10% быстрее и разнообразнее формировать рекомендации на онлайн-платформах по сравнению с другими известными в науке методами.
Разработка команды российских ученых из T-Bank AI Research открывает новые возможности для крупнейших финтех-компаний, медиа и социальных сетей, онлайн-кинотеатров, маркетплейсов и др. Метод помогает создавать более персонализированные подборки под интересы пользователя, но не зацикливающиеся на одном типе контента. В итоге платформы, внедрившие SMMR, будут становиться удобнее и интереснее — и для пользователя, и для бизнеса.
«Т-Банк» планирует в первую очередь внедрять новый метод в собственные цифровые сервисы для повышения качества рекомендаций – в «Т-Шопинге» — для формирования более широких и гибких товарных подборок, и в социальной сети «Пульс» — для повышения разнообразия в пользовательской ленте.
Традиционные алгоритмы стремятся подбирать максимально подходящие объекты — товары, фильмы, новости — основываясь на предпочтениях пользователя. Однако такой подход нередко приводит к однотипным рекомендациям, формируя так называемый «информационный пузырь», когда пользователь видит только те товары или контент, которые схожи с его предыдущими интересами. Например, если пользователь часто смотрит комедии, модели персонализации будут показывать только этот жанр, не предлагая альтернатив.
Аналогичная проблема наблюдается и в новостных лентах: алгоритм фиксирует клики на самые заметные заголовки и начинает продвигать похожий контент, даже если сам материал не интересен пользователю или его потребности в информации намного шире.
Метод SMMR решает эту проблему за счет вероятностного выбора: вместо того чтобы каждый раз отдавать предпочтение одному наиболее релевантному объекту, алгоритм случайным образом выбирает из ограниченного круга подходящих вариантов. Такой подход обеспечивает большее разнообразие контента и помогает пользователю открывать новое знание.
Помимо повышения разнообразия, SMMR также работает быстрее, чем его известные аналоги – MMR (Maximal Marginal Relevance) и DPP (Determinantal Point Process). Алгоритм выбирает несколько объектов за одну итерацию и увеличивает объем выборки с каждым шагом, что снизило количество необходимых шагов с 100 до 5–10 на размере выборки из 3 тыс. кандидатов. В результате новая методика оказалась в 2–10 раз быстрее MMR и DPP и при этом обеспечила рост разнообразия рекомендаций на 5–10%.
Метод SMMR выбирает случайным образом похожие категории для показа, что повышает скорость и разнообразие рекомендаций.
Метод SMMR представляет собой развитие классических подходов к формированию разнообразных рекомендаций и отличается рядом принципиальных особенностей: вероятностный подход к выбору. В отличие от традиционных методов, которые на каждом шаге выбирают наиболее релевантный объект, SMMR использует вероятностную выборку из ограниченного числа кандидатов. Это позволяет повысить разнообразие без значительной потери релевантности; пакетная выборка с увеличивающимся размером. Алгоритм формирует рекомендации не по одному, а по нескольким элементам, постепенно увеличивая их размер. Такой подход позволяет существенно ускорить работу модели, особенно на больших выборках, за счет снижения количества итераций; управляемый уровень случайности. Метод включает параметр «температуры», регулирующий степень случайности при выборе объектов. Это дает возможность настраивать алгоритм под конкретные задачи — от консервативного отбора до большего разнообразия в выдаче; высокая масштабируемость на больших данных. За счет снижения вычислительной сложности SMMR эффективно работает на больших объемах данных. Для списков из нескольких тысяч объектов алгоритм требует в 10–100 раз меньше итераций, чем классические подходы; простота интеграции в существующую инфраструктуру. Метод легко встраивается в текущие рекомендательные системы. Это снижает издержки на внедрение и упрощает адаптацию технологии для бизнес-задач.
Рекомендательные системы сегодня выполняют гораздо более сложную задачу, чем просто угадывать интересы пользователя. Их цель — предлагать контент, который человек мог бы не обнаружить самостоятельно. Например, при поиске книг в интернет-магазине традиционные алгоритмы обычно рекомендуют 10 произведений одного жанра, исходя из предпочтений пользователя. В отличие от них, технология SMMR дополняет подборку 2–3 книгами из других жанров — научно-популярными изданиями или триллерами — которые могут заинтересовать пользователя, но ранее не попадали в поле зрения алгоритма. Такой подход помогает найти оптимальный баланс между точностью рекомендаций и элементом неожиданности, что способствует повышению вовлеченности и расширению пользовательского опыта.
Применение метода SMMR может принести практическую пользу как бизнесу, так и пользователям. Для цифровых платформ это означает рост удовлетворенности аудитории: рекомендации становятся не только релевантными, но и разнообразными, что помогает удерживать внимание и повышать вовлеченность. Например, стриминговый сервис вместо десяти однотипных фильмов теперь может предложить пять предсказуемых и пять неожиданных, но потенциально интересных вариантов. Это также способствует более равномерному охвату каталога — больше единиц контента получают шанс быть показанными, что выгодно для продавцов, производителей и агрегаторов. Для пользователей это открывает новые возможности: вместо зацикленности на одном жанре или товарной категории они получают разнообразные предложения, что делает взаимодействие с сервисом более осмысленным и персонализированным.
Метод SMMR успешно протестирован на трех открытых датасетах: MovieLens (фильмы), Dunnhumby (покупки) и MIND (новости). Он демонстрирует стабильные результаты как в потребительских сценариях (подбор фильмов, товаров), так и в более динамичных — например, в рекомендациях новостей.
Метод размещен в открытой библиотеке «Т-Банка» на Github.com.
Короткая ссылка
