CNews: Сергей, что послужило поводом к разработке системы?

Cергей Щербаков: К нам обратился крупный сетевой ритейлер с проблемой потерь на КСО — количество касс в магазинах иногда доходит до 60-ти, при этом ассистенты зоны физически не могут уследить за корректной оплатой или сканированием всех товаров. Ровно, как и охрана на выходе не может проверять всех клиентов — ведь это точно приведет к ухудшению клиентского опыта.

Так у нашей команды возник вопрос, а не может ли система видеоаналитики отслеживать подозрительные события на кассах и сигнализировать о них? Мы провели небольшой пилот, который подтвердил гипотезу: такую систему разработать можно.

CNews: Расскажите подробнее о разработке системы.

Cергей Щербаков: В нашей компании уже больше пяти лет существует группа аналитики данных и ML, которая занимается разработкой различных сервисов и продуктов на базе ИИ, в том числе и видеоаналитики. Именно она была отобрана исполнителем проекта.

Задача шла по четырем направлениям:

• Бизнес-анализ — он начался с систематизации различных видов потерь, как они происходят и какими способами их можно обнаружить и предотвратить. После того, как были отобраны виды, с которыми могла работать видеоаналитика, началась проработка сценариев взаимодействия с клиентом: причем не только на уровне «Система-Клиент», но и по цепочке «Система-Ассистент-Мониторная комната-Охрана».
• Интеграция со смежными системами — для полноценной работы системы нужно было интегрировать ее с системой видеонаблюдения для получения видео с самими с кассами, а также с рядом других систем. Этим мы тоже занимались параллельно с обучением ИИ и проработкой бизнес-правил.
• Разработка рабочих мест для работы оператора с системой — проанализировав роли специалистов, которые планировали работать с Системой, было разработано несколько различных типов рабочих мест, позволяющих решать принципиально разные задачи.
• Обучение моделей ИИ — здесь мы создавали ядро системы и прописывали бизнес-логику, которую проработали на первом шаге.

CNews: Как обучался ИИ?

Cергей Щербаков: Процесс был постепенным. Во время анализа мы поделили все потери на типы и для каждого типа создавали свои модели и свою логику работы системы. Соответственно и обучали ИИ тоже постепенно. Начали с подсчета товаров, чтобы сравнить количество товаров в корзине клиента и в чеке клиента. Очевидно, что, если в чеке их меньше, чем в корзине — это повод обратить на такого клиента внимание.

Подходы к обучению моделей ИИ у нас стандартные и отработаны давно — начинаем всегда с анализа статей, поиска лучших подходов и протренированных моделей для решения той или иной задачи. И данный проект не был исключением. По мере того, как мы определились с подходами, запустили видео, полученные от заказчика, на разметку. У нас в ICL Services есть коллеги, которые регулярно помогают с разметкой датасетов: потому лишь за неделю была размечена первая порция в несколько тысяч покупок для обучения моделей и проверки, какая работает лучше.

CNews: Были ли загвоздки при обучении?

Cергей Щербаков: Самой серьезной загвоздкой было получение данных. Выгрузить собранные за месяц видео со всех камер зоны КСО в нескольких магазинах — задача нелегкая. Удаленно такое не скачаешь, локально переписать — тоже проблематично. Да и в целом на обучении остальное было ожидаемыми нюансами — то, что модели приходилось переобучать, а данные переразмечать, то что в процессе пилотирования всплывали новые нюансы и приходилось добавлять новые модели в процесс принятия решения.

CNews: Как проходило пилотирование системы?

Cергей Щербаков: Мы проводили пилот в магазине на реальных покупателях. Он был постепенным — как по типам аномалий (по мере обучения моделей и готовности бизнес-логики), так и по внедрению в магазины.

1. Первым этапом мы поставили систему в магазине, завели в нее все потоки данных, но не включали взаимодействие с внешним миром.
2. Проанализировав работу системы, а именно, посмотрев на видеозаписи, которые она сочла подозрительными и немного ее подстроив, мы включили оповещения только охране, чтобы они могли начать обращать внимание на рекомендации системы.
3. Собрав обратную связь от охраны и немного поправив работу, мы начали внедрять полную логику работы на тестовых кассах.
4. И лишь после того, как собрали аналитику и обратную связь от всех задействованных сотрудников магазинов, включили систему в полном объеме на все КСО тестовых магазинов. И такой путь мы проходили для всех типов аномалий.

Наиболее сложным был первый тип — слишком много нюансов ждало нас по дороге. Второй и последующие типы «раскатывали» в магазинах в разы быстрее, хотя подход всегда был один — сначала работа без оповещений, потом оповещение только сотрудников магазина и только после одобрения — постепенное включение на клиентов.

Последней точкой в приемке работ по пилотному внедрению стало тестирование работы в реальных условиях. Самое интересное было в том, что точных данных по количеству потерь именно в зоне самообслуживания, ни у кого нет (магазин не может поделить потери по тому, на каком типе касс они случились). А потому было решено, что тестирование пройдет между работой охраны и работой системы: своего рода выяснение отношений — кто круче, машина или человек. И победила все-таки машина.

Конечно, сравнение достаточно условное — ведь без людей система не может предотвратить факты воровства, а лишь обнаружить и предупредить. И поэтому мы говорим не о замене человека машиной, а про краткое увеличение эффективности работы людей и сокращение потерь как для пилотного магазина, так и для всей сети.

Сейчас пилот формально завершен. Но поскольку тестовые сервера продолжают работать в тестовых магазинах, то можно сказать, что пилот плавно перешел в промышленную эксплуатацию.

CNews: Планируется ли расширение функционала системы в будущем?

Cергей Щербаков: Конечно. Мы видим, что, несмотря на то что система уже работает и приносит ощутимую пользу, ей есть куда расти — это и точность распознавания некоторых событий, и увеличение охвата по чекам, и некоторые доработки по удобству работы, которые накопились за время пилота. Все это сформировало бэклог доработок, который, проведя приоритизацию, мы взяли в работу.