06 Декабря 2022 10:00 06 Дек 2022 10:00 |

Поделиться

Александр Фонарев, Rubbles: Переиспользование общих компонентов позволит экономить до 70% при разработке Data Science приложений

CNews: Александр, опишите, пожалуйста, особенности разработки решений на основе ИИ и Big Data в России.

Александр Фонарев: Разработка продуктов на основе технологий ИИ и Big Data вот уже несколько лет идет при огромном дефиците кадров. Не хватает именно высококвалифицированных людей с опытом в области Data Science, аналитики данных, машинного обучения и настройки инфраструктуры для обработки данных. А за последний год добавились новые трудности — многие западные игроки, которые предоставляли инструменты для аналитической разработки в России, ушли с рынка, и есть риски, что в скором времени уйдут и те, кто пока остался. Поэтому у российских крупных предприятий помимо решения кадровой проблемы стоит еще и задача развивать собственные инструменты для разработки или же находить и адаптировать под себя отечественные решения. Приплюсуем сюда и то, что затраты на создание ИИ-решений весьма значительны и достаточно рискованны. То есть, вероятность вложиться в проект, который потом не выстрелит – не принесет желаемого эффекта — выше, чем у классических ИТ-проектов. Отсюда потребность сокращать time-to-market, быстрее проверять гипотезы и решать судьбу проекта, не дожидаясь, когда он съест приличную часть бюджета.

CNews: Каким же образом вы и ваши партнеры, ведущие разработку аналитических решений, можете на упомянутые вызовы ответить?

Александр Фонарев: Чтобы иметь возможность ответить на этот вопрос одной емкой фразой, стоит сначала рассказать об одной особенности разработки решений искусственного интеллекта и Big Data на данном этапе развития рынка. С технологической точки зрения эти решения имеют очень много точек пересечения и общих или близких по смыслу технологических компонентов. Объясню на примере двух аналитических бизнес-приложений. Возьмем в качестве первого примера рекомендательную систему для персональных рассылок клиентам банка, а в качестве второго – цифровой подсказчик на горно-обогатительном комбинате, который помогает оператору фабрики принимать производственные решения на основании данных, поступающих с оборудования. С точки зрения бизнес-задач это абсолютно разные продукты, но заглянем им под капот. Начнем с аналитической части. В случае подсказчика для оператора фабрики требуется анализировать поток данных с производства и по каким-то бизнес-правилам принимать решения о том, нужно ли выдать какую-то подсказку оператору или нет. Аналогично в рекомендательной системе по персональным рассылкам — необходимо анализировать поведение клиента банка и по каким-то триггерам направлять ему сообщение с тем или иным предложением. Для более глубокой аналитики в обоих приложениях требуются ML-модели прогнозирования больших массивов временных рядов. Кроме того, в обоих приложениях эти модели нужно выложить в продуктивное использование — завернуть в сервис с API, который бы работал 24/7 и не падал, для которого бы проводился регулярный мониторинг и прочее. Далее – и там и там есть интерфейс бизнес-пользователя с системой авторизации/аутентификации, назначением и поддержкой ролей, управлением доступом, правами пользователей и так далее. В этом интерфейсе нужно отображать графики, аналитику, выводы из данных. В случае с банком это будет аналитика о том, как наши персональные сообщения рассылаются, какая конверсия, что работает, а что не работает. На фабрике – какие действия оператора какой эффект приносят, какие параметры производства мы можем наблюдать на разных переделах и цепочках производства и так далее.

Как мы видим, под капотом эти, на первый взгляд разные, приложения очень похожи, и с инженерной точки зрения перечисленные задачи решаются одинаково и для системы банковских персональных рассылок, и для производственного советчика. Общие компоненты в той или иной степени есть практически во всех продуктах на основе ИИ и Big Data. По нашей практике, в среднем 70% технологических компонентов в различных аналитических бизнес-приложениях одинаковы. Отвечаю на ваш вопрос, как и обещал, одной фразой — повысить скорость разработки и удешевить ее можно за счет переиспользования этих общих компонентов от приложения к приложению.

CNews: Каким образом возможно реализовать эту переиспользуемость и есть ли на рынке решения для этого?

Александр Фонарев: Чтобы переиспользовать общие технологические компоненты в проектах, нужно собрать и поддерживать коллекцию этих компонентов и разработать инструментарий, чтобы можно было их перетаскивать из одного проекта в другой. Пока международный рынок не может похвастаться богатством устоявшихся решений, чтобы это реализовывать. Многие разрабатывают все с нуля. В России ситуация усугубляется из-за ухода зарубежных вендоров. Однако для нашей собственной команды разработки проблему переиспользумости мы уже решили — у нас есть наша собственная технологическая платформа, и сейчас с ее помощью мы хотим помочь рынку выйти на новый уровень эффективности.

CNews: Расскажите подробнее о вашей платформе.

Александр Фонарев: Rubbles давно на рынке — мы реализовали уже десятки проектов в области ИИ и Big Data и имеем богатый продуктовый портфель. В какой-то момент в прошлом мы поставили себе цель с каждым новым проектом повышать эффективность разработки — применять накопленный опыт, а не выстраивать все с нуля. Так мы стали добавлять наш технологический опыт и готовые технологические компоненты в нашу платформу – Rubbles Data Application Suite. От проекта к проекту она становилась богаче, компоненты лучше, разработка быстрее. Сейчас она помогает нам быстро и эффективно создавать новые приложения и уже оформилась в самостоятельный продукт. Компоненты платформы состоят в реестре отечественного ПО, что упрощает работу с заказчиками на российском рынке.

Платформа включает две большие группы компонентов. Первая группа относится к Data Science и Data Engineering. Одним из основных здесь является инструментарий для автоматического развертывания и управления рабочими местами специалистов по данным, чтобы они могли сфокусироваться на аналитике, не отвлекаясь на инфраструктурные задачи. Сюда же относятся инструменты для MLOps и продуктивизации ML-моделей, кратно снижающие объем работы по выводу моделей в продуктив. Кроме того, в платформе есть набор заготовленных пайплайнов для решения конкретных прикладных задач. Это и фреймворк, позволяющий эффективно реализовывать прогнозирование временных рядов, причем распределенно и на больших объемах данных, и аналитические библиотеки – для а/б тестирования, задач клиентской аналитики и так далее. Во вторую группу входят компоненты, которые ускоряют классическую софтверную разработку – интерфейса бизнес-пользователей, бэкенда этого интерфейса и прочего, что не относится непосредственно к аналитике данных. Также здесь есть все необходимое для настройки системы авторизации и аутентификации пользователей. Ключевым в этой группе компонентов является фреймворк для разработчиков, содержащий большое количество готовых элементов типа графиков, кнопок, таблиц и системы авторизации – их остаётся только взять, прописать параметры и использовать. Система для автоматизации разворачивания инфраструктуры и CI/CD тоже прилагается. За счет переиспользования этих компонентов проект ускоряется в разы — вместо того чтобы писать одно и то же в каждом новом приложении, разработчик может сфокусироваться на кастомной части конкретного продукта, то есть на специфической бизнес-логике.

Здесь важно также упомянуть философию Rubbles Data Application Suite – гибкость. Платформа построена так, чтобы пользователь мог самостоятельно разрабатывать необходимые ему части аналитического приложения, если они не предоставляются в нашем продукте. Мы делаем разработку типовых сценариев более эффективной, не ограничивая свободу творчества заказчиков в этом плане, потому что понимаем, как для них сегодня важна возможность использовать собственные наработки и легко перестраивать решение под свои потребности.

CNews: Каких бизнес-эффектов реально достичь за счет платформы Rubbles Data Application Suite?

Александр Фонарев: По факту, основные бизнес-эффекты достигаются за счет переиспользования положительного опыта — одни профессионалы однажды что-то классно и качественно реализовали, и теперь другие люди могут воспользоваться этой практикой, внести что-то свое и работать быстрее и лучше от проекта к проекту. Как следствие, Rubbles Data Application Suite позволяет эффективно организовать работу в условиях нехватки опытных специалистов и демократизирует процесс разработки. В частности, в платформе есть все необходимые инструменты, чтобы с львиной долей задач могли справляться специалисты мидл-уровня, так у сеньоров появляется возможность управлять одновременно несколькими проектами.

В части продуктивизации ML-моделей, по нашему опыту, экономится 3-6 месяцев работы команды, по готовым пайплайнам для типовых задач Data Science такие же показатели. Плюс значительно снижается потребность в редких ролях вроде девопсов, которые специализируются как на data-решениях, так и на классических софтверных. В классической софтвер-разработке вместо использования трех человек — одного фронтенд-разработчика и двух бэкенд-разработчиков — то же самое решение обычно можно запрограммировать с помощью одного бэкенд-разработчика. Фронтенд-специалист вообще не требуется, так как все необходимые компоненты, как правило, уже есть в платформе. То есть оптимизация в этой части — в среднем в три раза. В целом, по нашим подсчетам, переиспользование компонентов позволяет на 70% сократить затраты на разработку Data Science приложений.

Кроме того, использование Rubbles Data Application Suite существенно повышает безопасность аналитических решений на всех уровнях: и в рамках процесса разработки и аналитики данных, и в ходе эксплуатации и поддержки разработанных приложений как со стороны бизнес-пользователей, так и со стороны технических специалистов. Это особенно важно, потому что, к сожалению, на практике при разработке data-приложений вопросам безопасности и управления доступа к данным часто не уделяют достаточного внимания.

CNews: Вы сказали, что хотите с помощью вашей платформы помочь рынку, и буквально недавно объявили о стратегическом партнерстве с МТС, который значительную ставку делает на работу с большими данными. Расскажите, пожалуйста, какую роль это партнерство может сыграть для развития Rubbles Data Application Suite.

Александр Фонарев: МТС – один из лидеров в сфере Data Science с далеко идущими планами по развитию аналитических продуктов как для внутренних заказчиков, так и для рынка. В частности, в рамках нашего партнерства мы планируем совместно выпустить целый ряд приложений на основе рекомендательных моделей, гео- и товарной аналитики, а также инфраструктурных решений для работы с большими данными. Потенциальное использование Rubbles Data Application Suite в масштабе разработки МТС – а здесь мы говорим о более чем тысяче программистов и специалистов по данным – даст колоссальный экономический эффект за счет сокращения финансовых и временных затрат на создание новых продуктов. Это же будет способствовать дальнейшему усилению нашей платформы – чем больше пользователей, тем больше идей для совершенствования ее функционала. В конечном итоге рынок получит еще более продвинутый инструментарий для акселерации процессов создания аналитических приложений. В целом, мы считаем, что в нынешних условиях такого рода стратегические партнерства – один из самых верных путей к прорыву в сфере технологий.

CNews: Как вы оцениваете перспективы Rubbles Data Application Suite на рынке?

Александр Фонарев: Как хорошие. Первое, мы пока не видим серьезной конкуренции нашей платформе на российском рынке. Второе, потребность в инструментах, облегчающих и ускоряющих создание приложений, уже достаточно острая из-за ухода зарубежных игроков и будет усиливаться. И в третьих, у нас изначально сильная конкурентная позиция: платформу Rubbles Data Application Suite мы развивали внутри себя многие годы – в нее заложен огромный опыт по десяткам ИИ-проектов и уникальная межотраслевая экспертиза, которая продолжает пополняться по мере нашей работы над различными проектами. Так что наш продукт, уже немало прошедший по пути развития, будет всегда находиться на несколько шагов впереди конкурирующих решений.

Поделиться

Подписаться на новости Короткая ссылка