Коробочное решение для ИИ можно развернуть за месяц вместо года

История создания «Сайбокс.ПАК» началась с наблюдения команды Т1 при общении с клиентами. «Мы видели, что бизнес уже созрел для масштабного применения ИИ, но присутствуют организационные и технические барьеры», — поясняет Сергей Карпович, заместитель руководителя направления Т1 ИИ (ИТ-холдинг Т1). Ключевой проблемой оказалась не сама разработка моделей, а подготовка инфраструктуры: согласование спецификаций, поиск совместимого оборудования, настройка программного стека. Каждый из этих этапов добавлял недели и месяцы к общему сроку проекта. Поэтому в Холдинге решили применить концепцию: поставлять не разрозненные компоненты, а готовый инженерный комплекс. В него входит серверное оборудование российских производителей, предустановленная операционная система, среда контейнеризации и ядро — платформа «Сайбокс». Такой подход снимает с компании-потребителя необходимость самостоятельно проверять совместимость драйверов, версий библиотек и аппаратных конфигураций. Вместо этого компания получает протестированную в лаборатории Т1 сборку, готовую к немедленному развёртыванию в корпоративном центре обработки данных. Несколько компаний из финтех сектора и промышленности уже тестируют решение. 

Сердцем программно-аппаратного комплекса выступает платформа «Сайбокс», выполняющая роль Центра управления ИИ. Она закрывает три ключевых направления. Первое — классическая разработка с машинным обучением (ML-разработка): команды специалистов по данным получают инструменты для управления экспериментами, версионирования моделей и развёртывания предсказательных сервисов. Второе — работа с большими языковыми моделями и генеративным ИИ. Здесь платформа предлагает набор из нескольких LLM, корпоративный чат с RAG, ИИ-конструктор. Пользователь может общаться с моделями через интерфейс, похожий на привычные чат-сервисы, но все данные остаются внутри защищённого периметра компании. Для пользователей, не владеющих программированием, предусмотрен визуальный конструктор агентов. С его помощью можно собрать цепочку обработки запроса, подключить корпоративную базу знаний через механизм поиска по документам с последующей генерацией ответа (RAG) и получить готового ассистента для бухгалтерии, юридического отдела или службы поддержки. Предустановленные шаблоны и библиотека промптов ускоряют запуск типовых сценариев, сокращая время от идеи до работающего прототипа с месяцев до нескольких дней. Третье направление — общеплатформенные компоненты, включающие мониторинг загрузки графических ускорителей и систему биллинга, корпоративной авторизации и логирования. Именно прозрачность расходования вычислительных ресурсов –  одна из сильных сторон «Сайбокс. ПАК». В компании видят, сколько мощностей потребляет каждая модель или эксперимент, где образуются простои дорогостоящего оборудования, а где, напротив, требуется добавить квот. Это превращает инфраструктуру ИИ из «чёрного ящика» в управляемый актив. 

В ИТ-холдинге Т1 подчеркивают, что аппаратная часть «Сайбокс.ПАК» — это лишь способ доставки, а основная ценность сосредоточена в софтверной платформе. Такой акцент не случаен. Рынок уже насыщен предложениями вычислительных мощностей, но по-прежнему испытывает дефицит инструментов, делающих ИИ доступным для массового использования внутри предприятия. Платформа «Сайбокс» не привязана к конкретному поставщику моделей. Администратор может загружать в хранилище любые открытые нейросети или подключать коммерческие API, не дожидаясь обновлений от вендора комплекса. Поддержка OpenAI-совместимого интерфейса упрощает интеграцию с уже существующими приложениями компании. Одновременно сохраняется возможность тонкой настройки для специалистов по данным: в их распоряжении кастомизированные среды Jupyter, инструменты оркестрации Airflow и трекинга экспериментов MLflow.

Ещё одно важное преимущество — единое окно ответственности. При возникновении инцидента заказчику не нужно выяснять, проблема на стороне производителя сервера, разработчика операционной системы или поставщика драйверов. Служба технической поддержки Т1 сопровождает комплекс целиком, включая как аппаратную, так и программную составляющие.

Отдельного внимания заслуживает вопрос совместимости с графическими процессорами. В текущей геополитической ситуации доступ к оборудованию отдельных зарубежных брендов остаётся ограниченным, а собственное производство высокопроизводительных ускорителей в России пока отсутствует. В холдинге Т1 осознают этот вызов и заранее проработали альтернативные варианты. «Сайбокс.ПАК» уже адаптирован для работы с альтернативными графическими ускорителями. Специалисты компании провели серию нагрузочных тестов и сравнили совокупную стоимость владения (TCO) для разных аппаратных платформ. По предварительным расчётам, в некоторых конфигурациях использование альтернативных ускорителей может оказаться экономически более выгодным, чем применение привычных решений. Таким образом, заказчик получает страховку от резких изменений на рынке компонентов. Если доступ к одним типам ускорителей станет невозможен, комплекс продолжит функционировать на альтернативной элементной базе без необходимости переписывать программный слой.

Разработчики приводят метрики, которых можно достичь при внедрении «Сайбокс.ПАК». Срок вывода новых ИИ-сервисов сокращается в два-три раза: типовые задачи вроде создания ассистента или настройки конвейера обработки документов решаются за дни вместо месяцев. Затраты на инфраструктуру могут снизиться до половины — за счёт эффективного планирования ресурсов и отказа от скрытых работ по интеграции разрозненных систем. Повышение операционной эффективности выражается в автоматизации рутинных процессов. По данным внутренних расчётов Холдинга, применение агентов платформы позволяет сократить ручной труд бухгалтера на 60 процентов, уменьшить затраты на подбор персонала до 40 процентов и автоматизировать до 85 процентов типовых обращений в службу поддержки. В сочетании с прозрачным биллингом это даёт руководителю чёткое понимание возврата инвестиций в технологию.

Есть и другой аспект – смена фокуса ин-хаус ИИ-команд с регулярного подбора и адаптации стека и инструментов ИИ на решение задач бизнеса. В некоторых случаях задачи наладки инструментов для ИИ могут занимать до 80% времени команд. В случае использования ПАК эти изменения уже вшиты в техническую поддержку.

Идёт работа над углублением отраслевой специализации: в планах — создание готовых шаблонов решений для промышленности, финансового сектора и здравоохранения. Среди уже реализованных кейсов — система анализа анамнеза для медицинских учреждений, модуль сбора и обработки новостных потоков, анализа тендеров, инструмент транскрибирования видеозаписей. С учётом темпа появления новых открытых моделей и библиотек, разработчики намерены регулярно обновлять состав предустановленных агентов и расширять библиотеку промптов. Для конечного пользователя это означает, что арсенал доступных ИИ-инструментов будет пополняться без дополнительных инвестиций в разработку и интеграцию.