Swordfish Security представила обновленный фреймворк оценки AI Security

Swordfish Security представила обновленный фреймворк оценки AI Security. Методология по оценке зрелости компаний, применяющих искусственный интеллект, доступна для ИБ-команд компаний бесплатно. В этом году в нее добавили несколько важных изменений, отражающих динамику внедрения искусственного интеллекта в России. Об этом CNews сообщили представители ГК Swordfish Security.

Одной из ключевых проблем, возникающих по мере внедрения ИИ в бизнес-процессы эксперты называют растущее количество ИИ-агентов, которым компании доверяют уже не просто задачи, а корпоративные процессы, от аналитики до написания ПО без пошагового контроля человека. Риск связан с самой природой таких систем: агент не ограничивается формированием ответа, а может иметь полномочия, доступ к инструментам и способность действовать без человека в цикле. В такой конфигурации ошибка модели способна перейти из кода в действие внутри корпоративной системы.

Практическим первым шагом для компаний может стать фреймворк оценки AI Security. Генеральный директор Swordfish Security Александр Пинаев представил его версию 2.0. Фреймворк опирается на существующие домены и практики, позволяя компании оценить текущее состояние контроля, определить приоритеты и сформировать последовательность дальнейших действий.

«Фреймворк в версии 2.0 стал более ориентированным на практику. Компания может пройти по вопросам фреймворка, зафиксировать свое текущее состояние и получить маршрут развития: определить, куда двигаться дальше и какие шаги дадут наибольший эффект в ближайшей перспективе», — отметил Александр Пинаев.

В новую версию вошли два дополнительных домена: безопасность агентских систем и безопасность RAG-пайплайнов. Первый сфокусирован на контроле поведения агентов. Он позволяет выделить вопросы, связанные с их действиями и использованием инструментов, в самостоятельный контур оценки.

Второй домен посвящен данным, используемым в ИИ-системах. Он предполагает контроль используемых данных, понимание их связи с моделями, учет версий и происхождения компонентов. По словам Пинаева, такой подход необходим и при работе с моделями с открытыми весами, и при использовании проприетарных моделей.

«Если мы не знаем, на каких данных обучалась модель и как формировался ее контекст, мы не можем в полной мере прогнозировать ее поведение», — сказал Александр Пинаев.

Версионный учет, инвентаризация данных и моделей, фиксация инцидентов и наблюдение за нежелательным поведением позволяют перейти от разовой проверки к постоянному управлению AI Security. Это принципиально для генеративных моделей, поведение которых обладает свойством недетерминированности: один и тот же запрос может давать разные результаты.

Обновленный фреймворк дает компаниям прикладной инструмент, чтобы начать выстраивать контролируемое использование ИИ с учетом особенностей агентных систем, RAG-пайплайнов, данных и моделей.