Поделиться
AppSec Solutions выпустили ИИ-платформу для защиты от киберугроз
Продукт отечественного вендора AppSec Solutions позволит в автоматическом режиме проверять любые системы с участием искусственного интеллекта, будь то ИИ-ассистенты или корпоративные решения с большими языковыми моделями, на устойчивость к вредоносным атакам. Об этом CNews сообщили представители AppSec Solutions.
AppSec.GenAi – это решение, которое позволяет обеспечивать комплексный подход к безопасности больших языковые моделей и генеративных ИИ-систем. Продукт нацелен на поиск уязвимостей и анализ устойчивости ИИ-системы к кибератакам.
Основная задача платформы – определить, как языковая модель противостоит манипуляциям, выявить риски и предотвратить кражу чувствительных данных. Продукт отечественного вендора позволяет тестировать модель на различные сценарии проникновения, начиная от Phishing Attack и Jailbreaking, заканчивая сложными атаками на звуковые и мультимодальные модели. AppSec.GenAi – это своего рода провокатор, который выявляет слабые стороны ИИ-моделей и позволяет разработчикам своевременно их доработать.
«Мы проверяем все распространенные типы модальностей моделей более, чем 40 типами сценариев. Это позволяет оценить как модель реагирует на небезопасные воздействия, например: отклоняется ли от своих инструкций безопасности, готова ли отвечать на провокационные вопросы и генерировать нежелательный контент. По итогам проверок пользователю доступны несколько типов отчетов, включающих в себя оценку воздействия, рекомендации, а также логи, позволяющие проанализировать поведение модели в момент атаки, – сказала Мария Усачева, руководитель продуктов AI Security, AppSec Solutions. – Кроме того, сканер может быть интегрирован в процесс разработки на ранних этапах, что позволяет проводить сканирование на уязвимости еще на стадии тестирования моделей, до внедрения в эксплуатацию».
Инструмент подходит для языковых моделей, разработанных под задачи любого бизнеса: финтеха, медицинских ИИ-технологий, управления производством или БигТеха.
«По данным Национального центра искусственного интеллекта при Правительстве России, 43% российских компаний используют искусственный интеллект в своей работе, но только у 36% есть хотя бы минимальные политики безопасности в этой области. Злоумышленники справедливо полагают, что ИИ стал уязвимым местом, и активно этим пользуются. При этом, у них есть ряд особенностей, которые не позволяют обеспечивать их безопасность традиционными инструментами, в частности, они взаимодействуют не только с человеком, но и друг с другом», – отметил управляющий директор AppSec Solutions Антон Башарин.
Спектр уязвимостей ИИ-систем широк. Это и намеренное «заражение данных», на которых обучается модель, хищение чувствительных данных с помощью специальных промптов, «перегруз» ИИ-агента специально модифицированными запросами, что ведет к быстрому исчерпанию вычислительных мощностей компании, и другие.
AppSec.GenAi выявляет уязвимости языковых моделей, позволяя своевременно принять меры по защите моделей компании-разработчика.
Короткая ссылка
