Поделиться
Искусственный интеллект может быть «троянским конем»: эксперт рассказали об уязвимостях ИИ-агентов
Старший управляющий директор AppSec Solutions Антон Башарин рассказал о безопасности и разработке в эпоху искусственного интеллекта. Сегодня его широкое внедрение связано с большим количеством рисков. Об этом CNews сообщили представители AppSec Solutions.
«По данным Национального центра искусственного интеллекта при Правительстве России, 43% российских компаний используют искусственный интеллект в своей работе, но только у 36% есть хотя бы минимальные политики безопасности в этой области. Злоумышленники справедливо полагают, что ИИ стал уязвимым местом, и активно этим пользуются», - отметил Антон Башарин.
Спектр уязвимостей ИИ-агентов и, как следствие, угроз очень широк. Чаще всего атакам подвергаются ИИ-ассистенты, которые для выполнения своих полезных функций имеют доступ к чувствительной корпоративной информации, в том числе и к персональным данным клиентов. При этом компания, допустившая утечку персональных данных, может быть оштрафована на сумму до 15 млн руб, а в случае повторного нарушения быть подвергнута оборотному штрафу. Многие чат-боты последнего поколения и сами активно собирают и хранят информацию о пользователях, а не только черпают ее из базы данных компании.
Искусственный интеллект применяется злоумышленниками для jailbreak, то есть фактического взлома устройств и программных продуктов.
Число ИИ-агентов постоянно растет, причем они взаимодействуют не только с человеком, но и друг с другом. На этом основан метод каскадной атаки, когда злоумышленники создают специального ИИ-агента, который как бы «обучает» второго и так по цепочке до агента, являющегося объектом атаки. В этом случае ваш бот может вместо полезной информации выдавать недостоверную или даже противоправную информацию – если это будет целью злоумышленников.
К похожим «симптомам» может приводить заражение данных, на которых проходит обучение нейронка или большая языковая модель (LLM) типа ChatGPT. Условно говоря, если в дата-сете модели утверждение, что дважды два равняется пяти, превалирует, то модель будет считать этот вариант верным.
Встречаются и более «токсичные» варианты «отравления» данных для обучения, чем просто некорректная информация. Дата-сеты могут содержать бэкдоры, то есть уязвимости, позволяющие злоумышленникам перехватывать контроль и получать доступ к любым данным пользователя. В данном случае ИИ становится своего рода «троянским конем».
Злоумышленники могут нанести вред и с помощью «перегруза» ИИ-агента специально модифицированными запросами, что ведет к быстрому исчерпанию вычислительных мощностей компании и может парализовать ее работу, либо вынудить инвестировать дополнительные средства в покупку новых мощностей.
«К ИИ-агентам и моделям нужен такой же подход, как к микро-сервисам. То есть нужны политики безопасности, а также инструментальные проверки. И в целом, подход MLSecOps, то есть изначально безопасной разработки моделей, а не латания дыр по мере их обнаружения, тем более что бывает уже слишком поздно», - сказал Антон Башарин.
В настоящее время системный подход в этой сфере разрабатывается на уровне рабочих групп Консорциума исследований безопасности искусственного интеллекта, членом которого является ГК Swordfish Security (в нее входит, в том числе, AppSec Solutions).
Короткая ссылка
