Поделиться
Контрабандный промпт делал Microsoft Copilot излишне болтливым
Уязвимость в Microsoft 365 Copilot можно было эксплуатировать с помощью специально сформированного письма со скрытым промптом. Проблема в этом ИИ исправлена, но она вполне может затрагивать и другие.
Эхо-уязвимость
Эксперты компании Aim Labs выявили и описали серьезную уязвимость в ИИ-разработке Microsoft 365 Copilot, которая позволяла в теории извлекать значимые для текущего пользователя данные из системы без какого-либо участия последнего. «Баг» исправлен и в Microsoft утверждают, что им никто не успел воспользоваться. Тем не менее, остро встает более общий вопрос безопасности ИИ и защищенности данных, которыми он оперирует.
Уязвимость, получившая название EchoLeak (CVE-2025-32711), - это первый случай, когда со всей достоверностью продемонстрирована возможность скрытно красть данные, в том числе в автоматическом режиме.
Microsoft 365 Copilot - это ИИ-ассистент, встроенный в приложения Microsoft Office и Microsoft Teams. Он использует GPT-модели OpenAI и Microsoft Graph для генерации контента и анализа данных, которые поступают из внутрикорпоративных файлов, почтовых сообщений и чатов.
Невинное письмо и еще более невинная картинка
Атака предполагает отправку вредоносного письма, в котором содержится текст, не относящийся к Copilot и отформатированный как типичный бизнес-документ. В него, однако, встроен инъектируемый промт (инструкция), которая предписывает атакуемой LLM-системе извлечь и переслать значимые внутренние данные.
Промт оформлен как обычное сообщение, адресованное человеку, поэтому защитный барьер под названием XPIA (cross-prompt injection attack - межпромтовая инъекция) не срабатывает.
Позднее, когда пользователь задает Copilot релевантный для бизнеса вопрос, почтовое сообщение загружается в контекст промптов подсистемой «генерации с использованием усиленного извлечения» (RAG - Retrieval-Augmented Generation), поскольку оно отформатировано нужным образом и, с точки зрения ИИ, содержит релевантную информацию.
В результате инъекции заложенный промт заставляет LLM выдавать значимые внутренние данные и выводить их в виде специально сформированной ссылки или изображения, размеченного в формате языка Markdown.
Специалисты Aim Labs обнаружили, что некоторые форматы размеченных изображений заставляют браузер запрашивать сгенерированную ИИ картинку, что вызывает автоматическую отправку URL со всеми встроенными в нее данными на сервер атакующего.
Этот сервер может располагаться по адресу, связанному с Microsoft Teams или SharePoint: эти домены никогда не блокируются, так что данные было легко вывести.
Как пишет издание Bleeping Computer, уязвимость EchoLeak исправлена, но растущая сложность и глубина интеграции LLM-приложений в бизнес-процессы уже показывают невысокую эффективность традиционных защитных средств. Скорее всего, последует обнаружение новых уязвимостей подобного рода, которыми хакеры рано или поздно попытаются воспользоваться.
«Внедрение LLM-решений в самые различные процессы происходит настолько быстро, что адекватный аудит безопасности нередко оказывается возможен только после развертывания ИИ в инфраструктуре», - отмечает Анастасия Мельникова, директор по информационной безопасности компании SEQ.« В данном случае серьезную уязвимость удалось устранить до ее эксплуатации, но теперь хакеры наверняка бросятся искать аналогичные слабые места в других ИИ-помощниках. И совсем не исключено, что найдут. Основной рекомендацией для операторов LLM-решений будет реализация фильтров против попыток злоупотреблений на входе и отфильтровывание ссылок и структурированных данных в выдаче ИИ, по крайней мере, в бизнес-среде. Фильтры должны присутствовать и там, где ИИ соприкасается с внутренними корпоративными данными, - ИИ совсем не обязательно обладать доступом к любой информации в корпоративных сетях».
Как отмечается в материале Bleeping Computer, RAG можно настроить таким образом, чтобы исключить внешние коммуникации и предотвратить интеграцию вредоносных промптов.
Информация об уязвимости была передана в Microsoft еще в марте, а проблема была нейтрализована в мае этого года.
Короткая ссылка
