Поделиться
«Касперский» выпустил шесть правил безопасной разработки систем с искусственным интеллектом
«Лаборатория Касперского» представила руководство по безопасной разработке искусственного интеллекта (ИИ) - документ предназначен для помощи организациям в избежании киберрисков, связанных с применением ИИ-технологий. Пособие предназначено для разработчиков, системных администраторов и DevOps-команд. В руководстве содержатся детальные практические советы о том, как предотвращать или устранять технические недостатки и операционные риски.
Руководство по эксплуатации
«Лаборатория Касперского» разработала документ для помощи организациям для предотвращения киберрисков, связанных с применением технологий ИИ. В первую очередь руководство предназначено для разработчиков, системных администраторов, DevOps-команд, говорят в компании. Об этом CNews сообщили представители российского разработчика систем защиты от вирусов.
Пособие создано совместно с ведущими научными экспертами, отметили в «Лаборатории Касперского». Оно охватывает ключевые аспекты разработки, внедрения и использования ИИ-систем, а также предлагает лучшие практики в области безопасности. Это особенно важно для организаций, использующих сторонние ИИ-модели и облачные ИТ-системы. В связи с тем, что уязвимости в них могут привести к масштабным утечкам данных и нанести ущерб репутации бизнеса или компании. Рекомендации по безопасной разработке также помогут развертывать ИИ-системы в соответствии с Environmental, Social, Governance (ESG)-принципами и международными стандартами.
ESG – можно расшифровать как «экология, социальная политика и корпоративное управление». Это принципы деятельности компании, основанные на защите окружающей среды, создание благоприятных социальных условий, добросовестном отношении с сотрудниками и клиентами и надлежащем корпоративном управлении. В последние годы тренд на ответственность и экологичность распространился и на сферу инвестиций. В России принципы ESG менее распространены, чем за рубежом, но их уже постепенно внедряют в бизнес. Кроме того, треть крупнейших банков страны уже в 2022 г. внедрила в кредитный процесс ESG-оценку компаний, еще 20% - планируют.
Правила разработки
В частности, «Лаборатория Касперского» предлагает следующие принципы для повышения безопасности ИТ-систем на основе ИИ-технологии.
Во-первых, это информирование о киберугрозах и обучение. Руководство организаций должно быть осведомлено об угрозах безопасности, связанных с использованием ИИ-систем, и регулярно проводить специализированное обучение для сотрудников. Люди, работающие в компании, должны знать, какие методы используют злоумышленники для осуществления кибератак на ИИ-системы, а обучающие программы необходимо постоянно обновлять, чтобы информация об угрозах была актуальной.
Во-вторых, моделирование угроз и оценка рисков, потому что это позволит заблаговременно выявлять и снижать риски, а также с помощью этого ИТ-инструмента можно находить и устранять уязвимости на ранних этапах ИИ-разработки. «Лаборатория Касперского» предлагает использовать уже принятые методологии оценки рисков (например, Stride, Owasp), чтобы обнаруживать угрозы в ИИ-сфере, например нецелевое использование ИТ-моделей, применение нерелевантных данных для обучения модели, системные недостатки.
В-третьих, постоянное слежение за безопасностью облачной ИТ-инфраструктуры. ИИ-системы часто развертывают в облачных средах, и это требует строгих защитных мер, таких как шифрование, сегментация сети и двухфакторная аутентификация. «Лаборатория Касперского» предлагает следовать принципу нулевого доверия (то есть по умолчанию не доверять никаким пользователям или устройствам), применять защищенные каналы связи и регулярно обновлять ИТ-инфраструктуру, чтобы снижать риски взломов.
В-четвертых, осуществлять защиту цепочки поставок и данных. «Лаборатория Касперского» напоминает о рисках, связанных с внешними ИИ-компонентами и моделями, включая утечки данных и их продажу злоумышленниками. Для того чтобы этого избежать, необходимо строго соблюдать политику конфиденциальности и правила безопасности для всех участников цепочки поставок.
В-пятых, проводить тестирования и проверки созданных ИИ-систем, ведь регулярные проверки ИИ-моделей помогут убедиться в надежности их работы. «Лаборатория Касперского» рекомендует проводить мониторинг их производительности, а также собирать отчеты об уязвимостях. Это позволит вовремя обнаруживать проблемы, связанные с изменением используемых моделью данных, а также кибератаки злоумышленников. Для того чтобы снизить риски, важно следить за актуальностью наборов данных и проверять логику принятия решений.
В-шестых, осуществлять защита от угроз, специфичных для ИИ-моделей, ведь ИИ-компоненты необходимо защищать от киберугроз, характерных для ИИ-систем: промпт-инъекций и других вредоносных запросов, отравления учебных данных и так далее. Чтобы снизить риски, можно намеренно включать нерелевантные данные в процессе тренировки модели, чтобы научить её распознавать их. Кроме того, рекомендуется использовать системы обнаружения аномалий, а также методы дистилляции знаний, которые помогают эффективнее обрабатывать информацию и придают ей большую устойчивость к манипуляциям.
В-седьмых, программисты должны проводить регулярное обновление ИТ-системы, ведь необходимо часто обновлять ИИ-библиотеки и фреймворки, чтобы вовремя устранять появляющиеся уязвимости. Для того чтобы повысить устойчивость таких систем, стоит участвовать в программах Bug Bounty, которые предполагают выплату вознаграждения сторонним ИТ-специалистам за обнаружение уязвимостей, и регулярно обновлять облачные ИИ-модели, учитывая их быструю эволюцию.
ИТ-система должна соответствовать международным стандартам, ведь следование международным нормам, использование передовых практик, а также проверка ИИ-систем на соответствие законодательству помогут компаниям соблюдать требования в сфере этики и конфиденциальности данных, а следовательно, укрепить доверие и повысить прозрачность бизнеса в России.
Безопасность разработки
В последние годы многократно возросла актуальность вопросов безопасности в цифровой среде на фоне общей активизации киберпреступности и появления новых способов воздействия на информационные системы, реализуемого в том числе посредством ИИ-решений.
По данным Государственного департамента США, за 2023 г. количество утечек информации ограниченного доступа в мире превысило показатели предыдущего года более чем на 61%. При этом более 47 млрд записей персональных данных были скомпрометированы. Одна из причин роста киберинцидентов - распространение ИТ-сервисов на основе ИИ. К примеру, в США 75% специалистов по кибербезопасности крупных компаний (численностью более 1 тыс. сотрудников) относят использование персоналом генеративного ИИ к факторам увеличения числа и скорости кибератак.
Согласно результатам обследования 2,5 тыс. организаций 20 отраслей экономики (обрабатывающая промышленность, торговля, финансы и страхование, транспорт и логистика, ИТ-отрасль, телекоммуникации и др.), проведенного Институтом статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики» (ИСИЭЗ НИУ ВШЭ) в конце 2023 г., регулирование вопросов информационной безопасности (ИБ) при использовании продуктов и услуг на основе ИИ находится на шестом месте среди стимулов, наиболее значимых для расширения внедрения этого класса технологий. Необходимость повышения требований к кибербезопасности, устанавливающих правила применения ИИ-систем, отметила почти каждая четвертая из опрошенных организаций - пользователей подобных решений более 23%.
По данным ИСИЭЗ НИУ ВШЭ, при этом в случае ИИ-разработки аналогичные требования законодательного урегулирования вопросов ИБ фигурируют в ответах лишь 8.6% респондентов. Недостаточная заинтересованность в этом вопросе на этапе разработки может повлечь серьезные последствия и ущерб для компаний, ведь функция безопасности должна закладываться на каждом этапе создания и использования ИИ-решений и гарантироваться пользователю «по умолчанию», наряду с базовым функционалом конкретного продукта. Для этого на каждом из этапов жизненного цикла ИИ-технологий могут применяться разные методы.
Особое внимание программисты уделяют обучающим данным для классификатора машинного обучения (ML), от которого зависит корректное функционирование ИИ-решения. ИБ-специалисты призывают проводить очистку данных, сравнивать их с исходными, производить переобучение на примерах тренировочных наборов данных, отслеживать нацеленные на порчу обучающей выборки отравляющие атаки. На этапе эксплуатации ИИ-решения применяется фильтрация входных данных, включающая предварительную проверку обрабатываемой информации на предмет наличия в ней вредоносного содержимого. ИТ-эксперты также рекомендуют на разных этапах разработки и эксплуатации ИИ-решения осуществлять статистический и динамический анализ кода.
Вне зависимости от этапа разработки и использования ИИ-решения базовыми остаются традиционные средства защиты и правила цифровой гигиены: использование лицензированного программного обеспечения (ПО), установка надежных паролей, резервное копирование данных, посещение только проверенных веб-сайтов и др. По мере распространения ИИ интенсивность кибератак и ущерб от них будут стремительно расти во всем мире. Это делает особенно важным проведение регулярного мониторинга и повышение уровня цифровой грамотности работников и их корпоративной лояльности.
Короткая ссылка
