Новый ИИ засекретили за слишком высокую эффективность

Безопасность Стратегия безопасности Интеграция Бизнес-приложения
мобильная версия
, Текст: Роман Георгиев 4724

Исследователи группы OpenAI приняли решение ограничить публикацию данных о своей новой разработке, поскольку при всех ее достоинствах она проявила себя как слишком эффективный генератор фальшивых новостных материалов.


ИИ-фейкомет

Исследовательская организация OpenAI приняла решение не публиковать очередное свое исследование и характеристики разработанного ими алгоритма «искусственного интеллекта» GPT-2 полностью. Причина - избыточная эффективность в генерации «ложных новостей» («фейк ньюс»).

GPT-2 представляет собой лингвистический алгоритм общего назначения, который использует методики машинного обучения для перевода текстов, генерации ответов на вопросы и написания текстов на заданную тему.

Эксперты были слегка ошарашены, когда GPT-2 сгенерировал полноформатную новость, используя в качестве отправной точки одну-единственную незаконченную фразу: «Россия объявила войну США после того, как Дональд Трамп случайно...»

В другом случае алгоритм сгенерировал целую статью на основе следующей фразы: «Ученые пришли в изумление, обнаружив целое стадо единорогов в отдаленной, ранее никогда не исследованной долине в Андах. Еще более удивительным был тот факт, что единороги говорили на чистейшем английском языке».

Переменная эффективность

По словам разработчиков алгоритма, его эффективность зависит от выбора темы, и ее нельзя назвать стопроцентной.

gpt2ai600.jpg
Группа OpenAI засекретила данные о своем новом алгоритме ИИ, поскольку он слишком эффективно генерирует фейковые новости

«Мы выяснили, что для получения пригодного для использования текста алгоритму требуется несколько попыток; их количество зависит от того, насколько хорошо система знакома с контекстом. Когда мы предлагали темы, по которым в ИИ уже было введено много информации (брекзит, певица Майли Сайрус (Miley Cyrus), «Властелин колец» и так далее), алгоритм выдавал пригодные для использования тексты примерно в половине случаев. Обратное также справедливо: если тема слишком узкоспециализированная или экзотическая, модель дает очень слабые результаты», - пишут исследователи.

Вредоносный ИИ - вопрос скорого будущего

Хотя система GPT-2 разрабатывалась с прицелом на то, чтобы приносить пользу, ее вредоносный потенциал разработчики посчитали слишком высоким. Помимо того, что GPT-2 может создавать «фейковые» новости, он вполне способен выдавать себя за других людей онлайн, кроме того, его можно использовать для автоматизации производства всевозможного фейкового, оскорбительного или «разжигающего» контента, а также спама и фишинговых сообщений.

Поэтому исследователи приняли решение опубликовать только очень небольшую часть модели GPT-2 и кода выборки. Весь набор данных, использовавшихся для обучения, код самих алгоритмов обучения и веса модели публиковаться не будут.

«Ограничить публикацию, конечно, выглядит как сугубо благое намерение, однако его эффективность вызывает вопросы, - говорит Михаил Зайцев, эксперт по информационной безопасности компании SEC Consult Services. - Того описания, которое эксперты уже привели, пусть и без технических подробностей, вполне может хватить для того, чтобы их результаты воспроизвели другие исследователи - в том числе недобросовестные. Вообще говоря, использование ИИ и машинного обучения для вредоносных действий в киберпространстве представляется вопросом очень недалекого будущего, а потому пора задуматься о том, что противопоставить «генеративным фейкам» и спаму».

Эксперты OpenAI и сами признают, что решение ограничить масштабы публикации едва ли особенно эффективно. Воспроизвести их результаты вполне возможно и не имея всех тех данных, которыми пользовались исследователи Open AI. Но, по их мнению, таким образом ограничится «изначальное количество организаций, которые могут захотеть заниматься этим», в то время как у сообщества разработчиков и исследователей ИИ будет больше времени на обсуждение возможных последствий.