OpenAI представляет ИИ GPT-Red, который атакует модели компании для поиска уязвимостей
«Красная команда» — это группа специалистов по безопасности, которая занимается проверкой программного обеспечения на наличие слабых мест. Искусственный интеллект GPT-Red делает это самостоятельно, проводя гораздо больше атак, чем любая команда смогла бы сделать вручную.
Программа отправляет запрос целевой модели и считывает ответ. Затем она пытается снова и снова, каждый раз корректируя свои действия в соответствии с желаемым вредоносным результатом. Неудачные атаки отбрасываются. Те, которые срабатывают, усиливаются.
OpenAI обучила систему ИИ с помощью самообучения с подкреплением. GPT-Red выступает в роли атакующего против моделей-защитников в различных сценариях, получая вознаграждение за успешные атаки, в то время как защитники получают вознаграждение за стойкость и выполнение своих задач. По мере улучшения защиты атакующий вынужден изобретать более сложные атаки, и цикл повторяется.
В компании заявили, что этот подход превосходит возможности людей. GPT-Red успешно справляется с 84% сценариев по сравнению с 13% сценариев, которые выполняли люди, работающие в «красной команде», и в шесть раз сокращает количество отказов при непосредственном вводе в эксплуатацию по сравнению с лучшей моделью, созданной четырьмя месяцами ранее. Класс атак типа «ложная логическая цепочка», которые в случае с GPT-5.1 срабатывали более чем в 95% случаев, в случае с GPT-5.6 оказываются успешными менее чем в 10% случаев.
Новый инструмент также сумел взломать автономных агентов. В ходе тестирования он захватил управление торговым автоматом Vendy, чтобы изменять цены и отменять заказы. Он также скомпрометировал агентов, работающих через командную строку, — реальные цели, которые привлекают злоумышленников по мере того, как системы искусственного интеллекта получают возможность действовать самостоятельно.
«По сравнению с человеком, занимающимся проверкой на проникновение, эта модель умеет очень точно определять, что сработает», — сказал Дилан Ханн, научный сотрудник и соавтор GPT-Red, в интервью MIT Technology Review.
«Ставки возрастают по мере того, как модели становятся более автономными. Поверхность риска расширяется, и радиус поражения также увеличивается», - отметил другой соавтор GPT-Red, Нихил Кандпал.
Система GPT-Red не является продуктом и не будет выпущена OpenAI. Компания держит её отдельно от развернутых моделей, чтобы выявленные ею возможности для атак не могли стать достоянием общественности. Как сообщила OpenAI, в обучении использовались предшествующие версии, начиная с GPT-5.3.
Однако и у этого ИИ есть свои ограничения. Например, GPT-Red слаб в атаках на диалоги, разворачивающихся в течение нескольких обменов репликами, и имеет ограниченные возможности против внедрения подсказок на основе изображений, — пробелы, которые, по словам OpenAI, будут продолжать устранять тестировщики-люди.
