В Gemini от Google были обнаружены три существенных уязвимости
Уязвимости, получившие название «Gemini Trifecta», были обнаружены в Gemini Cloud Assist, Gemini Search Personalization Model и Gemini Browsing Tool.
Сообщается, что компания Google уже устранила эти уязвимости, но исследователи Tenable утверждают, что понимание этих уязвимостей критически важно для того, чтобы осознать, как даже проверенные инструменты могут быть использованы в качестве оружия, и почему защита систем на базе ИИ требует таких же строгих мер, как и защита традиционной корпоративной инфраструктуры.
Первая уязвимость, обнаруженная в Gemini Cloud Assist - инструменте Google для суммирования необработанных облачных журналов, позволяла злоумышленникам изменять информацию в журналах и вставлять в них вредоносные данные, например, подменённый заголовок User-Agent, который затем сохранялся в службу управления журналами Cloud Logging. Скрытые инструкции выполнялись позднее, когда пользователи просили Gemini объяснить или резюмировать журнал, фактически превращая рутинную задачу отладки в вектор атаки.
Полезная нагрузка могла инициировать несанкционированные действия, например, создание в сводках фишинговых ссылок или запросы к конфиденциальным облачным ресурсам. Особенно опасной эту проблему делала её незаметность: уязвимость часто скрывалась в таких областях, как «дополнительные сведения о подсказках», и, таким образом, даже опытные администраторы могли её не заметить.
Вторая уязвимость была нацелена на модель персонализации поиска Gemini, которая адаптирует ответы на основе истории поиска пользователя. С помощью этой уязвимости злоумышленники могли использовать вредоносные веб-сайты с JavaScript для скрытого внедрения специально созданных запросов в историю поиска Chrome-браузера жертвы. Позже, когда искусственный интеллект обрабатывал эту историю, он воспринимал внедренные запросы как легитимные и мог перенаправлять Gemini на ссылки, содержащие конфиденциальную информацию, такую как сохранённые личные данные или сведения о местоположении.
Третья и, пожалуй, самая тревожная уязвимость была обнаружена в Gemini Browsing Tool. Исследователи Tenable нашли способ обойти защитные механизмы Google, которые обычно предотвращают прямую утечку данных. Злоумышленники могли обмануть систему, заставив её отправлять исходящие запросы на контролируемые ими URL-адреса, создав подсказки, имитирующие внутренний язык браузера Gemini. Запросы могли содержать встроенные конфиденциальные данные, которые затем незаметно перехватыватывались сервером злоумышленника. Поскольку данные передавались с помощью фонового инструмента, а не с помощью видимых выходных данных, то пользователь не замечал ничего необычного.
Что делает уязвимости «Gemini Trifecta» особенно интересными, так это использование непрямого внедрения подсказок. В отличие от очевидных вредоносных входных данных, атаки используют доверенные потоки данных — журналы, историю поиска и контекст браузера, — о которых большинство пользователей и специалистов по безопасности даже не подозревают. В отчете дается несколько рекомендаций, которые должны извлечь специалисты по безопасности. Исследователи рекомендуют группам безопасности рассматривать интеграцию ИИ как активную угрозу и исходить из того, что контролируемый злоумышленниками контент может и будет достигать систем ИИ косвенным образом.
Специалистам по безопасности также следует внедрять многоуровневую защиту, включая очистку входных данных, проверку контекста и строгий мониторинг работы инструментов. Кроме того, рекомендуется регулярно тестировать платформы с поддержкой искусственного интеллекта на устойчивость к быстрому внедрению, аналогично тому, как команды безопасности проводят тестирование на проникновение в традиционные приложения.
