Исследование Harmonic Security показало, что почти каждая десятая подсказка ИИ в бизнесе раскрывает конфиденциальные данные
Эти результаты были получены в четвертом квартале 2024 года в ходе исследования взаимодействий бизнес-пользователей с инструментами генеративного ИИ, включая Microsoft Copilot, ChatGPT от OpenAI, Google Gemini, Claude и Perplexity.
Исследование показало, что в подавляющем большинстве случаев поведение сотрудников при использовании инструментов генеративного ИИ является простым. Было установлено, что пользователи часто обращаются к инструментам генеративного ИИ с просьбой обобщить текст, отредактировать записи в блоге или написать документацию для кода. Однако было обнаружено, что 8,5% подсказок ИИ вызывают беспокойство, поскольку они подвергают риску конфиденциальную информацию.
Из числа подсказок, вызвавших опасения, 45,8% потенциально раскрывали данные клиентов, такие как платежная информация и данные аутентификации. Еще 26,8% содержали информацию о сотрудниках, включая данные о заработной плате, персональные данные и записи о трудоустройстве. Были даже обнаружены некоторые подсказки, позволяющие попросить генеративный ИИ провести проверку эффективности работы сотрудников.
Юридические и финансовые данные составили 14,9% конфиденциальных подсказок, включая информацию о воронке продаж, инвестиционных портфелях и деятельности по слияниям и поглощениям. Информация, связанная с безопасностью, составила 6,9% подсказок, включая результаты тестов сети на проникновение, конфигурации сети и отчеты об инцидентах. Наличие всех этих данных позволило бы злоумышленникам создать план использования уязвимостей сети организации. Оставшиеся 5,6% потенциально раскрытых подсказок составил конфиденциальный код, такой как ключи доступа и закрытый исходный код программ.
Исследование также подчеркивает обеспокоенность по поводу количества сотрудников, которые используют бесплатные уровни генеративных служб искусственного интеллекта. Обычно такие службы не имеют функций безопасности, которые по умолчанию поставляются с корпоративными версиями. Проблема с бесплатными службами заключается в том, что многие из них обучаются на данных клиентов, то есть введенная конфиденциальная информация может быть использована для улучшения моделей.
«Большая часть использования генеративного ИИ является обыденной, но 8,5% проанализированных нами запросов потенциально подвергают риску конфиденциальную личную и корпоративную информацию», — сказал Аластер Патерсон, соучредитель и генеральный директор Harmonic Security. «В большинстве случаев организации смогли справиться с этой утечкой данных, заблокировав запрос или предупредив пользователя о том, что он собирался сделать. Но пока не у всех компаний есть такая возможность. Большое количество бесплатных подписок также вызывает беспокойство; поговорка «если продукт бесплатный, то вы и есть продукт» применима и здесь, и, несмотря на все усилия компаний, стоящих за инструментами генеративного ИИ, существует риск раскрытия данных».
Для отслеживания и управления вводом данных в инструменты ИИ и связанные с ними SaaS-платформы Harmonic Security рекомендует организациям внедрять системы мониторинга реального времени. Также компании должны обеспечить, чтобы сотрудники использовали платные версии служб ИИ или опции, которые не обучаются на входных данных,