Microsoft представляет новые средства контроля для агентов искусственного интеллекта
Корпоративные агенты часто обладают чрезмерными привилегиями, и их число быстро растет.
Хайете Галло, исполнительный вице-президент Microsoft по безопасности, написала в блоге: «Моделям, разработанным на основе новых технологий, нельзя полностью доверять, поскольку они созданы для достижения результатов. Некоторые из них достигают цели способами, которые никто не предполагал, в том числе путем сговора с другими агентами».
Председатель совета директоров и генеральный директор Microsoft Сатья Наделла изложил свои соображения по поводу контроля в статье от 10 октября, в которой призвал компании относиться к моделям как к внутренним рискам, а меры предосторожности внедрять вне самой модели. По его словам, самой надежной системой будет «та, которая позволяет нам меньше всего доверять модели».
Контроль начинается с поиска агентов. Инструменты обнаружения компании Microsoft теперь могут выявлять 60 типов локальных агентов. В список входят Claude Code от Anthropic PBC и Codex от OpenAI Group PBC, а также GitHub Copilot от собственного подразделения Microsoft — GitHub. Компания также расширяет возможности специализированной платформы безопасности Microsoft Entra Agent ID, которая позволяет присваивать агентам, в том числе неизвестным, собственные идентификаторы.
После обнаружения каждый агент получает постоянно обновляемую оценку риска в рамках функции, которую Microsoft называет Dynamic Agent Risk. Оценка формируется на основе данных, полученных от инструментов Microsoft для идентификации, конечных точек, облачных и сетевых инструментов. Оценка риска повышается, если поведение агента отклоняется от того, что предполагал пользователь или организация.
Microsoft расширила возможности функции Microsoft Entra Conditional Access для ИИ-агентов, и в результате появилась функция Dynamic Conditional Access, которая определяет, что происходит при повышении оценки риска. Сначала агент может лишиться возможности что-либо изменять, но при этом сохранить доступ для чтения. Действия агента, оказывающие более серьезное влияние, могут быть заблокированы до получения подтверждения от человека, а при достижении максимального уровня оценки риска среда выполнения изолируется или полностью останавливается.
При использовании динамических разрешений доступ сам по себе становится временным. Агент получает необходимые для выполнения одной задачи ресурсы на время её выполнения, в рамках общекорпоративных ограничений, которые не позволяют ему получить большие полномочия, чем у человека, на которого он работает. Microsoft Execution Container — это одна из песочниц, в которой может работать агент. Поскольку мониторинг осуществляется вне контейнера, скомпрометированный агент не имеет возможности его отключить.
Проект Perception, который Microsoft представила в июле как систему агентной безопасности, получил собственные новые инструменты. Добавленные сценарии действий позволяют сотрудникам службы безопасности задавать желаемый результат, а новая команда так называемых Guardian-агентов (агентов-хранителей) выполняет требуемую работу. Изменение оценки риска агента запускает расследование, и Guardian-агенты могут рекомендовать меры по локализации или применить их самостоятельно. Пользователи сохраняют контроль над политиками и правилами утверждения.
«Будущие средства контроля должны объяснять, почему тот или иной агент действует определенным образом, а для этого необходимо видеть токены рассуждений модели. Прозрачность модели не заменит сдерживания», — добавила Галло.
Компания Microsoft не сообщила о сроках доступности и ценах на новые средства контроля, которые позиционируются как часть проекта Perception и пакета Microsoft 365 E7. Этот пакет включает Agent 365 и Microsoft 365 Copilot. Ежегодная конференция для разработчиков Microsoft Ignite откроется 17 ноября, и компания приглашает клиентов на мероприятие, чтобы рассказать обо все подробнее.
