Nvidia представила платформу безопасности для ограничения действий агентов ИИ
Компания Nvidia объявила о выпуске бесплатной платформы с открытым исходным кодом под названием Nvidia Open Agent Safety Platform. В ней объединены различные инструменты, которые организации могут использовать для повышения безопасности своих агентов искусственного интеллекта, усиления контроля над ними и улучшения управления. Платформа создана на основе программного обеспечения Nvidia с открытым исходным кодом OpenShell и включает в себя специализированную аппаратную систему безопасности Nvidia Sentry, что позволяет осуществлять полный контроль не только над агентами ИИ, но и над аппаратными и вычислительными ресурсами, на которых они работают.
Компания Nvidia пытается развеять опасения, возникшие после многочисленных громких инцидентов, связанных с вышедшими из-под контроля агентами искусственного интеллекта. Буквально на прошлой неделе один из исследователей обнаружил, что целый рой агентов, в том числе созданных компанией OpenAI, взломал различные системы, контролируемые правительством Австралии. Агенты OpenAI также были ответственны за еще один печально известный инцидент, произошедший в период с мая по июнь. Сообщается, что ИИ-агенты совместными усилиями вышли из изолированной среды «песочницы» и взломали платформу для размещения моделей Hugging Face Inc. «Песочница» - это изолированная цифровая среда, где можно запускать любые программы или ИИ-агентов без риска навредить основной системе. Если программа внутри «песочницы» окажется вирусом или начнет совершать ошибки, эти последствия останутся только внутри нее. Хотя ни один из инцидентов не причинил серьезного ущерба, потенциальная возможность того, что агенты искусственного интеллекта могут нанести вред третьим лицам, вызывает у многих людей серьезную обеспокоенность.
По мнению Nvidia, эти инциденты показывают, что агентам ИИ слишком легко обходить традиционные барьеры на уровне приложений. По мнению компании, необходим совершенно новый набор средств контроля, охватывающий весь стек агентов. Вместо того чтобы полагаться исключительно на программные подсказки или ограничения приложений, платформа Nvidia Open Agent Safety Platform обеспечивает соблюдение правил на трех отдельных уровнях: на уровне самих агентов, на уровне вычислительных ресурсов и на уровне аппаратного обеспечения.
Платформа построена на базе программного обеспечения Nvidia OpenShell, которое представляет собой защищенную среду выполнения с открытым исходным кодом, предназначенную для запуска множества автономных агентов в изолированных «песочницах» с контролем на уровне инфраструктуры. По словам представителей компании, OpenShell выступает в роли границы, которая позволяет пользователям отслеживать все действия своих агентов и применять политики безопасности вне зависимости от ограничений, накладываемых на базовую языковую модель. Программное обеспечение оптимизировано для работы на центральных процессорах Nvidia Vera, но также совместимо с процессорами Intel и Arm.
Другим важным компонентом платформы Nvidia Open Agent Safety Platform является Nvidia Sentry - эталонная система, основанная на программном обеспечении DOCA от Nvidia. DOCA (сокр. Data Center Infrastructure-on-a-Chip Architecture), что расшифровывается как «Архитектура Инфраструктуры Дата-центра на Чипе», представляет собой унифицированную программную платформу для написания приложений, которые могут запускаться на DPU BlueField - специализированных процессорах обработки данных от Nvidia. Это аналогично тому, как CUDA (Compute Unified Device Architecture) используется для создания приложений, оптимизированных для графических процессоров Nvidia. Работающая на платформе BlueField-4, система Nvidia Sentry предназначена для выполнения функций охранника, непрерывно отслеживающего действия агентов искусственного интеллекта в фоновом режиме. Благодаря работе непосредственно на чипе, она способна изучать поведение агентов, проверять их идентификационные данные и действия, а также мгновенно отключать их, если они пытаются выйти за пределы отведенных им границ.
«Безопасность ИИ стала важнейшей проблемой, которую отрасль должна решить, если хочет, чтобы технология полностью раскрыла свой потенциал. Как безопасность, так и защищенность требуют комплексного подхода к проектированию», — сказал основатель и генеральный директор Nvidia Дженсен Хуанг. «Платформа Nvidia Open Agent Safety Platform объединяет представителей отрасли, исследователей и организации государственного сектора для обмена передовым опытом, согласования методов оценки и содействия международному сотрудничеству. Вместе мы можем поднять планку глобальной безопасности ИИ».
Огромное влияние Nvidia в индустрии искусственного интеллекта означает, что платформа уже имеет солидный опыт работы с крупнейшими мировыми предприятиями. Одним из её главных сторонников является компания SpaceXAI Corp., которая использует платформу для защиты ИИ-агентов кодирования Cursor и для большой языковой модели Grok.
«Поскольку клиенты всё больше полагаются на агентов для выполнения реальной работы, безопасность должна обеспечиваться вне модели с помощью дополнительных средств контроля, которые агент не сможет обойти», — сказал президент SpaceXAI Майк Николлс. «Клиенты должны иметь возможность устанавливать эти ограничения для Cursor и Grok и быть уверенными, что они будут соблюдены».
Компания Salesforce также интегрировала OpenShell со своей платформой для совместной работы Slack, чтобы предоставить пользователям возможность напрямую контролировать действия ИИ-агентов, а также отслеживать их видимость. Компания SAP SE использует это программное обеспечение вместе с платформой SAP Business AI для обеспечения безопасности автономных агентов в режиме реального времени. Как сообщила Nvidia, компании, занимающиеся робототехникой, также массово внедряют платформу Nvidia Open Agent Safety Platform. Например, компании Figure AI, Gecko Robotics и Skild AI используют OpenShell для внедрения средств контроля безопасности в системы, обеспечивающие работу автономных роботов в реальном мире.
Пока сложно сказать, насколько надежной окажется платформа Nvidia Open Agent Safety Platform в больших масштабах, учитывая пугающую изобретательность некоторых ИИ-агентов, но это, по крайней мере, свидетельствует о том, что некоторые крупнейшие игроки отрасли наконец-то всерьез занялись вопросами безопасности искусственного интеллекта. Платформа Nvidia Open Agent Safety Platform с открытым исходным кодом доступна для скачивания на ресурсах для разработчиков Nvidia и на платформе GitHub.
