Серьёзная ошибка Nvidia может привести к сбою мониторинга графических процессоров на серверах
NVIDIA DCGM Exporter — это официальный инструмент с открытым исходным кодом от компании NVIDIA, предназначенный для сбора телеметрии и метрик производительности графических процессоров (GPU) в дата-центрах и кластерах. Сервис считывает такие данные о графических процессорах, как информация об оборудовании, загрузке, использовании памяти, энергопотреблении и событиях ошибок. Каждый графический процессор имеет свой уникальный идентификатор (UUID), и все эти метрики передаются в открытом виде по протоколу HTTP. Эта уязвимость предоставляет потенциальным злоумышленникам подробную информацию, включая составление карты инфраструктуры графических процессоров, выявление потенциально уязвимых систем и мониторинг активности рабочей нагрузки.
Майкл Качинский, исследователь из стартапа Lava, занимающегося безопасностью центров обработки данных, обнаружил и сообщил об ошибке в сервисе мониторинга состояния и производительности графических процессоров. В сентябре компания Nvidia выпустила исправление для этой уязвимости, отслеживаемой как CVE-2026-4748 3, и присвоила ей высокий уровень серьёзности, а именно 8.2 по шкале CVSS. Common Vulnerability Scoring System (CVSS) — это открытый международный стандарт для оценки степени серьёзности уязвимостей в программном и аппаратном обеспечении. Он преобразует характеристики уязвимости в числовой балл от 0 до 10 (где 10 — максимальная опасность)
«Как только мы поняли, насколько много информации раскрывают эти конечные точки, возник следующий вопрос: сколько из них находятся в открытом доступе в интернете?» — написал в четверг в своём блоге Качинский. «Поэтому мы начали сканировать интернет в поисках пострадавших сервисов DCGM Exporter. И масштабы ущерба оказались весьма значительными».
В ходе четырёх сканирований, проведённых в период с марта по май, специалисты по поиску угроз обнаружили около 2'100 серверов с графическими процессорами, предоставляющих метрики DCGM Exporter в открытый доступ в интернете. Среди них было 12’000 уникальных идентификаторов (UUID) графических процессоров. Ни один из этих серверов не требовал аутентификации. По словам Качинского, хосты принадлежали примерно 300 организациям, и почти половина из обнаруженных графических процессоров — 5'274, или 44 процента от общего числа — находились в США.
Стоимость этих графических процессоров составляла около 100 миллионов долларов. Среди них были графические процессоры Nvidia Blackwell Ultra B300, H200 и H100, которые используются для крупномасштабных задач искусственного интеллекта, а также потребительские системы RTX 5090 и 4090. Компания Nvidia устранила проблему в версии 4.8.2, и операторам следует обновиться до этой версии или более поздней.
Помимо телеметрии графических процессоров, команда Lava изучила созданного на языке Go агента сбора метрик Prometheus Node Exporter, который отслеживает аппаратное и программное обеспечение Unix-подобных систем, а также предоставляет метрики по протоколу HTTP. Команда обнаружила 12’096 общедоступных хостов Node Exporter, предоставляющих данные о моделях серверов, операционных системах, версиях встроенного ПО, именах хостов, путях к хранилищам и сетевом оборудовании, обычно используемом в кластерах графических процессоров. Эта информация раскрывает принципы создания и настройки сред, что также может быть использовано злоумышленниками для разведки и сопоставления системы с известными уязвимостями.
Открытые для общего доступа сервисы мониторинга затронули инфраструктуру клиентов таких провайдеров неооблачных и GPU-облачных сервисов, как Nebius, Voltage Park, Lambda, Northern Data и DigitalOcean. Исследователи Lava сообщили об этом вышеуказанным компаниям, и, по словам Качинского, эти провайдеры совместно с клиентами устранили уязвимости.
Специалисты по безопасности заявляют, что сервисы Nvidia DCGM Exporter, Node Exporter и Prometheus не должны быть напрямую доступны из интернета, и рекомендуют ограничить их использование авторизованной инфраструктурой мониторинга.
«Результаты исследования подчеркивают растущий пробел в безопасности инфраструктуры искусственного интеллекта: компании тратят на графические процессоры миллионы долларов, оставляя критически важные системы уязвимыми», — написал Качинский. «Эти уязвимости могут раскрыть, как устроены среды ИИ, и в некоторых случаях позволить злоумышленникам нарушить их работу».
