Обновленная версия Машины искусственного интеллекта Скала^р позволяет повысить загрузку GPU-ускорителей до 85%
Машина искусственного интеллекта Скала^р МИИ — программно-аппаратный комплекс (ПАК), предназначенный для построения масштабируемой инфраструктуры разработки, обучения и исполнения моделей искусственного интеллекта с гарантированной производительностью. Это готовый технологический стек: полностью совместимое оборудование из реестра Минпромторга и программное обеспечение из реестра Минцифры. Ключевые системные компоненты — операционные системы и платформа контейнерной виртуализации — имеют сертификаты ФСТЭК России, что подтверждает защищенность решения. Такой состав упрощает и ускоряет аттестацию Машины в защищенных контурах, где она обязательна по требованиям регуляторов.
Набор дополнительных инструментов позволяет пользователям ускорить развертывание ИИ-моделей, а также обеспечить мониторинг, безопасность и мультитенантность. Платформа Скала^р Спектр ИИ отвечает за централизованное управление ИИ-инфраструктурой, мониторинг и оптимальное распределение ресурсов GPU при работе с моделями машинного обучения (ML) и большими языковыми моделями (LLM), а также за гибкое развертывание и эксплуатацию моделей, ИИ-приложений, агентских систем и рабочих сред для Data Science-специалистов.
На типовой инсталляции компаниям редко удается добиться утилизации GPU-ускорителей выше 30–40%, поскольку вычислительные ресурсы используются разными подразделениями с разной степенью интенсивности. В результате больше половины уже оплаченных мощностей простаивает, а при росте числа задач приходится закупать новое оборудование. Спектр ИИ работает с GPU-узлами в рамках единого управляемого кластера и позволяет планировать и перераспределять нагрузку между командами. Встроенный планировщик управляет очередями и приоритетами задач, а разделение GPU на части обеспечивает мультитенантность. Утилизация ускорителей вырастает до 70–85% без потери производительности, а расширение парка GPU при масштабировании можно отложить.
Основные функции платформы Спектр ИИ:
- управление рабочими узлами с возможностью предварительной конфигурации;
- управление приоритетами выполнения ИИ-задач в кластере в соответствии с заданной конфигурацией очередей;
- создание контейнеров с аппаратным ускорением GPU для быстрого развертывания готовых решений и приложений, моделей, настроенных рабочих сред для задач ИИ;
- запуск и оркестрация контейнеров с ИИ-нагрузками на основе ролевой модели;
- распределение нагрузок как на целых GPU, так и на их частях;
- полный цикл управления сервисами: запуск, остановка, очистка ресурсов;
- управление корпоративным каталогом моделей и приложений, загружаемых как с внешних ресурсов (Hugging Face), так и из внутренних репозиториев;
- сбор и визуализация показателей нагрузки системы для выбранного узла;
- отображение данных о количестве токенов, потребляемых и генерируемых языковыми моделями;
- разграничение прав доступа к запускаемым языковым моделям;
- быстрая проверка развернутой модели в диалоговом режиме.
Платформа Скала^р Спектр ИИ разворачивается на кластере под управлением Deckhouse Kubernetes Platform и работает на операционных системах «РЕД ОС» и Astra Linux. Управление ресурсами и очередями ведется из одного интерфейса по единой ролевой модели, с возможностью «бронирования» мощностей под критичные задачи. Решение поддерживает масштабирование до 32 узлов по 8 GPU в каждом.
«Сегодня бизнес может по-разному использовать инфраструктуру ИИ: например, развернуть на ней локальную языковую модель, которая обрабатывает внутренние документы и предоставляет ответы на запросы сотрудников, или организовать одновременную работу нескольких команд ИИ-разработки на одном GPU-кластере. В любом случае компании необходима высокая производительность и надежность. Спектр ИИ предоставляет возможность создания каталога моделей компании, управляет инференсом, ограничивает доступ в соответствии с политиками безопасности, подсчитывает токены по пользователям и позволяет контролировать загрузку ресурсов GPU. Это решение, которое превращает дорогостоящие GPU-ускорители в гибко управляемый и прозрачно контролируемый ресурс, приносящий реальную эффективность», — комментирует Вадим Солдатов, директор по ИИ-продуктам Скала^р (Группа Rubytech).
