«Е-Флопс» и «АМДтехнологи» создали суперкомпьютер для решения ИИ-задач
Суперкомпьютер ориентирован на ресурсоёмкие прикладные задачи бизнеса: обучение больших языковых моделей (LLM) в рамках MLOps-конвейера, запуск и сопровождение LLM- сервисов для внутреннего использования, а также предоставление пользователям системы доступа к LLM и инструментам вайбкодинга. Вычислительный комплекс обладает возможностью параллельного выполнения сложных вычислений с высокой производительностью.
Основные технические параметры вычислительного комплекса: 22 узла на базе графических ускорителей NVIDIA H100 80GB и x86 центральных процессоров обеспечивают пиковую мощность свыше 11 Пфлопс (FP64) для научных расчётов и более 700 Пфлопс (FP8/INT8) для задач ИИ. Суперкомпьютер включает более 4200 процессорных ядер, почти 34 ТБ оперативной памяти вычислительных узлов и около 14 ТБ памяти GPU, а также почти 3 млн ядер CUDA и свыше 92 тыс. тензорных ядер.
Вычислительный комплекс отличает гибридная кластерная архитектура. Была поставлена задача создать два физически изолированных сегмента: внутренний, размещённый внутри безопасного периметра без выхода в интернет, и внешний, доступный для сторонних пользователей. Оба сегмента используют одинаковые серверные платформы, что позволяет при необходимости физически переключать вычислительные узлы между сегментами для балансировки нагрузки.
Внутренний сегмент оптимизирован исключительно под ИИ‑задачи и активно применяет контейнеризацию (Kubernetes), тогда как внешний сегмент универсален – поддерживает как ИИ‑нагрузки, так и классические HPC-расчёты с двойной точностью. При этом внутренний сегмент реализован по гиперконвергентной модели, где каждый узел одновременно выполняет вычислительные функции и функции хранения данных. Внешний сегмент, напротив, содержит три выделенных сервера управления и две выделенные системы хранения данных.
Сетевая инфраструктура построена на трёх физически разделённых сетях. Для высокоскоростного обмена между узлами и подключения системы хранения данных (СХД) внешнего сегмента используется InfiniBand HDR с пропускной способностью 200 Гбит/с от каждого GPU, что даёт суммарно не менее 1600 Гбит/с на узел в одном направлении с неблокируемым доступом в топологии Fat Tree. Для связи с локальной сетью заказчика применяется 25‑гигабитный Ethernet, а для управления – 10‑гигабитный Ethernet. Дополнительно во внутреннем сегменте развёрнута сеть хранения данных на базе Fibre Channel 32 Гбит/с для подключения к объектному хранилищу.
Подсистема хранения данных организована следующим образом. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD‑накопителях общим сырым объёмом 61 ТБ, а «холодные» – на массивах HDD ёмкостью 2 ПБ. Во внутреннем сегменте используется распределённое гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов.
Программное обеспечение включает средства мониторинга и управления (в том числе NVIDIA DCGM для контроля GPU), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик задач Slurm. Управляющие серверы работают в виртуальной среде Proxmox.
Особое внимание уделено информационной безопасности – оба сегмента соответствуют строгим требованиям крупного бизнеса к защите данных, особенно внутренний, работающий в изолированном контуре. Все стойки размещены в сертифицированном ЦОДе с контролем доступа и разделением холодных и горячих коридоров. Суперкомпьютер уже введён в эксплуатацию в одном из российских банков из топ-10.
«Созданный суперкомпьютер – это не просто мощное оборудование, а интегрированное решение, учитывающее специфику ИИ-задач для финансовой сферы. Главный вызов проекта - эффективно совместить требования крупного бизнеса к высокой производительности, масштабируемости и информационной безопасности в одном решении. Мы готовы и далее наращивать вычислительные мощности вычислительного комплекса», - отметила генеральный директор «Е-Флопс» Елена Дорошенко.
