Microsoft представляет новый ускоритель искусственного интеллекта Maia 300
Новый чип оптимизирован для логического вывода — процесса генерации ответов на запросы искусственного интеллекта. По оценкам Microsoft, он может обрабатывать на 40% больше токенов на мегаватт, по сравнению с «ведущими системами на базе графических процессоров», что, вероятно, является отсылкой к продуктам корпорации Nvidia. Компания заявила, что со временем серия чипов Maia станет ее основным источником мощностей для логического вывода.
Чип Maia 300 оснащен четырьмя вычислительными чиплетами, изготовленными по новейшему двухнанометровому техпроцессу компании Taiwan Semiconductor Manufacturing Co. Чиплеты окружены восемью модулями памяти HBM4 общей емкостью 288 гигабайт — столько же, сколько у флагманского ускорителя Rubin от компании Nvidia. Однако пропускная способность памяти у Maia 300 примерно на 20% меньше, чем у Rubin. Пропускная способность памяти — это показатель того, насколько быстро данные могут передаваться в оперативную память и из нее.
ИИ-чипы обычно выполняют логические выводы, многократно перемещая данные между вычислительными схемами и памятью. Такое постоянное перемещение замедляет обработку. По данным Microsoft, Maia 300 имеет архитектуру потока данных, разработанную для минимизации перемещения данных. По возможности вычислительные чиплеты хранят информацию во внутреннем кэше SRAM, а не отправляют ее в стеки HBM. В ситуациях, когда без HBM не обойтись, вычислительные чиплеты Maia 300 отправляют данные в самый ближний стек памяти. Это быстрее, чем передача информации в стек HBM на другом конце чипа. Кроме того, Maia 300 сжимает данные в облегченные форматы, такие как MXFP4. Благодаря уменьшенному размеру этих форматов данные внутри чипа перемещаются быстрее.
«Более узкое представление снижает требования к памяти и перемещению данных, позволяя системе поддерживать более крупные модели, более длинные контексты и большее количество параллельных сеансов в рамках того же энергопотребления», — написали в блоге руководители Microsoft Рани Боркар и Саураб Диге.
Вычислительные и запоминающие модули Maia 300 поддерживаются так называемым чиплетом управления устройством. Он управляет подачей питания на основные компоненты процессора, собирает телеметрические данные и выполняет другие вспомогательные задачи. Есть также два других вспомогательных чиплета, которые управляют перемещением данных в ускоритель и из него. Microsoft планирует развертывать Maia 300 в лотках, каждый из которых будет содержать четыре ускорителя. Эти лотки, в свою очередь, будут размещены в стойках с жидкостным охлаждением, содержащих в общей сложности 96 ускорителей. Microsoft ожидает, что такие стойки обеспечат примерно в семь раз большую пропускную способность по сравнению с системой, оснащенной чипом Maia 200 предыдущего поколения. Компания представила последний ускоритель в январе и уже использует его в производстве.
Microsoft планирует объединить свои стойки Maia 300 в так называемые "суперподы", содержащие в общей сложности 12’288 ускорителей. Отдельные чипы будут соединены между собой с помощью пользовательского сетевого стека на основе Ethernet. Сеть сможет регулировать объем полосы пропускания, выделяемой для внутристоечного трафика, и объем, доступный для межстоечного обмена данными, что позволит адаптировать конфигурацию к каждой рабочей нагрузке. Результатом станет повышение производительности.
Обычно обмен данными между чипами происходит по-разному в зависимости от того, находятся ли они в одной стойке или в разных. В результате переключение между двумя сетевыми режимами требует использования центрального процессора хост-сервера или отдельного сетевого чипа. Новый чип Maia 300, напротив, использует «одну и ту же семантику связи» для обеих задач. Это устраняет необходимость в дополнительном оборудовании и, следовательно, повышает эффективность кластеров.
«Процессы могут использовать ресурсы, расположенные за пределами стоек, что позволяет сократить количество неиспользуемых ускорителей, когда размеры рабочих нагрузок не соответствуют физической конфигурации стоек», — пояснили Боркар и Диге.
Microsoft планирует начать внедрение Maia 300 в производство в следующем году. Компания ожидает, что её собственная разработка обеспечит вычислительные мощности для искусственного интеллекта объёмом в несколько гигабайт.
