Intel выпускает новый чип искусственного интеллекта Gaudi 3
По сравнению со своим предшественником, новый чип Gaudi 3 обещает обеспечить в четыре раза более высокую производительность при обработке данных с плавающей запятой в формате BF16, который широко используется в приложениях ИИ. Он также имеет большую пропускную способность сети, благодаря чему чипы Gaudi 3, развернутые в одном кластере искусственного интеллекта, могут быстрее обмениваться данными друг с другом.
Чип выполняет вычисления, используя два набора встроенных ядер. Первый тип ядер, TPC, оптимизирован для ускорения нескольких типов вычислений, которые обычно выполняются при обработке данных моделями глубокого обучения. Эти вычисления включают в себя «пакетную нормализацию» — операцию, которая ускоряет модели глубокого обучения за счет преобразования получаемых ими необработанных входных данных в хорошо организованную форму.
Второй тип ядер – это, так называемые, ядра MME. Эти ядра также предназначены для ускорения вычислений ИИ, но ориентированы на другой набор вычислений, чем ядра TPC. Одной из задач, которую могут ускорить MME, является процесс запуска «сверточных слоев», которые являются строительными блоками программного обеспечения, обычно встречающимися в моделях распознавания изображений.
Gaudi 3 имеет 64 ядра TPC и 8 ядер MME, распределенных по двум кристаллам или полупроводниковым модулям. Эти модули связаны друг с другом таким образом, что позволяют им функционировать как один чип. Они поддерживаются 128 гигабайтами встроенной памяти HBM2e — типа высокоскоростной оперативной памяти, которая позволяет моделям искусственного интеллекта быстро получать доступ к необходимым данным.
При производстве чипа Gaudi предыдущего поколения, Intel использовала семинанометровый техпроцесс компании Taiwan Semiconductor Manufacturing Co (TSMC). Для производства Gaudi 3 компания перешла на новый пятинанометровый узел. Последняя технология позволяет производить более быстрые и энергоэффективные транзисторы.
Intel утверждает, что на одном сервере можно установить 8 чипов Gaudi 3. По данным компании, каждый чип включает в себя 21 сетевой канал Ethernet, которые он использует для обмена данными с соседними устройствами Gaudi 3. На каждом процессоре есть еще три сетевых канала, всего 24, которые позволяют ему взаимодействовать с чипами за пределами хост-сервера.
По заявлениям Intel, Gaudi 3 может превзойти не только процессор предыдущего поколения, но и видеокарту H100 от Nvidia. В ходе внутренней оценки компания определила, что Gaudi 3 может обучать некоторые версии популярной большой языковой модели Llama 2 до 50% быстрее. Он также обеспечивает до 30% более быстрый вывод, чем улучшенная версия чипа Nvidia H200, специально оптимизированная для больших языковых моделей.
«Предприятия взвешивают такие факторы, как доступность, масштабируемость, производительность, стоимость и энергоэффективность», — сказал Джастин Хотард, исполнительный вице-президент и генеральный менеджер подразделения центров обработки данных и искусственного интеллекта Intel. «Intel Gaudi 3 выделяется как альтернатива генеративному ИИ, представляя собой привлекательное сочетание цены и качества, масштабируемости системы и преимущества по времени окупаемости».
