Nvidia анонсирует новую вычислительную платформу HGX H200
Компания анонсировала новую платформу во время конференции Supercomputing 2023 в Денвере, штат Колорадо. Выяснилось, что H200 станет первым графическим процессором, оснащенным высокоскоростной памятью HB3e, предназначенной для ускорения работы искусственного интеллекта с большими языковыми моделями и высокопроизводительных вычислительных возможностей для научных и промышленных задач.
H200 - это следующее после H100 поколение графического процессора, построенного на архитектуре Hopper. Он включает в себя новую функцию под названием Transformer Engine, предназначенную для ускорения моделей обработки естественного языка. С добавлением новой памяти HB3e, H200 имеет более 141 гигабайта памяти со скоростью 4,8 терабит в секунду, что почти вдвое превышает емкость и в 2,4 раза пропускную способность графического процессора Nvidia A100.
«Для создания интеллектуальных систем с помощью генеративного искусственного интеллекта и высокопроизводительных приложений, необходимо эффективно обрабатывать огромные объемы данных на высокой скорости с использованием большой и быстрой памяти графического процессора», - сказал Ян Бак, вице-президент Nvidia по hyperscale и HPC.
По данным Nvidia, когда дело доходит до развертывания модели искусственного интеллекта и возможности логического вывода, H200 обеспечивает в 1,6 раза большую производительность модели GPT-3 с 175 миллиардами параметров по сравнению с H100 и в 1,9 раза большую производительность модели Llama 2 с 70 миллиардами параметров по сравнению с H100. Что касается высокопроизводительного компьютерного моделирования, то H200 удвоил свою производительность по сравнению с A100.
Хотя многие из этих улучшений H200 были связаны с аппаратным обеспечением, некоторые из них также являются результатом усовершенствований программного обеспечения Nvidia, включая недавний выпуск библиотек с открытым исходным кодом, таких как TensorRT-LLM. С помощью TensorRT-LLM разработчики могут оптимизировать логический вывод при обучении и развертывании ИИ. Для обеспечения высокой пропускной способности они могут использовать методы с низкой задержкой, которые позволяют ускорить работу приложений в 36 раз по сравнению с платформами, использующими только центральный процессор.
Процессор H200, встроенный в серверные платформы HGX H200, доступен в четырех- и восьмиканальных конфигурациях, которые совместимы как с аппаратным, так и с программным обеспечением систем HGX H100. По словам Nvidia, благодаря этим опциям H200 можно развернуть в любом типе центров обработки данных, включая локальные, облачные, гибридные и периферийные.
Ожидается, что системы на базе H200 станут доступны производителям серверов и поставщикам облачных услуг во втором квартале 2024 года.
