Новый бенчмарк тестирует скорость систем, которые обучают чат-ботов типа ChatGPT
Тест MLPerf основан на модели искусственного интеллекта GPT-3, используемой для обучения чат-бота ChatGPT, разработанного OpenAI. Однако, поскольку модель огромна, эталонный тест использует только репрезентативную часть.
«Это был наш самый дорогой бенчмарк на сегодняшний день», — сказал агентству Reuters исполнительный директор MLCommons Дэвид Кантер. «Мы потратили более 600’000 часов вычислительного времени ускорителя на его разработку, а также привлекли несколько фантастически талантливых инженеров».
Кантер отказался раскрыть стоимость разработки, сказав лишь, что она исчисляется миллионами долларов.
Только две фирмы-производители чипов представили результаты теста — Nvidia и Intel Habana Labs. При этом самое быстрое время показали системы, использующие новейший чип H100 от Nvidia - бесспорного лидера в области аппаратного обеспечения для обучения ИИ.
Самая большая система Nvidia, представленная в партнерстве с облачным стартапом CoreWeave, использовала 3584 чипа H100. В результате, время обучения составило 10,94 минуты.
Компания по производству чипов для искусственного интеллекта Habana Labs, принадлежащая Intel, провела тест чуть меньше чем за 312 минут с гораздо меньшей системой, оснащенной 384 чипами Gaudi2. Как правило, чем больше чипов и больше система, тем быстрее обучение.
Джордан Плаунер из Intel, старший директор по продуктам искусственного интеллекта, сказал: «Результаты продемонстрировали потенциал Gaudi 2, программное обеспечение которого будет обновлено в сентябре для повышения скорости. Результаты по Habana будут в 1,5-2 раза выше. И вот тогда мы увидим, что Habana Gaudi2 действительно конкурентоспособна и стоит дешевле, чем H100».
Плаунер отказался сообщить, сколько стоит чип Gaudi2, но сказал, что отрасли нужен второй поставщик чипов для обучения ИИ, и результаты MLPerf показывают, что Intel может удовлетворить эту потребность.
