AWS представляет облачные экземпляры на базе чипов Trainium2 и новое поколение чипов ИИ Trainium3
Компания AWS представила Trainium3 - первый чип, изготовленный с использованием трехнанометрового процесса. Он обеспечивает в два раза большую производительность и на 40% лучшую энергоэффективность, чем текущие чипы Trainium2.
Семейство кремниевых процессоров Trainium от AWS позволяет корпоративным предприятиям идти в ногу с быстро растущим размером моделей искусственного интеллекта и больших языковых моделей. По мере увеличения размера им требуется повышенная вычислительная мощность для работы с огромными наборами данных необходимыми для обучения и внедрения. Самые большие и самые продвинутые модели могут масштабироваться от сотен миллиардов до триллионов параметров.
Чтобы помочь с обучением и развертыванием этих растущих моделей, Amazon объявила о всеобщей доступности экземпляров Elastic Compute Cloud Trn2 с 16 чипами Trainium2, которые обеспечат при пиковой производительности 20,8 петафлопс вычислений. Компания заявила, что эти экземпляры Trn2 предлагают за ту же стоимость на 30% больше вычислений и на 25% больше памяти с высокой пропускной способностью, чем следующие по мощности экземпляры EC2.
В ходе тестирования модель с 405 миллиардами параметров показала более чем в три раза более высокую пропускную способность генерации токенов с использованием экземпляров Trn2 EC2 на Amazon Bedrock по сравнению с аналогичными предложениями от конкурирующих крупных облачных провайдеров. Генерация токенов выполняется при развертывании большой языковой модели и предоставлении текстовых ответов на вопросы - чем выше пропускная способность, тем быстрее она может давать ответы, обобщать документы и генерировать отклики.
Для языковых моделей еще большего масштаба Amazon выпускает второй уровень экземпляра Trianium2 под названием Trn2 UltraServers, который позволит клиентам выйти за пределы одного сервера Trn2.
Новые Trn2 UltraServers используют межсоединение NeuronLink для соединения четырех серверов Trn2 в один гигантский сервер. Это позволяет клиентам масштабировать рабочие нагрузки на всех четырех серверах, предоставляя 64 чипа Trainium2 одновременно для обучения или вывода моделей искусственного интеллекта. UltraServer может обеспечить до 83,2 пиковых петафлопс вычислений и обеспечить достаточную вычислительную мощность для обслуживания моделей с триллионом параметров.
Компания Amazon заявила, что по сравнению с прежними серверами Trn2 UltraServers, новые сервера UltraServers, построенные на процессоре Trainium3, обеспечат в четыре раза большую производительность для обучения и развертывания чрезвычайно больших моделей искусственного интеллекта. Ожидается, что первые экземпляры на базе Trainium3 будут доступны в 2025 году.
