Broadcom представляет сетевой чип Tomahawk 6 для крупномасштабных кластеров ИИ
Компания заявляет, что клиенты могут рассчитывать на пропускную способность до 102,4 терабит в секунду. Это почти вдвое превышает производительность второго по скорости коммутатора Ethernet на рынке. Благодаря такой высокой скорости, Tomahawk 6 больше всего подходит для обеспечения работы крупных кластеров искусственного интеллекта.
Процесс обучения большой языковой модели предполагает ее распределение на нескольких видеокартах. Каждая микросхема выполняет различное подмножество задач, участвующих в процессе обучения. В результате эти задачи могут выполняться параллельно, что значительно быстрее, чем выполнение их по отдельности.
Видеокарты, задействованные в проекте обучения большой языковой модели, должны координировать свою работу. Для этого они регулярно отправляют друг другу данные, занимая значительную часть полосы пропускания. Логический вывод также требует большой полосы пропускания, поскольку часто необходимо, чтобы видеокарты, на которых запущена языковая модель, извлекали данные по сети из удаленного оборудования для хранения данных.
По данным Broadcom, чип Tomahawk 6 оптимизирует скорость сети с помощью набора функций ИИ, получивших название Cognitive Routing 2.0. Технология определяет, когда сетевое соединение перегружено, и перенаправляет данные на другие соединения, что помогает избежать снижения производительности. Это одновременно и инструмент наблюдения, который может собирать данные о технических проблемах.
Операторы центров обработки данных часто соединяют серверы в своих кластерах искусственного интеллекта с помощью волоконно-оптических кабелей. Такие кабели значительно быстрее, чем медные провода, которые традиционно использовались для решения этой задачи. Для клиентов с оптическими сетями Broadcom предлагает версию Tomahawk 6, которая поставляется со встроенной оптикой.
Прежде чем данные с сервера искусственного интеллекта смогут быть отправлены по оптоволоконному кабелю, их необходимо преобразовать в свет. Эту задачу обычно выполняют устройства, называемые подключаемыми трансиверами, которые должны быть подключены к коммутаторам кластера ИИ. Технология Co-packaged optics (CPO) интегрирует функции трансивера непосредственно в процессор коммутатора. Это устраняет необходимость в автономных трансиверах, что позволяет избежать затрат на оборудование и снизить энергопотребление.
Tomahawk 6 также может использоваться в сетях на основе меди. Стандартные медные кабели могут работать на довольно ограниченном расстоянии, а это значит, что для обеспечения надежного подключения серверы искусственного интеллекта должны располагаться близко друг к другу. Это ограничение, в свою очередь, может усложнить инженерам разработку кластеров искусственного интеллекта. Tomahawk 6 поставляется с поддержкой пассивных медных кабелей большой протяженности, что может упростить процесс проектирования.
Компания Broadcom заявляет, что при использовании в масштабируемой конфигурации чип способен обеспечивать питание кластеров, содержащих до 512 процессоров. Эта конфигурация включает ограниченное количество сетевого оборудования. В двухуровневых масштабируемых сетях, включающих большее количество коммутаторов, Tomahawk 6 может объединять более 100 000 процессоров.
