Google Cloud предоставляет свои чипы искусственного интеллекта Trillium в общий доступ
Запуск тензорного процессора (TPU) в общий доступ состоялся через семь месяцев после того, как поисковый гигант впервые представил его широкой публике. Новый процессор обеспечивает в три раза большую пропускную способность вывода, чем чип предыдущего поколения Google, а при использовании для обучения искусственного интеллекта он может обеспечить производительность в два с половиной раза выше. Также Trillium обеспечивает увеличение скорости, используя при этом на 67% меньше энергии, то есть рабочие нагрузки ИИ могут выполняться в облаке компании более экономично.
Trillium частично состоит из вычислительных модулей, называемых TensorCores. Каждый такой модуль включает в себя, среди прочего, схемы, оптимизированные для выполнения матричного умножения - математических операций, на которые в значительной степени полагаются модели искусственного интеллекта при обработке данных. Одна из причин, по которой Trillium работает быстрее своего предшественника, заключается в том, что Google увеличил размер блоков умножения матриц и повысил тактовую частоту.
Инженеры компании также усовершенствовали еще один строительный блок чипа Trillium под названием SparseCore. Это набор схем, оптимизированных для обработки вложений, математических структур, в которых модели ИИ хранят свои данные. Новый SparseCore особенно хорош в обработке больших вложений, содержащих значительный объем информации. Такие сверхбольшие файлы широко используются моделями ИИ, которые лежат в основе поисковых систем.
Логические схемы Trillium поддерживаются пулом высокопропускной памяти HBM (high bandwidth memory), который теперь вдвое больше, чем в чипе предыдущего поколения Google. Кроме того, он в два раза быстрее. HBM - это тип дорогостоящей высокоскоростной оперативной памяти, которая используется в видеокартах, поскольку позволяет моделям искусственного интеллекта быстро получать доступ к необходимым им данным.
Google также улучшила межсоединение, через которое чипы Trillium обмениваются данными друг с другом. Компания удвоила пропускную способность этого компонента. Благодаря этому, чипы могут делиться друг с другом данными моделей искусственного интеллекта в два раза быстрее, ускоряя, таким образом, вычисления.
В центрах обработки данных Google процессоры Trillium развернуты как часть серверных кластеров, называемых «pods», каждый из которых содержит 256 чипов ИИ. Аппаратные ресурсы кластеров «pods» предоставляются рабочим нагрузкам ИИ в виде так называемых слайсов. Каждый слайс соответствует подмножеству чипов ИИ в кластере.
Эксплуатация больших кластеров ИИ является сложной задачей так как они могут испытывать проблемы с масштабируемостью. Когда инженеры добавляют больше процессоров в кластер, то из-за технических ограничений только часть вычислительной мощности дополнительных процессоров может быть использована приложениями. Более того, убывающая отдача иногда становится более выраженной по мере увеличения размера кластера.
Google утверждает, что конструкция ее модулей на базе Trillium устраняет эти ограничения. За один внутренний запуск набор из 12 модулей достиг 99% эффективности масштабирования при обучении модели искусственного интеллекта со 175 миллиардами параметров.
«Обучение больших моделей, таких как Gemini 2.0, требует огромных объемов данных и вычислений», — написал Марк Ломейер, вице-президент и генеральный менеджер Google Cloud по вычислительной и ИИ- инфраструктуре. «Почти линейные возможности масштабирования Trillium позволяют обучать эти модели значительно быстрее, эффективно и результативно распределяя рабочую нагрузку по множеству хостов Trillium».
