Google представила TPU 8tx и TPU 8i Max для защищённых вычислений и ИИ-агентов
Первая система предназначена для вычислений с конфиденциальными данными, вторая — для выполнения задач ИИ-агентов с большими контекстами и высокой нагрузкой на память. Ранее компания анонсировала TPU 8t для обучения моделей и TPU 8i для выполнения их запросов. Для TPU 8tx Google изменила конфигурацию платформы на основе TPU 8t, добавив аппаратные механизмы защиты данных и новые соединения. В TPU 8i Max два кристалла TPU 8i размещены в одном корпусе.
«Сегодня мы представляем две новые системы TPU. Здесь важно понимать разницу между новой микросхемой и новой системой», — написал Амин Вахдат, старший вице-президент и главный технолог Google по ИИ и инфраструктуре, в официальном блоге компании.
По данным Google, платформы TPU уже используют почти сто заказчиков. Новые конфигурации рассчитаны на отдельные виды нагрузки: защищённую обработку информации, обучение и донастройку моделей, а также запросы автономных агентов, которым требуется хранить и быстро обрабатывать большие объёмы промежуточных данных. TPU 8tx ориентирована на финансовые организации, государственные учреждения и компании, работающие с внутренними документами и собственными ИИ-моделями. Система поддерживает конфиденциальные вычисления с аппаратной изоляцией данных и весов модели во время обработки. Это дополняет шифрование информации при хранении и передаче по сети. В TPU 8tx применяется тот же кристалл, что и в TPU 8t. Система взаимодействует с процессорами AMD EPYC пятого поколения и использует высокоскоростное соединение Boardfly.
По результатам измерений Google, задержка в TPU 8tx может быть вдвое ниже, чем у TPU 8t, при сопоставимой вычислительной производительности. Google указывает среди сценариев для TPU 8tx донастройку моделей на корпоративных документах, дистилляцию (передачу возможностей большой нейросети более компактной модели) и обучение агентов с подкреплением. Аппаратная защита предназначена для обработки таких данных в изолированной вычислительной среде.
TPU 8i Max объединяет два кристалла TPU 8i в одном корпусе. Согласно спецификациям Google, по сравнению с одной TPU 8i новая система удваивает вычислительные ресурсы, объём встроенной статической памяти SRAM и пропускную способность памяти HBM. Новая компоновка также позволяет разместить в серверной стойке вдвое больше вычислительных кристаллов. К целевым нагрузкам TPU 8i Max Google относит выполнение запросов моделей с большим контекстом, обработку документов, исходного кода и видеозаписей, а также работу нескольких ИИ-агентов. При таких операциях ускоритель многократно обращается к памяти, где хранятся параметры модели и данные текущих вычислений.
Одновременно компания расширила программную поддержку TPU. Открытая реализация платформы TorchTPU предназначена для запуска приложений на PyTorch и моделей Hugging Face на ускорителях Google. В экосистему включена поддержка инструментов выполнения моделей vLLM и SGLang. Google также представила XLA Serving Engine — систему, позволяющую разрабатывать модели на языке Python и обслуживать запросы через среду C++ на TPU, GPU и CPU.
«Мы стремимся быть открытой, нейтральной платформой для выбора моделей, фреймворков и оборудования. Разнообразие аппаратных решений необходимо, чтобы открытый искусственный интеллект был доступен всем», — отметил Джефф Будье, вице-президент по продуктам Hugging Face.
Для инструментов разработки ПО с помощью искусственного интеллекта, таких как Claude Code, Cursor и Google Antigravity, компания Google подготовила TPU-агентов в предварительном доступе. Они помогают настраивать среду разработки, выявлять участки кода с низкой производительностью и оптимизировать вычислительные ядра по текстовым инструкциям. Компания также описала TPU Sync — программный механизм переноса состояния моделей между памятью HBM, оперативной памятью серверов и хранилищами. В отдельных испытаниях Google Cloud сообщила о сокращении времени передачи KV-кеша более чем на 90% и среднего времени до получения первого токена на 90%. KV-кеш хранит промежуточные результаты обработки контекста, чтобы модель не выполняла одни и те же вычисления повторно.
Недавно Google анонсировала специализированный облачный вычислительный сервис Agent Compute Engine, который позволяет приостанавливать неактивные сеансы ИИ-агентов и освобождать вычислительные ресурсы на время ожидания внешних ответов. Компания также объявила об общей доступности распределённой среды выполнения Cloud Pathways и динамического разделения TPU-кластеров в Google Kubernetes Engine. По данным компании, динамическое разделение ускоряет запуск задач до пяти раз, а восстановление после сбоев — до 4,5 раза.
