OpenAI тестирует тензорные процессоры Google
OpenAI продолжает масштабировать свои модели и сервисы, чтобы справляться с растущими финансовыми и вычислительными требованиями запуска больших языковых моделей (LLM). Тем более, что спрос и стоимость графических процессоров Nvidia находятся сейчас на пике.
«Ускоряющийся переход от обучения к логическим выводам или тонкой настройке рабочих нагрузок, где стоимость запроса доминирует над операционной экономикой, стимулирует массовое внедрение альтернативных чипов ИИ, отличных от графических процессоров Nvidia», — сказал Чарли Дай, вице-президент и главный аналитик Forrester.
Тесты OpenAI — это намек на то, что разработчикам больших языковых моделей следует все больше изучать специализированное оборудование, чтобы сдержать растущие затраты и повысить эффективность вывода по мере роста использования моделей.
По прогнозам аналитиков Barclays, капитальные затраты, связанные с чипами для вывода искусственного интеллекта, достигнут в 2026 году 120 миллиардов долларов, а к 2028 году превысят 1,1 триллиона долларов. Разработчики больших языковых моделей, такие как OpenAI, вынуждены использовать специальные чипы, в основном ASICS (интегральные схемы, разработанные для выполнения конкретных задач), вместо графических процессоров, чтобы снизить стоимость вывода и двигаться в сторону прибыльности.
Компания OpenAI тратит на логический вывод более 50% вычислительного бюджета, а тензорные процессоры, особенно старые модели, обеспечивают значительно более низкую стоимость вывода по сравнению с графическими процессорами Nvidia, что объясняет значимость TPU для OpenAI.
«Хотя старые TPU не обладают пиковой производительностью новых чипов Nvidia, их специализированная архитектура сводит к минимуму потери энергии и простаивающие ресурсы, что делает их более экономически эффективными при масштабировании», — сказал Дай.
В настоящее время на платформе Google Cloud доступны пять поколений TPU — v2, v3, v4, v5 и v6, также известных как Trillium. В рамках этих поколений v5 имеет два подварианта: v5p для производительности и v5e для эффективности. В апреле Google анонсировала Ironwood — свое следующее поколение TPU — которое, по словам аналитиков, предлагает даже лучшее соотношение цены и производительности, чем его предшественник — Trillium, а также чипы от Nvidia, AMD, AWS и Microsoft.
«Если OpenAI добавит TPU от Google, она диверсифицирует своих поставщиков, избежав таких узких мест, как нехватка графических процессоров, и получив рычаги влияния на переговорах о ценах», - добавил Дай.
