Nvidia представляет новый графический процессор Rubin CPX
Вывод ИИ включает два основных этапа. Сначала модель ИИ анализирует информацию, на основе которой она будет отвечать на запрос пользователя. После завершения анализа алгоритм генерирует ответ по одному токену за раз. Сегодня эти две задачи обычно выполняются с использованием одного и того же оборудования.
В своих будущих системах искусственного интеллекта Nvidia планирует использовать другой подход. Вместо того, чтобы выполнять оба этапа процесса вывода на одной и той же видеокарте, компания будет назначать каждый этап отдельному чипу. Nvidia называет этот подход «дезагрегированным выводом».
Новый чип Rubin CPX от Nvidia оптимизирован для начальной, так называемой, контекстной фазы двухэтапного процесса вывода. Компания будет использовать его в стоечной системе Vera Rubin NVL144 CPX (на фото). Каждое устройство будет состоять из 144 чипов Rubin CPX и 144 графических процессоров Rubin, оптимизированных для обеих фаз процесса вывода. Ускорители будут работать на базе 36 центральных процессоров.
Компания заявляет, что такая система будет обеспечивать вычислительную мощность в 8 экзафлопс. Один экзафлопс соответствует квинтиллиону вычислительных операций в секунду. Это более чем в семь раз превышает производительность доступных сегодня топовых устройств Nvidia GB300 NVL72.
Чип Rubin CPX построен на монолитном кристалле со 128 гигабайтами интегрированной памяти GDDR7. NVIDIA также включила компоненты, оптимизированные для работы «механизма внимания» больших языковых моделей. Механизм внимания позволяет модели ИИ определять и приоритизировать наиболее важные части обрабатываемого фрагмента текста. По данным Nvidia, Rubin CPX может выполнять эту задачу в три раза быстрее, чем чип последнего поколения.
«Мы утроили скорость обработки механизма внимания», — сказал Ян Бак, вице-президент Nvidia по гипермасштабируемым и высокопроизводительным вычислениям. «Скорость обработки видео также увеличится».
Rubin CPX включает аппаратную поддержку кодирования и декодирования видео. Этот процесс подразумевает сжатие клипа перед передачей по сети для экономии пропускной способности и последующее восстановление исходного файла. По данным Nvidia, Rubin CPX позволит моделям ИИ обрабатывать запросы с данными объёмом в один миллион токенов. Это соответствует десяткам тысяч строк кода или одному часу видео. Во многих случаях увеличение объёма данных, которые модель ИИ может учесть при генерации ответа на запрос, повышает качество её вывода.
Nvidia планирует начать поставки Rubin CPX в конце 2026 года.
