NVIDIA расширяет семейство Nemotron высокопроизводительными моделями Super VL и Bolt
Компания заявила, что новые модели будут охватывать весь спектр развертываний агентов — от крупных корпоративных серверов до периферийных устройств и локального оборудования.
Nemotron 3.5 Super VL — это открытая модель со 120 миллиардами параметров, созданная в сотрудничестве с Nemotron Coalition - группой разработчиков моделей и лабораторий искусственного интеллекта, которые продвигают открытые модели передового уровня, предназначенные для решения высокоточных мультимодальных задач. Новая модель способна выполнять инструкции, использовать инструменты, выполнять многоэтапные бизнес-процессы и понимать визуальную информацию. По словам представителей Nvidia, по мощности она сравнима с крупнейшими моделями компании, но при этом в пять раз меньше. Благодаря такому размеру и новой архитектуре Super VL выдает результаты почти в пять раз быстрее, чем другие модели того же класса.
В отличие от закрытых моделей, новая модель Nemotron 3.5 Super VL предоставляется компанией Nvidia в открытом доступе. Это означает, что организации могут обучать модель на своих собственных данных и развёртывать в своей собственной инфраструктуре и, таким образом, размещать модель за брандмауэром внутри своей сети, сохраняя суверенитет, конфиденциальность и безопасность.
Для создания Super VL компания Nvidia обучила модель с использованием открытых данных и методов, задействовав на этапах предварительного и последующего обучения около 26 триллионов токенов. Также были использованы 3,8 миллиона примеров после обучения и обучение с подкреплением в 100 открытых средах для тонкой настройки модели. Nvidia также заявила, что публикует открытые наборы данных на платформе Hugging Face, которые охватывают такие темы, как использование агентных инструментов, финансы, следование инструкциям, контекст, безопасность, справедливость и понимание визуального и языкового восприятия.
Nemotron Bolt 74B-A9B 24GB — это уменьшенная модель, предназначенная для локального выполнения агентских задач и основанная на Super VL. Она использует гибридную модель «смешивания экспертов», которая активирует 9 (из 74) миллиардов параметров одновременно и использует двухбитное квантование, чтобы уместиться в 24 гигабайта памяти. Это позволяет модели комфортно работать на корпоративных рабочих станциях или графических процессорах компьютеров, поэтому пользователи могут делегировать ей повседневные проекты, включая написание и отладку кода, без отправки рабочих нагрузок в облако.
Позже в этом месяце Nvidia также выпустит еще более компактную модель под названием Nemotron Bolt E4B 4GB. Эта миниатюрная модель предназначена для периферийных вычислений на графических процессорах GeForce RTX, Jetson и RTX/GTX Spark. Модель позволит использовать физический искусственный интеллект и диалоговых агентов в таких устройствах, как носимые гаджеты, бытовая техника, кассовые терминалы, автомобильные панели управления, голосовые помощники и другие встроенные интерфейсы. Nvidia отметила, что эту модель можно использовать для создания интерактивных персонажей, диалоговых интерфейсов и интеллектуальных пользовательских интерфейсов с возможностью локализации и персонализации.
