NVIDIA представила Nemotron 3.5 Transcribe — ИИ для распознавания речи на 40 языках
Главная особенность модели Nemotron 3.5 Transcribe — возможность управлять расшифровкой с помощью обычных текстовых инструкций. Традиционные системы распознавания речи обычно выдают текст в заранее установленном формате. Новинка позволяет выбрать, нужна ли дословная запись со всеми паузами, повторами и словами-паразитами или отредактированный вариант с правильной пунктуацией. Модель может учитывать профессиональные термины, названия компаний, имена и особенности записи чисел.
«Не существует единственно правильной расшифровки аудиозаписи: всё зависит от того, кто и для чего будет её читать», — отмечают разработчики NVIDIA в техническом описании модели.
Такой подход особенно полезен для деловых переговоров, интервью, совещаний и медицинских записей, где требования к точности и оформлению могут существенно различаться.
Ещё одна важная функция Nemotron 3.5 Transcribe — распознавание отдельных участников беседы, даже в случаях, когда они перебивают друг друга. По данным компании, система способна различать до восьми говорящих собеседников, связывать реплики с условными обозначениями участников и по запросу указывать временные отметки отдельных слов. Это упрощает создание протоколов совещаний и работу с архивами разговоров. При этом модель разделяет голоса внутри записи, а не устанавливает личности людей.
Nemotron 3.5 Transcribe также поддерживает перевод речи между английским и 31 другим языком. Разработчики могут попросить систему не только распознать сказанное, но и ответить на вопрос о содержании записи. В официальном блоге NVIDIA приводятся примеры инструкций: «Расшифруй запись и обозначь каждого говорящего», «Переведи аудио на английский» или «Перечисли решения, принятые на встрече». Таким образом, одна модель объединяет функции, для которых прежде нередко требовались отдельные инструменты.
В основе разработки лежит архитектура Mixture of Experts («смесь экспертов»), объединяющая речевой кодировщик, средства разделения говорящих и языковую модель семейства Nemotron. Всего система насчитывает около 34 млрд параметров, однако при обработке задействует приблизительно 4,3 млрд. Это позволяет снизить вычислительные затраты по сравнению с моделями, использующими все параметры одновременно, хотя для развёртывания по-прежнему требуется достаточно мощное оборудование. Компания NVIDIA заявляет, что модель Nemotron 3.5 Transcribe заняла первое место среди моделей с открытыми весами в английском и многоязычном рейтингах Open ASR Leaderboard. Средняя доля ошибок распознавания слов в соответствующих испытаниях составила 4,71% и 4,62%. Компания также сообщает о шестикратном сокращении числа ошибок в именах и специальных названиях при предоставлении модели соответствующего контекста.
Одновременно NVIDIA представила Granary-v2 — набор речевых данных и инструментов для обучения мультиязычных моделей. Он охватывает 48 языков и содержит разные варианты расшифровки одних и тех же записей, что позволяет обучать ИИ учитывать стиль, контекст и задачу. Разработчикам также доступны средства фреймворка Nvidia NeMo Speech для дополнительной настройки системы под отраслевую терминологию.
Новая модель опубликована с открытыми весами на платформе Hugging Face и допускает коммерческое применение в соответствии с лицензией OpenMDW-1.1. Компания NVIDIA планирует расширять возможности локального запуска на системах RTX Spark, DGX Spark и робототехнической платформе Jetson AGX Thor, а также на ускорителях Blackwell для дата-центров. Есть и важное ограничение: модель Nemotron 3.5 Transcribe предназначена для обработки уже записанного аудио, а не для непрерывной расшифровки живого разговора в реальном времени. Поэтому для голосовых помощников, которым необходимо отвечать без задержки, могут потребоваться другие решения. Для бизнеса модель Nemotron 3.5 Transcribe открывает возможности автоматического документирования встреч, анализа обращений клиентов, подготовки субтитров и обработки технических записей. А открытые веса позволяют компаниям выбирать между облачной инфраструктурой и локальным запуском, сохраняя больший контроль над конфиденциальными аудиоданными.
