Nvidia выпустила Nemotron 3.5 Transcribe — открытую модель для многоязычной расшифровки аудио, перевода и ответов на вопросы, которая обрабатывает до 100 часов записей за один проход. Модель типа mixture-of-experts насчитывает 30 млрд параметров, из которых активны 4 млрд, поддерживает 40 языков и различает до восьми дикторов. Для бизнеса выпуск важен тем, что один настраиваемый контрольный файл заменяет цепочку из детекции речи, транскрибации и диаризации.
Расшифровка за один проход на 40 языках
Традиционные системы расшифровки сначала находят речь, переводят ее в текст, размечают дикторов и лишь затем отвечают на вопросы отдельными этапами. Transcribe объединяет эти операции и принимает запросы вида "Transcribe the recording and label each speaker", "Translate this audio into English" или "What decisions were made in this meeting?". Один и тот же файл модели выдает разные результаты в зависимости от запроса, включая совмещенные задачи расшифровки и анализа.
По данным Nvidia, частота ошибок в словах составляет 30,8% без специальной настройки и снижается до 20,8% при тщательно составленных запросах. После отраслевой донастройки на бенчмарке индийской медицинской речи Eka Care частота ошибок достигла 11,8%. Пользователи также могут заранее передать модели жаргон или ожидаемые реплики, что помогает точнее распознавать специализированные разговоры.
В основе модели лежит Granary v2 — открытый многоязычный речевой датасет, созданный с помощью NeMo Curator. Вторая версия охватывает 843579 часов на 48 языках и 19 исходных корпусов против примерно 643000 часов и 25 языков в прошлой версии. Каждая запись имеет три стиля транскрипта: полный дословный с междометиями, нормализованный с цифрами и символами, а также очищенный без слов-паразитов.
Что это меняет для работы с аудио в компаниях
Для компаний, работающих с совещаниями, звонками и полевыми записями, одна модель с управлением через запросы упрощает внедрение и поддержку. Небольшие команды получают перевод, разметку дикторов и резюме без сборки решений от нескольких поставщиков, а крупные организации могут стандартизировать один файл модели между отделами и менять результат запросами. Доступность демо в Hugging Face со скачиваемыми весами помогает донастраивать модель под юридическую, медицинскую лексику или клиентский сервис.
Второе практическое следствие — гибкость оборудования: от Jetson AGX Thor и DGX Spark на периферии и настольных системах до GPU Blackwell в центрах обработки данных. По заявлению Nvidia, GPU Blackwell Server Edition с точностью NVFP4 и сжатием модели до четверти обрабатывает 100 часов аудио менее чем за три минуты. Покупателям все же следует проверять скорость на своем оборудовании, языковом составе и качестве записей, поскольку сжатие и точность влияют на пропускную способность.
Маркером подтверждения тренда станет распространение донастройки на Granary v2 и публикация показателей ошибок на отраслевых датасетах помимо медицинского бенчмарка. Если поставщики и корпоративные команды выпустят адаптированные версии с заметно меньшей частотой ошибок для финансов, контакт-центров или многоязычных совещаний, подход с единой моделью докажет свою ценность для бизнеса.
