NVIDIA и лаборатория AI4Bharat из IIT Madras представили Nemotron-pretraining-Indic-v1 — синтетический корпус для предобучения объемом около 2,8 трлн токенов на 22 языках Индии, а также открытый конвейер генерации данных с ускорением на GPU. Корпус содержит 2601,0 млрд токенов в национальных письменностях и 224,6 млрд романизированных токенов по подсчету токенизатором Gemma-4. Для компаний, создающих продукты для Индии, это важно, поскольку нехватка данных сдерживала развитие технологий на индийских языках по сравнению с английским.
Устройство корпуса и конвейера генерации
22 языка — это языки, перечисленные в Конституции Индии, которые названы родными для 97% жителей страны, почти 1,2 млрд граждан по переписи 2011 года. В 34 языковых и письменных конфигурациях все 22 языка получили данные в национальной письменности, а двенадцать — также романизированный текст латиницей. К двенадцати языкам с двумя письменностями относятся бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, непальский, одия, панджаби, тамильский, телугу и урду, остальные десять представлены только в национальной письменности.
Генерация начинается с документов из 15 подмножеств Nemotron-CC-v2, включающих веб-тексты, материалы в формате вопросов и ответов, математику, код и специализированный контент. NeMo Data Designer выполняет перевод, проверку качества и точечное исправление, сохраняя идентификаторы источников, поэтому каждый результат можно отследить до исходного документа. Каждая запись восходит к отобранному исходному документу и сверяется с входным текстом, а запросы, рабочие процессы LLM и проверки качества опубликованы для адаптации под другие исходные материалы.
Для двенадцати языков с двумя письменностями полные документы переводятся моделью Gemma-4-31B-it от Google, выбранной по итогам сравнения моделей на целых документах. Запросы отделяют прозу для перевода от содержимого, которое нужно сохранить, включая код, формулы, URL и форматирование. Та же модель оценивает каждый результат относительно английского оригинала по смыслу, беглости, терминологии, стилю и форматированию, сохраняя только оценки от 75 из 100 баллов и отправляя остальные на исправление с повторной проверкой; этот цикл вернул в корпус 438,4 млрд токенов.
Что это меняет для бизнеса, использующего ИИ
Принятые переводы в национальной письменности служат основой для романизированных данных через этап преобразования письменности, который при сравнении людьми дал меньше выдуманных добавлений и остаточного английского, чем прямая романизация из английского. Остальные десять языков переводятся моделью Indic Translate от Bodhan AI, а Gemma-4-31B-it выступает оценщиком при том же пороге 75 баллов, но без переписывания по обратной связи. Для длинных документов на сантали используются пересекающиеся окна, а манипури сначала переводится на бенгальское письмо с последующим преобразованием в мейтей-маек.
Первые данные о моделях связаны с Nemotron 3.5 Super VL, где на этапе продолженного предобучения с бюджетом 100 млрд токенов 10 млрд токенов отвели на синтетический и естественный текст на языках Индии. Оценки выросли на пяти бенчмарках — MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy и Indic GSM8K — на 4,98–9,82 процентного пункта. По сравнению с Nemotron 3 Super новая модель лидирует на пяти из шести задачных бенчмарков и по всем четырем направлениям IndiVibe, а следование инструкциям на IFEval 1.5 снизилось на 2,04 пункта.
Вместе с корпусом AI4Bharat представила Indic-LLM-Eval-Suite — открытую коллекцию по восьми категориям, включая диалог, следование инструкциям, математику, STEM, рассуждения, знания, код и перевод. В нее вошли MILU-1.5 и IndicIFEval-1.5 после аудита, исправившего неполные вопросы, отсутствующие иллюстрации, ошибки перевода и дефекты кода оценки, предусмотрена интеграция с NeMo-Gym. Метки вида hi-Deva-IN и hi-Latn-IN позволяют просматривать записи потоком в Hugging Face, а плагин Nemotron Bharat предоставляет запросы, переписывание, оконную обработку и средства смены письменности.
