Le billet primaire du 16 octobre présente Nemotron-pretraining-Indic-v1, un corpus synthétique d’environ 2 800 milliards de tokens couvrant vingt-deux langues indiennes, et la recette de génération ouverte qui l’accompagne. Le texte précise que le corpus sera publié prochainement : il ne faut pas le transformer en téléchargement intégral déjà disponible cette semaine. L’index donne le 15 octobre ; la date du corps direct est retenue ici pour la communication.
Le corpus traduit des documents anglais et comprend des données en écriture native pour les vingt-deux langues, ainsi que des versions romanisées pour douze d’entre elles. Le nombre de tokens inclut donc plusieurs représentations de contenus communs et dépend du tokenizer ; il ne mesure pas autant de documents uniques. Le pipeline combine traduction, contrôle de qualité et réparation ciblée, avec une traçabilité vers les documents sources.
Pour une partie du pipeline, Gemma-4-31B-it produit et juge les traductions. Le seuil de 75 sur 100 est un score de rubrique, pas une exactitude de 75 %. Les auteurs reconnaissent la possibilité d’erreurs résiduelles et une couverture variable de la revue humaine. Le contenu traduit complète les textes rédigés localement ; il ne remplace pas les connaissances et contextes culturels absents des documents anglais.
Les résultats de continued pretraining de Nemotron mélangent données synthétiques et naturelles : leurs gains ne permettent pas d’isoler l’effet du seul nouveau corpus. Pour réutiliser cette recette, une équipe doit vérifier la licence de chaque ressource, les langues réellement évaluées et les recouvrements entre documents multilingues avant de constituer ses jeux de test.