Hugging Face Blog·· 11 天前精选AI 评分53
NVIDIA 与 AI4Bharat 发布 2.8 万亿 token 印度语言预训练语料 Nemotron-pretraining-Indic-v1 及开源生成流水线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
来源与原文
Hugging Face Blog
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/blog/nvidia/scaling-indic-pretraining
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token 覆盖 22 种印度宪法语言，含 22 种语言本族文字数据和 12 种语言的罗马化数据，共 34 种语言-文字配置。流水线用 NeMo Data Designer 和 Gemma-4-31B-it 做文档级翻译、MQM 风格质量评估（保留 75/100 以上）与定向修复，每条记录可溯源，生成配方开源可复用；另十种语言采用 Bodhan AI 的 Indic Translate。Nemotron 3.5 Super VL 用其中 12 语言子集加 100 亿 token 做 CPT 后，五个 Indic 基准提升 4.98 至 9.82 个百分点。
推荐理由
完整公开了 2.8 万亿 token Indic 语料的生成配方和质量门槛，团队可复用其翻译与修复流水线迁移到自己的语种。
来源：Hugging Face Blog · huggingface.co