IndicLLM：从零构建印地语与阿萨姆语 Transformer 的预训练与推理 SFT 项目

开发者 Shubhadeep Mandal 在 GitHub 开源 IndicLLM 项目，为印地语和阿萨姆语分别构建完全独立的数据、tokenizer 与训练管线，两套语料分别约 723.32M 和 528.50M token，采用 16,384 词表的 SentencePiece BPE，未知 token 率 0%。预训练约 25M 参数的 V1/V2 两版 Transformer（各 500M token），V2 在两种语言上验证困惑度低 5–7%；Phase 3 的符号推理 SFT 共 44 次运行，Direct SFT 准确率整体高于 CoT SFT。