quark28/mini-llm:一个可完全在端侧运行的 19.8M 参数掩码扩散对话模型
开发者在 GitHub 开源 mini-llm,一个从零用 PyTorch 构建的 19.8M 参数掩码扩散编码器–解码器 Transformer 对话模型,目标是在手机端侧运行。模型在 1.47B token 的 FineWeb-Edu 上完成预训练,并经过 SFT 与 GRPO 强化学习,上下文窗口 256 token,词表 12 288(byte-level BPE)。项目还包含一个实验性 Thinking 模块及参数量匹配的对照组,生产级 C++ 推理运行时仍在计划中。