quark28/mini-llm：一个可完全在端侧运行的 19.8M 参数掩码扩散对话模型

开发者在 GitHub 开源 mini-llm，一个从零用 PyTorch 构建的 19.8M 参数掩码扩散编码器–解码器 Transformer 对话模型，目标是在手机端侧运行。模型在 1.47B token 的 FineWeb-Edu 上完成预训练，并经过 SFT 与 GRPO 强化学习，上下文窗口 256 token，词表 12 288（byte-level BPE）。项目还包含一个实验性 Thinking 模块及参数量匹配的对照组，生产级 C++ 推理运行时仍在计划中。