GitHub · 灵魂体仓库·· 21 小时前精选AI 评分60
understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型,针对 Qwen3.5-4B 投影加速 1.43x
SamratDuttaOfficial/understudy-lm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/SamratDuttaOfficial/understudy-lm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型,无需 logits、隐藏状态或更小的同族模型,草稿一次猜测 4 个 token,由目标模型一步验证,输出不变。发布的草稿针对 Qwen3.5-4B 训练,实测每步接受 1.58 个 token,投影加速 1.43x;在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢(27 到 36 tok/s 对 69 tok/s),需支持 lookahead heads 的运行时才能兑现。
推荐理由
只靠目标模型的文本训练推测解码草稿模型,不用 logits 和隐藏状态,并给出接受的实测与局限说明。
来源:GitHub · 灵魂体仓库 · github.com