跳到正文
GitHub · 灵魂体仓库·· 21 小时前精选AI 评分60

understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型,针对 Qwen3.5-4B 投影加速 1.43x

SamratDuttaOfficial/understudy-lm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/SamratDuttaOfficial/understudy-lm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型,无需 logits、隐藏状态或更小的同族模型,草稿一次猜测 4 个 token,由目标模型一步验证,输出不变。发布的草稿针对 Qwen3.5-4B 训练,实测每步接受 1.58 个 token,投影加速 1.43x;在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢(27 到 36 tok/s 对 69 tok/s),需支持 lookahead heads 的运行时才能兑现。

推荐理由

只靠目标模型的文本训练推测解码草稿模型,不用 logits 和隐藏状态,并给出接受的实测与局限说明。

来源:GitHub · 灵魂体仓库 · github.com