GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分64
speculative-statecraft 仓库实测:工作负载自训练的 EAGLE-1 草稿头在 vLLM 上对比投机解码收益
GIO443/speculative-statecraft
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/GIO443/speculative-statecraft
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GIO443 发布 speculative-statecraft 仓库,在 4-64 个 LLM 阵营每回合输出引导 JSON 决策的策略游戏负载上,用目标模型(Qwen2.5-1.5B-Instruct)自身输出训练 51.5M 参数的 EAGLE-1 草稿头,在 RTX 4070 Laptop 8 GB 加 vLLM 0.30.0 上与无投机和 n-gram 投机对比。
推荐理由
原文给出按在飞上下文量判断投机解码何时划算的阈值,以及离线预测接受率的方法,可迁移到其他 vLLM 部署场景。
来源:GitHub · 去对齐工具与仓库 · github.com