Reddit · r/LocalLLaMA· /u/Aggravating-Push-207·· 18 天前AI 评分25
用本地小模型在高熵时挑选投机解码草稿，这个想法靠谱吗？
guys is it a dumb idea to use one of the smaller jev knockoffs to decide which speculative draft is better
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Aggravating-Push-207
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x11f7a/guys_is_it_a_dumb_idea_to_use_one_of_the_smaller/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit r/LocalLLaMA 用户发帖询问：在生成循环中，当 token 熵较高时，用一个本地快速运行的小模型从多个投机解码草稿（draft 1、draft 2、draft 3）中挑选最佳候选，这样做是否明智。帖子仅提出想法并征求社区意见，未包含实验数据或结论。
来源：Reddit · r/LocalLLaMA · reddit.com