跳到正文
AIHOT · 精选· noreply@aihot.news (vLLM 官方博客)·· 14 天前AI 评分42

vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

来源与原文

AIHOT · 精选

作者:noreply@aihot.news (vLLM 官方博客)

发布时间:(北京时间)

阅读原始来源 · aihot.news ↗
完整链接与内容说明

https://aihot.news/items/fuzrhjjahftxj9xj36god3pcf

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

vLLM 将 confidence scoring 扩展到所有基于草稿模型的投机类型,通过在线拟合 logistic 回归、从草稿模型 logits 推导 logit(q_max) 特征来预测目标模型的接受概率,作为 Adaptive Verification 的置信分,使 EAGLE、MTP 等草稿模型无需置信头即可使用该机制。

来源:AIHOT · 精选 · aihot.news