arXiv · cs.CL· Nan Jiang·· 18 天前AI 评分39
PreSTO：预测式子树预取加速 LLM Power Sampling
PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
来源与原文
arXiv · cs.CL
作者：Nan Jiang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13171v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
PreSTO 是一种预测式子树预取方法，通过批量预取未来 Metropolis–Hastings 提案来加速 PowerMH 采样器，且不改变其 MH 转移核。在 7 个数据集和 5 个基础 LLM 上，PreSTO 对 PowerMH、EntropyCut 和 MultiTryMH 分别取得中位 1.71×、1.91× 和 2.33× 加速，模型调用次数中位减少 3.9×，每次调用时长仅增至 2.1×。在 LCB V6 与 Qwen3.5-9B 上，预测式遍历规则比默认广度优先遍历再快 1.25×–1.37×。
来源：arXiv · cs.CL · arxiv.org