论文分析prefill解码长度预测的理论极限与基准缺陷

一项arXiv研究（论文2610.40541，作者Haowen Shi）指出，仅用LLM prefill阶段隐藏状态预测解码长度的现有基准混淆了预测器质量与任务难度：更换目标模型、数据集或采样配置后，即使预测器不变，报告的准确率也会崩塌。 研究将解码视为停止随机过程，推导出每条prompt的解码长度服从正态分布，并给出方差定律σ=αμ+b，证明系统误差主导模型误差。论文建议基准测试固定模型、数据与采样参数，并报告相对误差指标。代码与分析工具已在论文附带的链接公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。