arXiv · cs.AI· Xiahui Zhu·· 15 天前AI 评分36
自回归解码即鞅：刻画 LLM 生成的随机动力学
Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation
来源与原文
arXiv · cs.AI
作者：Xiahui Zhu
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.16041v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该研究将 LLM 自回归解码的累积预测误差过程证明为鞅，其条件一阶矩恒为零，并给出二阶行为的闭式表达：可预测二次变差等于各步 (1-p(y_t|y_<t)) 之和，仅由已实现的 token 概率即可计算。在 Llama-3.x 与 Qwen2.5（1B 至 72B 参数）上的白盒实验验证了理论预测，为 LLM 生成文本检测与不确定性量化奠定数学基础。
来源：arXiv · cs.AI · arxiv.org