arXiv · cs.AI· Andrei Volodichev·· 12 天前AI 评分42
FlashAttention with Statistics：面向紧凑幻觉检测器的低开销注意力特征
FlashAttention with Statistics: Low-Overhead Attention Features for Compact Hallucination Detectors
来源与原文
arXiv · cs.AI
作者：Andrei Volodichev
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21483v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出在 FlashAttention 前向传播中直接累积注意力统计量，无需显式构建注意力矩阵，用于训练紧凑幻觉检测器。在 H100 上，五个已发表检测器所需统计量对 Qwen3-8B 前向（2K token）仅增加 16% 延迟，35K 时降至 1.4%，每 response token 存储 22.5 KiB。基于 0.6B–8B 冻结 Qwen3 代理模型训练的探针表现强劲：4B 代理在三个 benchmark 中的两个上 F1 超过九个最强零样本 4-9B LLM 评判，注意力特征在 12 组 benchmark-代理配对的一半中显著提升 F1。
来源：arXiv · cs.AI · arxiv.org