Hugging Face Blog·· 2 天前精选AI 评分57
AllenAI 发布 StateBench：评测语言模型在长文档中的状态追踪能力
StateBench: Testing how language models track state changes over long documents
来源与原文
Hugging Face Blog
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/blog/allenai/statebench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
AllenAI（Olmo 团队）推出 StateBench 基准，按四级难度评测语言模型在长文档中追踪实体状态变化的能力，分级依据 Krohn–Rhodes 理论。直接训练下 Gated DeltaNet 与混合架构在数万条赋值序列上泛化近乎完美，Transformer 始终学不会最难的 general finite 级；Gemini 3.8 Flash、Claude Opus 5.5 与 GPT-6 Sol 和 Luna 在最长 general finite 问题上准确率降至 13% 或更低。数据与代码已开放。
推荐理由
这份基准把状态追踪拆成四级难度，能帮读者看清不同架构在长文档上分别在哪里失效，是可复用的评测方法。
来源：Hugging Face Blog · huggingface.co
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。