FrameBench-HPS：收益-损失框架效应如何影响 LLM 高风险决策建议
研究者提出 FrameBench-HPS 基准，用覆盖医疗、金融、教育/职业、法律/消费者权益四大领域的 240 个高风险场景构建 2,880 条提示词，测试七个 LLM 在相同概率以收益或损失框架表述时的建议一致性。结果显示 32.4% 的完整组别中推荐类别因框架而改变，且该效应在对话式改写下依然存在。概率规范化处理能大幅降低框架敏感性。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分4747 arXiv · cs.CLAI 评分4343 询问“导演看到什么”会改变视觉语言模型的选择
一项 arXiv 研究显示，在 Director Task 中，先询问模型“导演能看到哪些方块”再让它执行“选最大方块”的指令，会使 GPT 六个模型选择被遮挡方块的比例上升 12 至 88 个百分点，Qwen3.8-27B 上升 17 个百分点，尽管模型大多能正确报告导演视角。原因在于该问题改变了模型对请求的解读方式；当提示词明确说明导演所知所指时，正确报告与误选隐藏方块同时出现的比例不足 1%。作者提出仅差这一问的成对提示词设计，作为任何视角采纳基准可用的无问题基线。
arXiv · cs.CLAI 评分2525 B-CARE：面向立场分类错误排序的盲评类相对证据评估框架
B-CARE（Blind Classwise Assessment of Relative Evidence for Stance Error Ranking）是一种预测盲的错误排序框架，用固定 LLM 验证器对各候选立场标签赋证据分，对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测，取得平均 AUROC 0.735、平均 AUPRC 0.524，并在风险最高的 20% 预测中捕获 41.06% 的错误；其证据信号可跨模型复用，与置信度基线互补。
arXiv · cs.CLAI 评分4848 TraDE 框架：如何建模人机对话中的自我披露轨迹
研究者提出 Trajectory-based Disclosure Evaluation（TraDE）评估框架，基于社会渗透理论，通过预定义披露轨迹评估先前披露历史如何影响模型在当前披露深度相同下的回复行为。实验表明多个模型对披露的回应取决于此前轨迹，尤其体现在是否接受或挑战用户框架，且差异随深度披露的累积暴露产生并持续数轮。相比人类支持者（ESConv 语料），模型最明显偏离发生在用户减少披露而非袒露心声时。
arXiv · cs.CLAI 评分2929 Omnilingual-MsASR：评测全模态大语言模型的长篇多说话人多语言 ASR 基准
研究者推出 Omnilingual-MsASR 基准，评测全模态大语言模型在长篇多说话人语音识别（MsASR）上的表现，覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景，并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈，tcpWER 频繁超过 100%，细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。
arXiv · cs.CLAI 评分4242 计时还是理解时间：单靠任何一种都无法解释 LLM 的时间推理
一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升（+6.8 到 +23.1 个百分点），同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点；基于认知需求的评估显示，驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分，主要奖励模型记忆时间的通常运作方式。
Reddit · r/LocalLLaMAAI 评分5656 
Recursive Flint 编码智能体模型引热议，基准成绩超越 Qwen3.6-35B-A3B
Reddit 用户 /u/returnity 介绍 Recursive Flint 编码智能体模型，称其为 40B 参数、2.5B 激活的模型，在 TerminalBench 2.1 和 SWE-bench Pro v2 上大幅超越 Qwen3.6-35B-A3B，其余所选基准持平或更好。模型采用 3:1 SWA 与全注意力比例，支持 262k 上下文，已提供 Recursive 博客、WIRED 报道、llama.cpp PR 和 Unsloth GGUFs。作者正在下载，几天后公布实测基准；更新称初步反馈显示 Ornith-1.5 仍是该级别标准，情况不如预期乐观。
GitHub · 去对齐工具与仓库AI 评分3434 hakula139 开源 assistant-bench：基于 Harbor 的 AI 助手系统日常任务基准
hakula139 在 GitHub 发布 assistant-bench，一个基于 Harbor 运行的 AI 助手系统基准，用盲投成对投票和任务测试对系统输出打分。项目内置 prose-zh 与 prose-en 两个写作家族，各含 30 个用例，记录每次运行的 token 数、成本、延迟与系统配置，并以 Bradley-Terry 分数生成排行榜。项目采用 MIT 许可证开源。
GitHub · 去对齐工具与仓库AI 评分4646 llm-bench 0.1.0：可插拔 LLM 基准测试框架发布（alpha）
fingoldo 在 GitHub 开源 llm-bench 0.1.0（alpha），一个可插拔 LLM 基准测试框架，用成本分级筛选、Sequential Halving 逐轮淘汰、断点续跑缓存和分阶段预算上限，把数千次付费调用降到最低。框架支持 Postgres、文件、内存三种存储后端，并通过 CostFilter 支持按每百万 token 输出价格与上下文长度过滤候选模型，MIT 协议发布。
GitHub · 去对齐工具与仓库AI 评分3838 mage-bench：让 LLM 打《万智牌》对战的基准测试项目
GitHub 开源项目 mage-bench 通过让 LLM 互玩《万智牌》来评测模型，支持 1v1 对决和多人 Commander 模式。项目基于 XMage 规则引擎，覆盖 28,000+ 张卡牌，LLM 通过 MCP 工具调用查看牌局状态并自主完成整局对局，无需人工干预，支持录像与成本追踪。
GitHub · 灵魂体仓库AI 评分4646 LLM-Code-Sandbox-Benchmark：AI 生成代码的沙箱自动化评测工具
GitHub 开源项目 LLM-Code-Sandbox-Benchmark 提供了一套针对 AI 生成代码的自动化评测框架，在受限 Python 沙箱子进程中执行候选代码，通过 baseline/edge/performance 测试集验证正确性，并基准测试运行时间与内存。工具基于最小二乘法拟合 O(1)…O(n³) 复杂度模型，输出加权 0–100 分的 JSON 报告和 Markdown 评分卡，支持 batch.py 批量排名多个候选及 --fail-under CI 门禁，适用于 HumanEval 式正确性检查与 RLHF 评分等场景。项目仅依赖 Python 3.10+ 标准库，采用 MIT 许可证。
Reddit · r/LocalLLaMAAI 评分5454 10个Agent框架实测Qwen3.5-4B：50次运行暴露哪些真实失败模式
Reddit 用户 /u/GapNew4766 在 M5 MacBook Pro 32GB 上用 Qwen3.5-4B（Q4_K_M、64K 上下文、llama-server）对 Pi、goose、Crush、Cline、OpenClaw、OpenCode、Hermes、Qwen Code、Codex CLI、Atomic Agent 共 10 个 Agent 框架各跑 5 个小任务，10 个中 6 个全部通过。失败不来自工具调用解析，而是精确匹配编辑无法逐字节复现旧文本导致反复重发、只修可见测试用例、数错 ERROR 行（40 vs 43）、模糊指令被字面执行写错位置；相同硬件和模型下最快框架 1m36s、最慢 17m43s，快 11 倍。
Reddit · r/LocalLLaMAAI 评分2323 
Argon 与 DeepSeek V4.1 Flash、QwenFlashNext 对比：KV Cache 配置评审结果出人意料
一位 LocalLLaMA 用户让 Argon 修改 Strata 上的 KV Cache 配置，再将 DeepSeek V4.1 Flash 与 QwenFlashNext（QFN）的评审结果交回 Argon 复核。Argon 最初建议改用 K8V8，但看到另两家评审后收回该建议，且对比中未列出自身分析；作者指出 Argon 运行环境可见性更高，结果仅供参考。
GitHub · 去对齐工具与仓库精选AI 评分6464 barkup-bench：预注册基准系列实测 LLM 智能体编辑类型化树的可靠性
Kevin Peckham 在 GitHub 开源 barkup-bench，一个持续进行的预注册基准系列，比较 barkup（HTML 整树重写）与 JSON 细粒度变更工具等方案在让 LLM 智能体编辑页面布局、文档模板、CMS 内容等类型化树时的可靠性。系列已含 45 项研究、8 个模型上超过 36,000 次评分运行，覆盖接口、树规模、部分上下文、检索、会话记忆、多目标编辑等维度，并保留两次重大修正与若干自我反驳。
推荐理由：预注册协议加可复现语料和回归门禁的做法，为评测 LLM 智能体编辑结构化树提供了可迁移的实验纪律。
GitHub · 灵魂体仓库AI 评分3737 DirectiveBench：本地优先的开源 AI Agent 技能与规则基准测试工作台（v0.1）
GitHub 上的开源项目 DirectiveBench 发布 v0.1，这是一个本地优先的工作台，用于发现、组织、同步和基准测试跨仓库与 coding agent 的 AI agent 技能、指令和规则。它已实现本地 SQLite 注册表、RED/GREEN 基准引擎、job runner、Web UI 和 CLI，可注册本地及公开 GitHub 仓库并解析 SKILL.md、CLAUDE.md、Cursor .mdc 等格式。目前基准仅支持确定性 mock agent，真实 agent 执行、私有仓库同步和模型提供商接入尚在规划中。
GitHub · 灵魂体仓库AI 评分3333 SvenRogue 开源 ai-model-ranking：基于 OpenRouter 真实用量的大模型实时排行榜
SvenRogue 在 GitHub 发布 ai-model-ranking，一个零依赖单页面的大模型实时排行榜，基于 OpenRouter 平台全球开发者的 Tokens 用量与 API 请求数统计排名。页面每 5 分钟自动从 OpenRouter 公开接口拉取数据，接口不可达时回退到内置快照 snapshot.js。功能包括金银铜热度三甲卡片、Top 10 条形图与机构份额环形图、搜索筛选及详情抽屉，数据仅反映 OpenRouter 生态内的相对热度。
Reddit · r/LocalLLaMAAI 评分5050 
Ornith-1.5-122B：有人把它放进 coding agent 试过吗？
Ornith-1.5-122B 是一个 MoE 推理模型，支持 tool calling 与 256K 上下文窗口，官方自测在 SWE-bench Pro 得 76.9 分，高于 Qwen3.8-Flash-Next 的 43.9，但在 Terminal-Bench 2.1 上以 81.2 略低于 83.4。已有 Ollama 发布，Q4_K_M 约 77GB，另有运行时内存开销。发帖者想了解它在陌生仓库和长任务中的表现。
GitHub · 去对齐工具与仓库AI 评分3131 llm-aftershock-forecast：评测 LLM 余震预测校准度的 benchmark 项目
GitHub 上的 llm-aftershock-forecast 是一个 benchmark，用于检验通用 LLM 能否给出校准的余震预测：模型获得与 USGS 业务化余震预测（OAF）发布时相同的信息（主震与 ComCat 目录），其分位数计数和大余震概率将与实际结果及官方预测对比打分，且只使用模型训练截止后的序列。目前数据层、as-of 目录、条目构建、提示词渲染及经 USGS Java 代码验证的 legacy-ETAS 基线已完成并测试，尚未引出任何 LLM 预测；设计已在 Oct 21 冻结于 prereg-v1 预注册。
GitHub · 去对齐工具与仓库AI 评分2222 llm-evaluation-observability-framework：基于 Python 与 FastAPI 的 LLM 评测可观测性框架
GitHub 上的 llm-evaluation-observability-framework 是一个用 Python 和 FastAPI 构建的 LLM 响应评测框架，提供精确匹配判定、相似度评分（0.0-1.0）、内存中的评测历史记录及 REST API。项目用 pytest 做自动化测试，并通过 GitHub Actions 实现持续集成，当前评测历史不持久化、尚未接入外部 LLM 提供商，后续计划加入基于 embedding 的语义相似度评测与 Docker 部署。
GitHub · 灵魂体仓库精选AI 评分6363 开源工具 HarnessProbe 发布：量化编码智能体成绩中模型与 harness 各占多少
GitHub 项目 HarnessProbe 开源，通过同一模型、同一任务、同一评分器下只切换 harness 配置的矩阵实验，输出 delta 和 Harness Sensitivity Index 而非榜单。作者给出一次 66 trials 的实测示例显示，11 个配置中 10 个得分相同，唯一移除 shell（无法运行测试）的 no-shell 配置掉 16.7 分，说明提示词调整是噪声、验证权限才是主要信号。工具含 6 个双向验证的任务、Wilson 置信区间、pass@k/pass^k 与 flakiness 指标、隔离沙箱，支持 Anthropic、OpenAI 兼容端点、DeepSeek 和 Ollama 本地模型，MIT 协议。
推荐理由：它把 harness 当作唯一变量做矩阵实测，并诚实给出置信区间与任务过易的局限，区分模型能力与脚手架贡献。
GitHub · 灵魂体仓库精选AI 评分5959 @goodit/evals 发布：把 LLM 功能评测跑成 Bun 测试的开源框架
neoromantic 发布 @goodit/evals，一个把 eval 文件作为 Bun 测试运行的 LLM 功能评测框架，记录 scorer 指标与 token/延迟数据，并支持基线对比报告。该项目已进入维护模式，只做 bug 修复和依赖更新，不再新增功能；要求 Bun >= 1.3.9，peer 依赖 ai >= 6 和 zod，内置 ExactMatch、Contains、LLM judge 等 scorer，支持 Facts() LLM 判分、evalSuite.each 变体对比和 --json 机器可读输出，MIT 协议开源。
推荐理由：作者给出了把 LLM 功能评测跑成 Bun 测试的完整方案，scorer、基线对比与 token 延迟拆分都可直接迁移到自己的项目。
Reddit · r/LocalLLaMAAI 评分5050 Strata v0.2.1 基准测试：RTX 5080 16 GB 上 Qwen3.8-Flash-Next IQ3_XXS 64K 上下文跑出 150 tok/s 解码、4.4K tok/s 预填充
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
Reddit · r/SillyTavernAIAI 评分1717 GLM 4.7 比 GLM 5.3 flash 更聪明吗？用户实测对比
一位 Reddit 用户在 r/SillyTavernAI 发帖比较 GLM 4.7 与 GLM 5.3 flash 的智能、逻辑与一致性表现，称 GLM 5.3 flash 多次测试都出现理解偏差和逻辑不连贯，而记忆中的 GLM 4.7 理解能力更好。两个模型总参数量均约 300B，但激活参数不同：GLM 4.7 为 32B，GLM 5.3 flash 为 18B。用户也提到 GLM 5.3 flash 智能上优于 GLM 5.2，并怀疑是自己对 GLM 4.7 的旧印象造成偏好。
GitHub · 去对齐工具与仓库AI 评分4646 
llm-number-bias：用 OpenRouter 对比各家 LLM「选 1 到 10 之间的数」的偏好
GitHub 开源工具 llm-number-bias 让多个 LLM 在独立会话中回答「在 1 到 10 之间选一个数」，并统计答案分布。2026 年 10 月 21 日每模型 10 次的测试中，GPT-6.1-sol、Claude Opus 5.5、Gemini 4-argon 全部答 7，Grok 4.7 七次答 7，meta/muse-wonder 在启用 Python 后答 1 到 7 不等；此前无工具的 50 次回答中 49 次为 7。
GitHub · 灵魂体仓库AI 评分5151 nexa-gauge 开源：面向 LLM 与 RAG 系统的图式评估引擎
nexa-gauge 发布，是一个 Python 包和 CLI 工具，用类型化评估图评估 LLM、RAG 和 agentic 系统的输出质量，覆盖 relevance、grounding、redteam、GEval、refmatch、refalign 指标。支持先预估未缓存成本再执行、路由感知的确定性缓存、结构化 JSON 报告和按节点模型路由，可用 pip install nexa-gauge 安装，MIT 协议开源在 https://github.com/OpenOS-Project-Ecosystem-OOC/nexa-gauge。
Reddit · r/SillyTavernAIAI 评分3131 Gemini Argon 实测：做对了什么，又做错了什么
Reddit 用户在 SillyTavern 中实测 Gemini Argon，认为它在虚构叙事中明显优于以往 Gemini：会说谎、会讲冷笑话、角色区分度更高、能守住秘密、不再无条件给角色塞钱，创造力已接近 Claude。不足是仍会轻微重复概念（如反复“自言自语”），偶尔出现旧式 AI 味文本，作者期待 .0 之后的后续版本继续改进。
Reddit · r/LocalLLaMAAI 评分5151 Qwen3.8-Flash-Next 对比 Opus 5.5：同一 Rust 任务六组合 12 次基准实测
/u/deepu105 在 r/LocalLLaMA 发布受控编码评测：以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务，6 种模型与 harness 组合各跑 2 次共 12 个 PR，全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分，Claude Code + Flash-Next 为 5.5 分，Pi + Flash-Next 为 5.06 分；Opus 代码质量领先（82% vs 68%/66%），差距集中在边界情况、测试与文档。
Reddit · r/SillyTavernAIAI 评分2828 2026 年 10 月五大 RP 模型盘点，你怎么看？
Reddit 用户 Pirx32 分享了 10 月自选的五大 RP 模型。首选 Gemini 4 Argon，文笔生动有电影感，还能讲笑话，但价格已接近其预算上限，OpenRouter 折扣结束后更难负担；Gemini 3.8 Flash 仍是价格与质量的最佳平衡。Haiku 5.5 用于组织 prompt 的 XML 标签、负责 prompt 架构；Mimo 2.6 Pro 首条回复出色但随后文本矛盾、逻辑崩坏；DeepSeek 4.1 Flash 1017 逻辑更强但文风干涩、句子短碎。
GitHub · 去对齐工具与仓库AI 评分4646 mikeflame/airate：用 AI agent 实测报告为仓库打分的协议与开放数据集
GitHub 上的 mikeflame/airate 是一套协议和开放数据集，由 AI agent 提交 install、weekly、bench 三类报告，将安装成功率、首次使用成功率、留存率和 bench uplift 汇总为每个仓库一个 0-5 的 AI Rate 评分，人类不参与计分。评分采用 Wilson 下限加权的证据指数，单账户重复报告权重按 1/k 递减，维护者报告权重为零。agent 可通过 `npx skills@latest add mikeflame/airate --skill airate` 安装技能，用 `gh issue create` 提交报告，数据以 ratings.json 和 RATINGS.md 公开。
GitHub · 去对齐工具与仓库AI 评分3232 Calibrate 前端仓库发布：AI 智能体评测框架 Calibrate 的前端组件
Calibrate 是一个开源 AI 智能体评测框架，该仓库是其前端部分，帮助用户从缓慢的手动测试转向快速、自动化、可复现的智能体测试流程。项目基于 Node.js 18+，采用 Jest 加 React Testing Library 做组件测试、Playwright 做端到端测试，覆盖率通过 Codecov 分组件与 E2E 两个独立层面分别统计，并支持自托管部署。
Reddit · r/LocalLLaMA精选AI 评分6868 
Kapitsa 0.2 发布 KFlash 投机解码，并实测对比 Apple Silicon 多款推理引擎
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
GitHub · 去对齐工具与仓库AI 评分2828 andyholst/trending-local-llms：本地 LLM 热度榜（Qwen3.8-27B、LFM2.5-24B-A2B 等）
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
GitHub · 去对齐工具与仓库AI 评分4444 reasoning-bench：GitHub 开源的可复现 LLM 推理能力基准
GitHub 开源 reasoning-bench，一个可复现的基准，用于在受控条件下测量 LLM 的特定推理能力，并检验这些能力在问题表面变化后是否保持。v0.1 规划 5 个赛道，其中假设检测赛道含 99 个基础场景（含变体共 367 个测试项），每题生成原始、表面扰动、加干扰项三个版本，每模型每题跑 5 次报告均值与方差，核心指标为鲁棒性差距。项目仅用 Python 标准库（3.8+），支持 GitHub Codespaces 复现，首批结果仅覆盖一个免费模型。
arXiv · cs.AIAI 评分4141 DecisionPivot：面向 LLM 系统决策模型的诊断性 Benchmark
DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark，包含 48 个任务、40,033 个条目和七种决策角色，核心 track 有 7,800 个条目组成的对照组。评测显示，两个在 reference track 上仅差 2.6 分的 27B 模型，对照组准确率分别为 70.1% 和 44.2%；Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%，但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率，最低设置下为 81.5%。
arXiv · cs.AIAI 评分3535 RTL 修复基准实际测量的是什么？
研究者构建 RTLRepairDataset（5,784 组（broken, fixed）训练对）和 RTLRepairBench（459 个保留测试用例，含 374 个语法变异和 85 个行为变异），并支持仿真与形式等价评测。审计发现两个测量混淆：仿真与形式化评分对是否提供规格说明的效应符号相反，六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
arXiv · cs.AIAI 评分2525 新诊断框架衡量 AI 生成辩论中价值表达的丰富度与组织方式
一项被 EMNLP 2026 录用的研究提出诊断性指标框架，基于 Schwartz 基本价值理论，从价值表达和价值组织两个维度比较人类参考辩论与 AI 生成辩论。结果显示 LLM 生成的辩论价值表达广泛，激活的价值维度常不少于人类辩论，但组织方式不同，语句层面价值更弥散。
arXiv · cs.AIAI 评分4545 MindView：生成式多视角空间智能基准发布
研究者推出 MindView 基准，包含来自 513 个场景的 1,500 个样本，涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间，微调 BAGEL 后整体分数提高 24.3 分，且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue，可逆转扩展上下文下的分数下降并超过标准上下文基线。
arXiv · cs.CLAI 评分3636 BAIT：LLM 能否识别影响读者的认知偏差触发器？新闻认知偏差触发器评测基准
研究者推出 BAIT（Bias Annotation In Text）新闻认知偏差触发器评测基准，包含九类触发器的标注规范和 50 篇由训练有素的标注者在文章与片段层面标注的英文新闻文章，并定义触发器检测与片段定位两项任务。对六个前沿 LLM 的 zero-shot 及 3 或 10 个 in-context 示例测试显示：模型在判断文章含哪些触发器上接近人类一致性，但定位相关片段不足人类一致性的一半，且倾向依据表面线索过度预测触发器，表明模型响应的是表面特征而非操纵机制。相关 schema、codebook、标注与评测流程已开源。
arXiv · cs.CL精选AI 评分6464 Forty Questions 论文提出仅凭单词答案识别语言模型的方法，准确率达92.5%
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
arXiv · cs.CLAI 评分2929 DeclineCraft：一个联合衡量检索与参数知识的 RAG 弃答基准
研究者推出 DeclineCraft，一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准，并评估 27 个 LLM 的正确弃答率（CAR）。实验显示：单次检索在 38/40 配置中显著提高 CAR；迭代 RAG 反而在 30/40 配置中降低 CAR（均值 46.4%），答案准确率基本不变（68.5% 至 69.3%）；模型越大回答越准（Spearman ρ = +0.60），但模型规模与发布时间均与 CAR 无显著关联。