Omnilingual-MsASR：评测全模态大语言模型的长篇多说话人多语言 ASR 基准
研究者推出 Omnilingual-MsASR 基准，评测全模态大语言模型在长篇多说话人语音识别（MsASR）上的表现，覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景，并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈，tcpWER 频繁超过 100%，细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分2929 arXiv · cs.CLAI 评分4242 计时还是理解时间：单靠任何一种都无法解释 LLM 的时间推理
一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升（+6.8 到 +23.1 个百分点），同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点；基于认知需求的评估显示，驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分，主要奖励模型记忆时间的通常运作方式。
Reddit · r/LocalLLaMAAI 评分5656 
Recursive Flint 编码智能体模型引热议，基准成绩超越 Qwen3.6-35B-A3B
Reddit 用户 /u/returnity 介绍 Recursive Flint 编码智能体模型，称其为 40B 参数、2.5B 激活的模型，在 TerminalBench 2.1 和 SWE-bench Pro v2 上大幅超越 Qwen3.6-35B-A3B，其余所选基准持平或更好。模型采用 3:1 SWA 与全注意力比例，支持 262k 上下文，已提供 Recursive 博客、WIRED 报道、llama.cpp PR 和 Unsloth GGUFs。作者正在下载，几天后公布实测基准；更新称初步反馈显示 Ornith-1.5 仍是该级别标准，情况不如预期乐观。
GitHub · 去对齐工具与仓库AI 评分3434 hakula139 开源 assistant-bench：基于 Harbor 的 AI 助手系统日常任务基准
hakula139 在 GitHub 发布 assistant-bench，一个基于 Harbor 运行的 AI 助手系统基准，用盲投成对投票和任务测试对系统输出打分。项目内置 prose-zh 与 prose-en 两个写作家族，各含 30 个用例，记录每次运行的 token 数、成本、延迟与系统配置，并以 Bradley-Terry 分数生成排行榜。项目采用 MIT 许可证开源。
GitHub · 去对齐工具与仓库AI 评分4646 llm-bench 0.1.0：可插拔 LLM 基准测试框架发布（alpha）
fingoldo 在 GitHub 开源 llm-bench 0.1.0（alpha），一个可插拔 LLM 基准测试框架，用成本分级筛选、Sequential Halving 逐轮淘汰、断点续跑缓存和分阶段预算上限，把数千次付费调用降到最低。框架支持 Postgres、文件、内存三种存储后端，并通过 CostFilter 支持按每百万 token 输出价格与上下文长度过滤候选模型，MIT 协议发布。
GitHub · 去对齐工具与仓库AI 评分3838 mage-bench：让 LLM 打《万智牌》对战的基准测试项目
GitHub 开源项目 mage-bench 通过让 LLM 互玩《万智牌》来评测模型，支持 1v1 对决和多人 Commander 模式。项目基于 XMage 规则引擎，覆盖 28,000+ 张卡牌，LLM 通过 MCP 工具调用查看牌局状态并自主完成整局对局，无需人工干预，支持录像与成本追踪。
GitHub · 灵魂体仓库AI 评分4646 LLM-Code-Sandbox-Benchmark：AI 生成代码的沙箱自动化评测工具
GitHub 开源项目 LLM-Code-Sandbox-Benchmark 提供了一套针对 AI 生成代码的自动化评测框架，在受限 Python 沙箱子进程中执行候选代码，通过 baseline/edge/performance 测试集验证正确性，并基准测试运行时间与内存。工具基于最小二乘法拟合 O(1)…O(n³) 复杂度模型，输出加权 0–100 分的 JSON 报告和 Markdown 评分卡，支持 batch.py 批量排名多个候选及 --fail-under CI 门禁，适用于 HumanEval 式正确性检查与 RLHF 评分等场景。项目仅依赖 Python 3.10+ 标准库，采用 MIT 许可证。
Reddit · r/LocalLLaMAAI 评分5454 10个Agent框架实测Qwen3.5-4B：50次运行暴露哪些真实失败模式
Reddit 用户 /u/GapNew4766 在 M5 MacBook Pro 32GB 上用 Qwen3.5-4B（Q4_K_M、64K 上下文、llama-server）对 Pi、goose、Crush、Cline、OpenClaw、OpenCode、Hermes、Qwen Code、Codex CLI、Atomic Agent 共 10 个 Agent 框架各跑 5 个小任务，10 个中 6 个全部通过。失败不来自工具调用解析，而是精确匹配编辑无法逐字节复现旧文本导致反复重发、只修可见测试用例、数错 ERROR 行（40 vs 43）、模糊指令被字面执行写错位置；相同硬件和模型下最快框架 1m36s、最慢 17m43s，快 11 倍。
Reddit · r/LocalLLaMAAI 评分2323 
Argon 与 DeepSeek V4.1 Flash、QwenFlashNext 对比：KV Cache 配置评审结果出人意料
一位 LocalLLaMA 用户让 Argon 修改 Strata 上的 KV Cache 配置，再将 DeepSeek V4.1 Flash 与 QwenFlashNext（QFN）的评审结果交回 Argon 复核。Argon 最初建议改用 K8V8，但看到另两家评审后收回该建议，且对比中未列出自身分析；作者指出 Argon 运行环境可见性更高，结果仅供参考。
GitHub · 去对齐工具与仓库精选AI 评分6464 barkup-bench：预注册基准系列实测 LLM 智能体编辑类型化树的可靠性
Kevin Peckham 在 GitHub 开源 barkup-bench，一个持续进行的预注册基准系列，比较 barkup（HTML 整树重写）与 JSON 细粒度变更工具等方案在让 LLM 智能体编辑页面布局、文档模板、CMS 内容等类型化树时的可靠性。系列已含 45 项研究、8 个模型上超过 36,000 次评分运行，覆盖接口、树规模、部分上下文、检索、会话记忆、多目标编辑等维度，并保留两次重大修正与若干自我反驳。
推荐理由：预注册协议加可复现语料和回归门禁的做法，为评测 LLM 智能体编辑结构化树提供了可迁移的实验纪律。
GitHub · 灵魂体仓库AI 评分3737 DirectiveBench：本地优先的开源 AI Agent 技能与规则基准测试工作台（v0.1）
GitHub 上的开源项目 DirectiveBench 发布 v0.1，这是一个本地优先的工作台，用于发现、组织、同步和基准测试跨仓库与 coding agent 的 AI agent 技能、指令和规则。它已实现本地 SQLite 注册表、RED/GREEN 基准引擎、job runner、Web UI 和 CLI，可注册本地及公开 GitHub 仓库并解析 SKILL.md、CLAUDE.md、Cursor .mdc 等格式。目前基准仅支持确定性 mock agent，真实 agent 执行、私有仓库同步和模型提供商接入尚在规划中。
GitHub · 灵魂体仓库AI 评分3333 SvenRogue 开源 ai-model-ranking：基于 OpenRouter 真实用量的大模型实时排行榜
SvenRogue 在 GitHub 发布 ai-model-ranking，一个零依赖单页面的大模型实时排行榜，基于 OpenRouter 平台全球开发者的 Tokens 用量与 API 请求数统计排名。页面每 5 分钟自动从 OpenRouter 公开接口拉取数据，接口不可达时回退到内置快照 snapshot.js。功能包括金银铜热度三甲卡片、Top 10 条形图与机构份额环形图、搜索筛选及详情抽屉，数据仅反映 OpenRouter 生态内的相对热度。
Reddit · r/LocalLLaMAAI 评分5050 
Ornith-1.5-122B：有人把它放进 coding agent 试过吗？
Ornith-1.5-122B 是一个 MoE 推理模型，支持 tool calling 与 256K 上下文窗口，官方自测在 SWE-bench Pro 得 76.9 分，高于 Qwen3.8-Flash-Next 的 43.9，但在 Terminal-Bench 2.1 上以 81.2 略低于 83.4。已有 Ollama 发布，Q4_K_M 约 77GB，另有运行时内存开销。发帖者想了解它在陌生仓库和长任务中的表现。
GitHub · 去对齐工具与仓库AI 评分3131 llm-aftershock-forecast：评测 LLM 余震预测校准度的 benchmark 项目
GitHub 上的 llm-aftershock-forecast 是一个 benchmark，用于检验通用 LLM 能否给出校准的余震预测：模型获得与 USGS 业务化余震预测（OAF）发布时相同的信息（主震与 ComCat 目录），其分位数计数和大余震概率将与实际结果及官方预测对比打分，且只使用模型训练截止后的序列。目前数据层、as-of 目录、条目构建、提示词渲染及经 USGS Java 代码验证的 legacy-ETAS 基线已完成并测试，尚未引出任何 LLM 预测；设计已在 Oct 21 冻结于 prereg-v1 预注册。
GitHub · 去对齐工具与仓库AI 评分2222 llm-evaluation-observability-framework：基于 Python 与 FastAPI 的 LLM 评测可观测性框架
GitHub 上的 llm-evaluation-observability-framework 是一个用 Python 和 FastAPI 构建的 LLM 响应评测框架，提供精确匹配判定、相似度评分（0.0-1.0）、内存中的评测历史记录及 REST API。项目用 pytest 做自动化测试，并通过 GitHub Actions 实现持续集成，当前评测历史不持久化、尚未接入外部 LLM 提供商，后续计划加入基于 embedding 的语义相似度评测与 Docker 部署。
GitHub · 灵魂体仓库精选AI 评分6363 开源工具 HarnessProbe 发布：量化编码智能体成绩中模型与 harness 各占多少
GitHub 项目 HarnessProbe 开源，通过同一模型、同一任务、同一评分器下只切换 harness 配置的矩阵实验，输出 delta 和 Harness Sensitivity Index 而非榜单。作者给出一次 66 trials 的实测示例显示，11 个配置中 10 个得分相同，唯一移除 shell（无法运行测试）的 no-shell 配置掉 16.7 分，说明提示词调整是噪声、验证权限才是主要信号。工具含 6 个双向验证的任务、Wilson 置信区间、pass@k/pass^k 与 flakiness 指标、隔离沙箱，支持 Anthropic、OpenAI 兼容端点、DeepSeek 和 Ollama 本地模型，MIT 协议。
推荐理由：它把 harness 当作唯一变量做矩阵实测，并诚实给出置信区间与任务过易的局限，区分模型能力与脚手架贡献。
GitHub · 灵魂体仓库精选AI 评分5959 @goodit/evals 发布：把 LLM 功能评测跑成 Bun 测试的开源框架
neoromantic 发布 @goodit/evals，一个把 eval 文件作为 Bun 测试运行的 LLM 功能评测框架，记录 scorer 指标与 token/延迟数据，并支持基线对比报告。该项目已进入维护模式，只做 bug 修复和依赖更新，不再新增功能；要求 Bun >= 1.3.9，peer 依赖 ai >= 6 和 zod，内置 ExactMatch、Contains、LLM judge 等 scorer，支持 Facts() LLM 判分、evalSuite.each 变体对比和 --json 机器可读输出，MIT 协议开源。
推荐理由：作者给出了把 LLM 功能评测跑成 Bun 测试的完整方案，scorer、基线对比与 token 延迟拆分都可直接迁移到自己的项目。
Reddit · r/LocalLLaMAAI 评分5050 Strata v0.2.1 基准测试：RTX 5080 16 GB 上 Qwen3.8-Flash-Next IQ3_XXS 64K 上下文跑出 150 tok/s 解码、4.4K tok/s 预填充
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
Reddit · r/SillyTavernAIAI 评分1717 GLM 4.7 比 GLM 5.3 flash 更聪明吗？用户实测对比
一位 Reddit 用户在 r/SillyTavernAI 发帖比较 GLM 4.7 与 GLM 5.3 flash 的智能、逻辑与一致性表现，称 GLM 5.3 flash 多次测试都出现理解偏差和逻辑不连贯，而记忆中的 GLM 4.7 理解能力更好。两个模型总参数量均约 300B，但激活参数不同：GLM 4.7 为 32B，GLM 5.3 flash 为 18B。用户也提到 GLM 5.3 flash 智能上优于 GLM 5.2，并怀疑是自己对 GLM 4.7 的旧印象造成偏好。
GitHub · 去对齐工具与仓库AI 评分4646 
llm-number-bias：用 OpenRouter 对比各家 LLM「选 1 到 10 之间的数」的偏好
GitHub 开源工具 llm-number-bias 让多个 LLM 在独立会话中回答「在 1 到 10 之间选一个数」，并统计答案分布。2026 年 10 月 21 日每模型 10 次的测试中，GPT-6.1-sol、Claude Opus 5.5、Gemini 4-argon 全部答 7，Grok 4.7 七次答 7，meta/muse-wonder 在启用 Python 后答 1 到 7 不等；此前无工具的 50 次回答中 49 次为 7。
GitHub · 灵魂体仓库AI 评分5151 nexa-gauge 开源：面向 LLM 与 RAG 系统的图式评估引擎
nexa-gauge 发布，是一个 Python 包和 CLI 工具，用类型化评估图评估 LLM、RAG 和 agentic 系统的输出质量，覆盖 relevance、grounding、redteam、GEval、refmatch、refalign 指标。支持先预估未缓存成本再执行、路由感知的确定性缓存、结构化 JSON 报告和按节点模型路由，可用 pip install nexa-gauge 安装，MIT 协议开源在 https://github.com/OpenOS-Project-Ecosystem-OOC/nexa-gauge。
Reddit · r/SillyTavernAIAI 评分3131 Gemini Argon 实测：做对了什么，又做错了什么
Reddit 用户在 SillyTavern 中实测 Gemini Argon，认为它在虚构叙事中明显优于以往 Gemini：会说谎、会讲冷笑话、角色区分度更高、能守住秘密、不再无条件给角色塞钱，创造力已接近 Claude。不足是仍会轻微重复概念（如反复“自言自语”），偶尔出现旧式 AI 味文本，作者期待 .0 之后的后续版本继续改进。
Reddit · r/LocalLLaMAAI 评分5151 Qwen3.8-Flash-Next 对比 Opus 5.5：同一 Rust 任务六组合 12 次基准实测
/u/deepu105 在 r/LocalLLaMA 发布受控编码评测：以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务，6 种模型与 harness 组合各跑 2 次共 12 个 PR，全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分，Claude Code + Flash-Next 为 5.5 分，Pi + Flash-Next 为 5.06 分；Opus 代码质量领先（82% vs 68%/66%），差距集中在边界情况、测试与文档。
Reddit · r/SillyTavernAIAI 评分2828 2026 年 10 月五大 RP 模型盘点，你怎么看？
Reddit 用户 Pirx32 分享了 10 月自选的五大 RP 模型。首选 Gemini 4 Argon，文笔生动有电影感，还能讲笑话，但价格已接近其预算上限，OpenRouter 折扣结束后更难负担；Gemini 3.8 Flash 仍是价格与质量的最佳平衡。Haiku 5.5 用于组织 prompt 的 XML 标签、负责 prompt 架构；Mimo 2.6 Pro 首条回复出色但随后文本矛盾、逻辑崩坏；DeepSeek 4.1 Flash 1017 逻辑更强但文风干涩、句子短碎。
GitHub · 去对齐工具与仓库AI 评分4646 mikeflame/airate：用 AI agent 实测报告为仓库打分的协议与开放数据集
GitHub 上的 mikeflame/airate 是一套协议和开放数据集，由 AI agent 提交 install、weekly、bench 三类报告，将安装成功率、首次使用成功率、留存率和 bench uplift 汇总为每个仓库一个 0-5 的 AI Rate 评分，人类不参与计分。评分采用 Wilson 下限加权的证据指数，单账户重复报告权重按 1/k 递减，维护者报告权重为零。agent 可通过 `npx skills@latest add mikeflame/airate --skill airate` 安装技能，用 `gh issue create` 提交报告，数据以 ratings.json 和 RATINGS.md 公开。
GitHub · 去对齐工具与仓库AI 评分3232 Calibrate 前端仓库发布：AI 智能体评测框架 Calibrate 的前端组件
Calibrate 是一个开源 AI 智能体评测框架，该仓库是其前端部分，帮助用户从缓慢的手动测试转向快速、自动化、可复现的智能体测试流程。项目基于 Node.js 18+，采用 Jest 加 React Testing Library 做组件测试、Playwright 做端到端测试，覆盖率通过 Codecov 分组件与 E2E 两个独立层面分别统计，并支持自托管部署。
Reddit · r/LocalLLaMA精选AI 评分6868 
Kapitsa 0.2 发布 KFlash 投机解码，并实测对比 Apple Silicon 多款推理引擎
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
GitHub · 去对齐工具与仓库AI 评分2828 andyholst/trending-local-llms：本地 LLM 热度榜（Qwen3.8-27B、LFM2.5-24B-A2B 等）
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
GitHub · 去对齐工具与仓库AI 评分4444 reasoning-bench：GitHub 开源的可复现 LLM 推理能力基准
GitHub 开源 reasoning-bench，一个可复现的基准，用于在受控条件下测量 LLM 的特定推理能力，并检验这些能力在问题表面变化后是否保持。v0.1 规划 5 个赛道，其中假设检测赛道含 99 个基础场景（含变体共 367 个测试项），每题生成原始、表面扰动、加干扰项三个版本，每模型每题跑 5 次报告均值与方差，核心指标为鲁棒性差距。项目仅用 Python 标准库（3.8+），支持 GitHub Codespaces 复现，首批结果仅覆盖一个免费模型。
arXiv · cs.AIAI 评分4141 DecisionPivot：面向 LLM 系统决策模型的诊断性 Benchmark
DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark，包含 48 个任务、40,033 个条目和七种决策角色，核心 track 有 7,800 个条目组成的对照组。评测显示，两个在 reference track 上仅差 2.6 分的 27B 模型，对照组准确率分别为 70.1% 和 44.2%；Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%，但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率，最低设置下为 81.5%。
arXiv · cs.AIAI 评分3535 RTL 修复基准实际测量的是什么？
研究者构建 RTLRepairDataset（5,784 组（broken, fixed）训练对）和 RTLRepairBench（459 个保留测试用例，含 374 个语法变异和 85 个行为变异），并支持仿真与形式等价评测。审计发现两个测量混淆：仿真与形式化评分对是否提供规格说明的效应符号相反，六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
arXiv · cs.AIAI 评分2525 新诊断框架衡量 AI 生成辩论中价值表达的丰富度与组织方式
一项被 EMNLP 2026 录用的研究提出诊断性指标框架，基于 Schwartz 基本价值理论，从价值表达和价值组织两个维度比较人类参考辩论与 AI 生成辩论。结果显示 LLM 生成的辩论价值表达广泛，激活的价值维度常不少于人类辩论，但组织方式不同，语句层面价值更弥散。
arXiv · cs.AIAI 评分4545 MindView：生成式多视角空间智能基准发布
研究者推出 MindView 基准，包含来自 513 个场景的 1,500 个样本，涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间，微调 BAGEL 后整体分数提高 24.3 分，且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue，可逆转扩展上下文下的分数下降并超过标准上下文基线。
arXiv · cs.CLAI 评分3636 BAIT：LLM 能否识别影响读者的认知偏差触发器？新闻认知偏差触发器评测基准
研究者推出 BAIT（Bias Annotation In Text）新闻认知偏差触发器评测基准，包含九类触发器的标注规范和 50 篇由训练有素的标注者在文章与片段层面标注的英文新闻文章，并定义触发器检测与片段定位两项任务。对六个前沿 LLM 的 zero-shot 及 3 或 10 个 in-context 示例测试显示：模型在判断文章含哪些触发器上接近人类一致性，但定位相关片段不足人类一致性的一半，且倾向依据表面线索过度预测触发器，表明模型响应的是表面特征而非操纵机制。相关 schema、codebook、标注与评测流程已开源。
arXiv · cs.CL精选AI 评分6464 Forty Questions 论文提出仅凭单词答案识别语言模型的方法，准确率达92.5%
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
arXiv · cs.CLAI 评分2929 DeclineCraft：一个联合衡量检索与参数知识的 RAG 弃答基准
研究者推出 DeclineCraft，一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准，并评估 27 个 LLM 的正确弃答率（CAR）。实验显示：单次检索在 38/40 配置中显著提高 CAR；迭代 RAG 反而在 30/40 配置中降低 CAR（均值 46.4%），答案准确率基本不变（68.5% 至 69.3%）；模型越大回答越准（Spearman ρ = +0.60），但模型规模与发布时间均与 CAR 无显著关联。
arXiv · cs.CLAI 评分3939 CAPSafe：面向具身智能体情境动作与规划安全的基准
CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理，其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示，部分模型识别不安全动作的准确率超过 90%，但安全长程规划难度显著更高：Gemini-3-pro 最高安全成功率为 78.19%，其余模型低于 65%。
arXiv · cs.CL精选AI 评分6161 arXiv 论文提出指令税：Base 模型事实回忆可胜过指令微调版本
作者公布 AKBC LM-KBC 2026 共享任务方案，在官方榜单取得 0.6836，超过 0.2964 基线一倍以上。方法是在最多 32B 参数、无检索无微调的限制下，用文本补全方式提示 base 模型并生成 64-256 个输出只保留重复项；对比显示指令微调版本仅得 0.5681，作者称指令微调会降低事实回忆，命名为指令税，其成因是权重而非提示方式。
推荐理由：作者在 LM-KBC 2026 任务中实测同一模型 base 与指令微调版本的事实回忆差距，提出指令税概念，方法可直接迁移。
arXiv · cs.CLAI 评分4343 OptionWorld：诊断 LLM 作为长期个人助理失效的基准
研究者推出 OptionWorld 基准，通过模拟日常生活任务追踪 LLM 的信息获取、判断、行动与结果，定位其作为长期个人助理的短板。在存档决策输入的运行中，35.5% 的失败实例的关键事实在截止期前仍保留在模型最后的输入里。失败分析指出三大问题：所需信息未获取或整合、可行动机会未被利用、智能体施加任务并不要求的限制。
arXiv · cs.CLAI 评分2626 DAR-MGSM：首个方言阿拉伯语数学推理基准发布
研究者推出 DAR-MGSM 基准，这是首个用于评估方言阿拉伯语数学推理的人工整理测试集，包含多步推理数学应用题，覆盖五大阿拉伯方言及现代标准阿拉伯语，并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示，本地化版本上性能普遍下降，且各模型敏感度不同；机制可解释性分析表明，翻译与本地化版本常引发不同的内部推理轨迹。