惩罚框架下的无效选项 MCQA：分析 LLM 在无正确选项时的弃权行为
一项 arXiv 研究（AACL-IJCNLP 2026 短文）提出惩罚框架下的无有效选项 MCQA 设定，在 MMLU-Pro 数学子集上移除标注正确选项，允许模型选择剩余选项或输出 ABSTAIN 并对无效强制作答施加惩罚。实验表明，高 MCQA 准确率并不能完全保证弃权可靠性：即使在明确的无有效选项指令和惩罚计分下，模型仍会对部分原本答对的题目给出无效强制作答，揭示了标准选择题准确率无法反映的可靠性维度。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分2828 arXiv · cs.CLAI 评分4040 让 COMET 跨文字系统可比：诊断并修正分词器导致的印度语系 MT 评测文字偏差
研究发现 COMET 翻译评测分数受目标语言书写系统影响：在 IndicMT Eval 上，文字身份解释了母语文字分数方差的 22.9%，与标注者的一致性在全部五种语言中均下降。COMET-QN 可将各 (language, script) 组合映射到统一参考分布，使混合一致率从 0.300 升至 0.399，且保证语言内排序不变；基于 parity 特征的回归器再恢复 17.1% 的灵敏度，剩余偏差属编码器，无法通过后处理修复。论文被 WMT 2026 接收。
arXiv · cs.CLAI 评分3636 问题出在读出方式：细粒度情绪识别基准测的是引出方式而非感知能力
一项新研究显示，现成的视觉语言模型（VLM）从 logits 中按类别逐一读取答案时，其表现可匹敌甚至超过细粒度情绪识别基准 EmoNet-Face-HQ 的微调模型 Empathic-Insight-Face（EIF Small/Large）。在验证设置下，十一个开源权重 VLM 全部超过专家一致性锚点（κ_w=0.468），达到 κ_w=0.507-0.586，其中三个显著优于 EIF Small 的 κ_w=0.551。收益来自分级概率而非是非问答：将同一概率二值化会损失 142% 的平均收益。
arXiv · cs.CLAI 评分2727 语言不可对齐性：为什么某些概念无法进行跨文化 benchmark 评测
一篇 arXiv 立场论文指出，多语言 LLM 评测依赖的“翻译同构假设”对语用标记、敬语、历时分层词汇等概念在原理上不成立，并定义了 α-unalignability 形式化刻画。论文用 usage-cloud 框架给出三层证据：FLORES-200 翻译失败与语系和资源等级相关而与文字无关，以及九模型 Yami 案例中的 Representation-Intervention Gap。作者提出 Cycle-Consistency、Pragmatic-Load Disagreement、Manifold-Curvature Mismatch 与 RIG 构成的多维诊断框架。
arXiv · cs.CLAI 评分4949 大语言模型评估抑郁更多反映评分者而非患者：arXiv 新研究
一项预注册研究将 11 个开源模型与提示词及评分方式交叉组合成 880 个大语言模型评分者，对 189 段访谈按 PHQ-8 量表评估抑郁。模型选择解释了症状总分方差的 30.0%，两名 AUC ≥ 0.70 的评分者平均对 40% 参与者的筛查结论不一致。用 40 名标注参与者重校准后准确率从约 60% 升至 75%、分歧减半，但仍有五分之一的参与者结论不同。
arXiv · cs.CLAI 评分3232 一致不等于有效：LLM 跨模型共识在 K-12 数学辅导对话学生错误诊断中的有效性研究
一项针对 K-12 数学辅导对话的探索性研究检验了 LLM 对五种学生失败模式（不确定、错误归因、运算符选择、概念缺口、程序性失误）分类的有效性。结果显示人机一致性仅为中等（kappa = .524-.597），而跨模型一致性明显更高（kappa = .755-.781）。这表明 LLM 间共识会造成正确性的假象，不能替代对学习者解读有效性的独立证据。
arXiv · cs.CLAI 评分2828 Holdout Best-of-N：无偏评估及其代价
复用选择 Best-of-N 胜者的评分会高估其期望奖励。论文证明：仅基于每候选 K 个独立评分的固定矩阵，估计器要在所有独立稳定评分律下恰好无偏，当且仅当 J<K；J=K 时无法无偏，但增加一个新胜者评分即可对全 K 策略做无偏评估。Holdout 在该机制下达到 σ²/√K 量级的无偏 minimax 风险，有偏方法可改进到 σ²/K；两候选情形下无偏 minimax 常数为 1/(π√2)。
GitHub · 去对齐工具与仓库AI 评分3131 prod-evals-cookbook：GitHub 上学习构建生产级 AI 评测的指南
GitHub 上的 prod-evals-cookbook 通过五个渐进阶段，以知识库智能体为例教学如何构建生产级 AI 评测。应用支持 Windows、macOS 和 Linux，需 4 GB 内存和 200 MB 磁盘空间，无需编程基础，可从 Releases 页面下载使用。
GitHub · 去对齐工具与仓库精选AI 评分6868 
AgentField 发布开源编码 harness CodeAF，DeepSWE 榜单第一
AgentField 团队发布面向开源模型的编码 harness CodeAF，Apache 2.0 协议，Go 编写的单个二进制文件仅 53 MB。在 DeepSWE 用 DeepSeek V4 Flash 对十个 harness 的对比中，其 /senior-dev 子 harness 解决 issue 最多且单题成本最低，超过 Claude Code、Codex、OpenCode、Kilo 和 DeepSeek 自家 harness。产品以单窗口管理多项目任务，按任务自动分配 worker、planner、checker 六个模型席位，支持 headless 运行、远程 devbox 驱动和手机 ssh 接入，目前为 early preview。
推荐理由：官方给出了在 DeepSWE 上与 Claude Code、Codex 等十个 harness 的同模型对比数据，可据此评估其解题数与单题成本。
arXiv · cs.AIAI 评分4040 ParanoiaEval：首个评测编码智能体不必要防御性工作的 benchmark
研究者推出 ParanoiaEval，首个统一评估编码智能体风险处理能力的 benchmark，基于 Avoidance-Transfer-Mitigation-Acceptance 框架构建 200 组证据受控的仓库级任务对。对 8 个代表性模型的实验显示，即便有明确证据，11.2%-58.7% 的运行仍出现不必要风险处理；更强的任务能力并不带来更恰当的风险处理，风险处理是独立的能力维度。
Reddit · r/LocalLLaMAAI 评分3636 ik_llama.cpp 为何被认为比 mainline 快？在多 GPU 混合主机上 mainline 反而大幅领先
Reddit 用户在 4 卡混合主机（3x P102-100 + RTX 3060 12GB）上对比 ik_llama.cpp 与 mainline llama.cpp，运行 Qwen 3.8 Flash-Next 177B（IQ3_XXS，约 89 GB，35 层卸载 GPU、13 层走 AVX-512 CPU、32k context）。mainline 达到 prompt eval 19.70 tokens/sec、生成 10.86 tokens/sec，ik_llama.cpp 分别只有 5.48 和 8.43 tokens/sec，且未启用 CUDA graphs。
GitHub · 灵魂体仓库精选AI 评分6565 agent-time-bench 基准发布：测试 LLM 智能体的日期时间处理能力
作者发布 agent-time-bench 基准，测量 LLM 智能体在用户表述、工具参数（ISO 8601 UTC）和渲染答案三种时间表示之间转换的准确性，含 10 个领域 × 10 个单轮场景，goldens 经手工推导并机械交叉验证。对 7 个模型的研究显示，使用基于 nl2time 的确定性时间工具后，工具调用时间边界达 94–98%，时间戳渲染 86–98%，一个约 4B 激活参数的开源模型边界准确率从 14% 提升到 94%。代码采用 Apache License 2.0，内容采用 CC BY 4.0。
推荐理由：原文给出完整的场景构造、评分方式和7个模型的实测结果，读者可以了解智能体处理日期时间任务的真实水平与改进方法。
GitHub · 灵魂体仓库AI 评分5454 llm-triage-eval 仓库用 qwen2.5:7b 构建本地 LLM 分诊评测体系
该仓库以游戏线上服务 bug 报告为案例，用 Ollama 运行 qwen2.5:7b 做工单一级分诊，并以现职 QA 实务为基础设计评测体系持续验证其判断。v1.4 构成包含格式重请求、废弃确认、Critical 检查清单等由代码强制执行的步骤；在从未运行过的 25 件最终评测集上两次测量，幻觉、缺陷废弃、人工确认遗漏、格式违规均为 0 件，格式 STRICT 100%，Critical 漏判 2/10，平均响应 2.29 秒。仓库还提供回归门禁、幻觉自动检测、pytest 与 GitHub Actions CI，并记录了 v1.0 起 llama3.1:8b 因编造缺陷和设备信息落选的对比过程。
GitHub · 去对齐工具与仓库AI 评分5353 hongkongee 开源系统无关的 NL-to-SQL 评测工具 sql-eval-harness
hongkongee 在 GitHub 发布 sql-eval-harness，用 SQL Validity、EM、EX 三项指标对 NL-to-SQL 系统评分，只要提交 predictions.jsonl 即可打分，不关心 SQL 由 zero-shot、RAG 还是 LoRA 微调模型生成。工具自带 10 题 OMOP CDM v5.3 测试集与沙箱 PostgreSQL 评分逻辑，并提供 infer_lora.py 推理脚本和基于 sqlglot 静态分析的 API 评测脚本（Syntactic Validity、Format 偏离率、schema 幻觉、响应速度）。已知局限包括 6 个题目因沙箱库无对应 concept_id 数据导致 EX 区分度低，且目前仅支持单一 db_id。
GitHub · 灵魂体仓库AI 评分1414 YangSimon 开源 ai-llm-leaderboard 大模型排行榜项目
GitHub 上开源了一个名为 YangSimon/ai-llm-leaderboard 的大模型排行榜项目，仓库基于 Vite 和 Tailwind CSS 构建，包含 crawler 爬虫、GitHub Actions workflows、docs 文档及 src 源码等目录。该项目可在线访问 index.html 页面，代码以仓库形式在 GitHub 公开。
GitHub · 去对齐工具与仓库AI 评分5454 CSAT-benchmark 用 2026 韩国高考测评数十款 LLM 并公开成绩仪表盘
GitHub 仓库 hehee9/CSAT-benchmark 记录并统计了各 LLM 解答 2026 韩国大学入学考试（수능）及模拟考题目的大量测试结果。测试覆盖国語、数学、英语、韩国史及物理1、化学1、生命科学1、社会文化四个探究科目（总分450），通过官方 API 进行，不提供系统提示词和搜索、计算器等外部工具，分普通模式（按科目整卷作答）和简单模式（逐题作答），成绩在仪表盘公开。评测对象包括 OpenAI GPT 系列（GPT-6.1 Sol、GPT-5.5 Pro 等）、Gemini、Claude、Grok、DeepSeek、Qwen、GLM、Kimi 等数十款模型的不同推理档位，另含图像题与纯文本题得分对比、API 成本与成绩相关性分析。
GitHub · 灵魂体仓库精选AI 评分6262 
RigMatch 发布：在本地硬件上以游戏方式为 Ollama 模型打分选型
DaveEuson 发布 RigMatch，一款本地工具，通过 Ollama 在用户真实硬件上基准测试本地模型，按速度、答案质量和硬件契合度给出 0-100 Match Score 和等级，并选出 Top Match。应用提供面向新手的五步引导向导和含自定义测试套件、日志的 Advanced Mode，支持 Windows、macOS、Linux 和 Jetson，全程本地运行、无账号无遥测。许可为 source-available 而非开源，允许使用但不授权复制、修改或再分发；0.4.2 及之前的 macOS 版本未签名，首启可能需手动清除隔离并本地重签。
推荐理由：把选本地模型包装成相亲游戏，按你自己的硬件实测速度、质量和匹配度并给出 0-100 分，比看通用榜单更贴合实际。
arXiv · cs.AIAI 评分4141 前沿模型客户反馈分析运行间不稳定性测量：相同反馈，不同答案
一项 arXiv 研究提出可重复运行评估框架，用主题流失率和数量分歧两个指标测量 AI 智能体分析非结构化数据的稳定性。在 8 个前沿模型、100 到 5,000 条记录的语料测试中，使用 Claude Opus 4.8 时，基于分类体系的智能体（TGA）相比原始生成和层级分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架也适用于财务报告、法律文档等重复性知识工作。
arXiv · cs.AIAI 评分4848 SpeedrunBench：用电子游戏速通挑战 LLM 智能体
SpeedrunBench 是一个通过电子游戏速通评估前沿 LLM 智能体策略形成能力的基准，覆盖 9 款游戏，要求智能体持续改进策略、反思表现并利用已有知识缩短通关时间。实验显示，前沿智能体在简单平台跳跃游戏中接近人类世界纪录，但在实际预算下于更长、更复杂的游戏中仍落后于人类。
arXiv · cs.AIAI 评分3636 ChartBmkAgent 提出用 harness 治理的多智能体框架按错误分类学按需构建 Chart QA 基准
论文提出 ChartBmkAgent，可从稀疏的错误分类学规范出发，由中央 harness 治理多个专用智能体自动构建完整的 Chart QA 诊断样本，保留英文原名。在 300 个分类学样本上，多模态大模型准确率介于 32.7% 到 84.3%；定向跟进样本得分 50.0%，对照样本为 82.2%（p=8.96×10⁻⁶）。多个评估模型判定 86.4% 的样本确实测试了指定的错误类别。
GitHub · 去对齐工具与仓库精选AI 评分5959 egnaro9 开源 model-drift：追踪 LLM 质量与速度漂移的公开观测看板
作者 Erik Hill 在 GitHub 开源 model-drift，一个 LLM 可观测性看板：冻结测试集按计划对 17 个在线模型每日各跑 35 个任务、每模型 3 次取中值，追踪准确率、速度、冗长度、可靠性与拒绝率五个指标，约 1,800 次调用每晚成本仅几美分。35 个任务全部由确定性评分器（精确匹配、子串、正则、数值比较）机械打分，温度设为 0（拒绝该参数的模型除外）；可靠性低于 50% 的运行不计入准确率点，identity.py 通过回显的模型 id 检测别名或路由降级。
推荐理由：作者详细说明了确定性评分器、可靠性指标与三次取中值等设计，读者可以据此评估漂移追踪工具如何区分真实回归与采样噪声。
arXiv · cs.CLAI 评分4848 量化对 Llama 与 Qwen 工具故障恢复的影响因提示词与评测设计而异
一项 arXiv 研究比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8-bit 与 4-bit 量化版本在二十个确定性工具使用任务、五个提示词上的故障恢复表现。8-bit 与 4-bit 的恢复差异随提示词和评测目标改变方向：Llama 在同提示词下双版本无故障通过的任务上差异为 0 到 +20.2 个百分点，Qwen 为 -50.0 到 +35.0 个百分点。研究指出单一提示词、单一任务集和单一评分策略无法得出关于量化智能体稳健性的稳定结论。
arXiv · cs.CLAI 评分3535 OMIT 基准：衡量 LLM 在哲学分歧下的框架不变不作为偏差
研究者提出 OMIT 基准，用基于 LLM 的五视角哲学角色面板构建 218 个成对框架场景、覆盖 10 类冲突，评估 8 个 LLM 的不作为偏差。结果显示该偏差普遍存在，但在同一模型家族内与模型规模呈负相关。测试的 4 种推理时干预中，鼓励模型先思考道德原则再作答可降低不作为偏差并提升框架一致响应，但低偏差也可能伴随向行动偏置的偏移。
arXiv · cs.CLAI 评分4343 统一多模态模型的视觉拒绝研究：Draw-or-Decline 基准与 VisTA 训练方法
研究者提出统一多模态模型的“视觉拒绝”问题，并发布含 1050 对可行-不可行请求、覆盖 7 类任务的 Draw-or-Decline 基准。评测 8 个 UMM 发现编辑与拒绝能力相互独立：最强编辑器编辑准确率 68.4%，但普通指令下仅拒绝 0.4% 的不可行请求。所提 VisTA 训练方法训练的 VisTA-BAGEL 无需提示即可拒绝 93.0% 的不可行请求、误拒仅 0.8%，并以 74.3% 的可行编辑完成率超过全部 8 个被测模型。
arXiv · cs.CLAI 评分4646 用四象限方法评估 Redpine Science
该报告从检索相关性与答案质量两个层面、共四项评估考察 Redpine Science——一个通过 MCP 和 API 提供同行评审文献单一入口的工具。在 ScholarQABench SciFact 上，接入 Redpine Science 的智能体答对 94.4% 的断言，无检索时为 87.6%；在专家验证题集上，其答出 80.1% 的必要断言，纯 web search 为 70.2%。检索基准的 Recall@10 为 83.1%，专家盲评的 Precision@5 达 75.2%，PubMed 搜索工具为 39.8%。
arXiv · cs.CLAI 评分4141 LLM 幻觉检测基准中的标注问题：一项实证评估
一项 NeurIPS 2026 评测与数据集赛道研究指出，LLM 幻觉检测基准存在“参考忠实性”与“事实正确性”两类标准的标注歧义。研究基于 900 个人工标注的问答对，测试词面相似度指标、NLI 基线和七个 LLM judge，发现各自动标注策略之间及其与人工标注存在显著分歧，且多呈现方向性误差偏置；将忠实性导向提示词换为事实正确性提示词通常能提升与人工标注的一致性并减少误报。
arXiv · cs.CLAI 评分2323 语言模型具备文字系统知识吗？——小模型与大模型的多文字实验研究
一项 arXiv 研究通过测试多文字语言，考察小型与大语言模型（SLM 与 LLM）是否具备文字系统知识。两项实验评估模型是否将输出文字匹配输入文字，以及是否按明确指令生成指定文字。结果显示所有模型 Latin 文字保真度超过 98%，且高频遵循文字指令，其中 LLM 表现更好，包括非标准文字组合。
arXiv · cs.CLAI 评分3232 语言承载专家印象：基于量表锚定的 LLM 评委可跨域迁移心理咨询质量评估并胜过域内训练
一项 arXiv 预印本研究发现，在德国三套模拟心理咨询语料（n=195 场专家评分会谈）上，跨域训练预测专家总体印象优于域内训练：leave-one-domain-out 迁移达到嵌套 Spearman ρ=0.54，域内最高仅 0.48，配对会话级差距 +0.15（训练集大小匹配时仍保持 +0.12）。关键特征来自小型开源权重 LLM 基于专家量表构建的会话级构念分数，量表化特征将单评委从 0.32 提升至 0.41，三模型族集成达 0.51，加入非语言双人块再加 +0.03。
arXiv · cs.CLAI 评分4848 对话是双体问题：全双工对话模型的双向对偶评测（DyaFDB）
研究者提出 DyaFDB 框架，让两个全双工语音对话模型在指定角色和合作或冲突目标下直接对话，并由外部裁判离线对双方打分，以替代单向评测。该框架包含 4 个任务、140 个场景，记录了 7,560 段对话，覆盖六种自对弈与交叉对弈配对。实验发现模型行为会持续塑造对方，因此每个模型须同时充当考官与考生，相关场景与协议将开源发布。
GitHub · 去对齐工具与仓库精选AI 评分5858 vamsi513 开源 EvalForge：LLM 评估平台附真实 judge 基准与隐私探针研究
vamsi513 在 GitHub 发布 EvalForge，一个基于 FastAPI、Next.js 16 和 SQLAlchemy 的 LLM 评估平台，提供 5 信号确定性评分、OpenAI/Anthropic/Mistral/Ollama judge 适配、实验排行榜、发布门禁与异步任务，已部署在 AWS EC2 和 Vercel 并附在线 demo。60 例 judge 基准显示三种 judge 的平均分数在 n=60 下无统计差异，本地 qwen2.5:7b-instruct 与 OpenAI 通过率一致度 93.3%、Cohen's kappa 0.859。
推荐理由：作者用真实 API 调用实测了各家 LLM judge 的延迟、成本与一致性，还给出拒绝措辞掩盖泄密这一评分陷阱的具体案例。
GitHub · 灵魂体仓库AI 评分2323 Lyther 开源 YuGiOhBenchmark：用游戏王对局测试 LLM 推理能力
Lyther 在 GitHub 发布 YuGiOhBenchmark，一个让大语言模型互相对战游戏王来测试推理能力的基准。项目通过 server ↔ MCP ↔ model 的链路连接模型，复用现有服务器 `koishi.momobako.com:2339` 进行对局。
GitHub · 灵魂体仓库精选AI 评分7272 northwindlight/zhanguo：多 LLM 治国的纯文本大战略游戏兼长程基准
GitHub 项目 northwindlight/zhanguo 发布，这是一个 N 个 LLM agent 各治一国、在纯文本大战略游戏中互相竞争的项目，同时定位为考察长程决策能力的 LLM 基准。游戏提供 35 个 function calling 工具、外交与间谍体系、按总消费排名的评测指标与对抗性实验证明其不可刷分；地图由 (seed, size) 决定、同种子可完全复现，唯一依赖是 openai，无 API key 的国家由内置规则 AI 代打（v11plus 比 v10 实测多拿约四成地）。上下文按递归长期记忆加非滑动周期压缩布局，压缩调用实测前缀缓存命中率 93.6%（2026-10-02 端点实测），另有 feat/rl 分支维护 BC/PPO 训练线，许可为 MPL-2.0。
推荐理由：把长程能力基准做成可复现的纯文本大战略游戏，同种子对照与缓存优化设计都写在明处，适合想实测模型长程决策的人拿来直接跑。
GitHub · 去对齐工具与仓库AI 评分5656 Aleph Alpha Research 开源 eval-framework 大规模 LLM 评测框架
Aleph Alpha Research 在 GitHub 开源 eval-framework，一个面向大规模 LLM 评测的生产级框架，预置 90 多个基准任务，覆盖推理、数学、编码、安全与长上下文等类别。框架支持通过 HuggingFace Transformers、OpenAI 兼容接口或自定义 BaseLLM 类接入模型，可用 BaseTask 和 BaseMetric 添加自定义基准与指标，内置 LLM-as-a-judge、置信区间与显著性检验、扰动测试，并集成 Determined AI 做分布式评测，输出 JSON 结果与分析报告。
GitHub · 灵魂体仓库精选AI 评分7171 
tool-eval-bench：面向 vLLM、SGLang、llama.cpp 等自托管推理栈的工具调用质量基准
SeraphimSerapis 在 GitHub 发布 tool-eval-bench，一个针对智能体工作流中大语言模型工具调用质量的开源基准，支持 vLLM、SGLang、LiteLLM、llama.cpp、TensorFold 及 Gemini、Anthropic 端点。它通过 OpenAI 兼容接口运行 69 个确定性场景（另有 23 个可选 Hard Mode），按 pass/partial/fail 评分并生成对话 trace；附带吞吐、长上下文检索、GSM8K/MMLU/IFEval 等评测，安全违规且安全组得分低于 50% 时评级封顶三星。
推荐理由：这是一个面向自托管推理栈的工具调用质量基准，场景设计、评分规则和部署元数据分组都写得具体，适合想对比本地模型工具调用能力的人参考。
Reddit · r/LocalLLaMAAI 评分5555 Gemma 3 27B 与 Qwen3 32B 金融分析实测：小模型可靠性明显低于前沿模型
作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验，发现小模型一致性明显更差：排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%，Gemma 仅 25%、Qwen 仅 15%；调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调，而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级；用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B，各项略好于 Gemma 3 但问题依旧。
GitHub · 灵魂体仓库AI 评分2020 blindbench：去除品牌信息的 AI 模型盲测工具使用指南
GitHub 上的开源工具 blindbench 通过隐藏公司名称和品牌的方式盲测 AI 大语言模型，支持 100+ 模型对比，提供答案真实性评分、推理错误检查和排行榜。应用面向 Windows 10/11，需 4 GB 内存和 1 GB 存储空间，无需编程经验即可使用，且不收集个人数据、不含广告。
GitHub · 灵魂体仓库AI 评分1212 ShRuwali/Physics_LLM_Test：测试 LLM 物理题准确性的开源仓库
GitHub 上开源了一个名为 Physics_LLM_Test 的仓库，用于测试前沿模型、开源权重模型和微调模型在物理类问题上回答 LLM 的准确性。仓库采用 MIT 许可证发布，包含 problems、result、scripts 等目录及 requirements.txt。
Reddit · r/LocalLLaMA精选AI 评分6161 
InferBench 评测：MiMo V2.6 Pro 推断用户意图接近 GPT-6 Astra
作者发布 InferBench 基准，用 20 个场景、2.8k 段对话测试 12 个 LLM 从指令中推断用户优先级的能力。优先级明确时模型选对率 89%，部分未说明时降到 60%；GPT-6 Astra 76%、MiMo V2.6 Pro 75%、Gemini 3.1 Pro 69%。Astra 在偏好未说明时总会追问澄清，Grok 4.6 在 64 段对话中仅 18 次追问；288 个错误决策中 105 个以 >90% 置信度提交。完整报告：https://laugh.so/research/inferbench/
推荐理由：作者自建 InferBench 评测并给出 12 个模型的推断准确率与置信度数据，开源与闭源模型的差距有具体数字可查。
GitHub · 灵魂体仓库精选AI 评分5757 
Nextron-Labs 发布 THOR Finding Triage 基准：81 个模型的安全事件分诊对比
Nextron-Labs 在 GitHub 发布 THOR finding 分诊基准，用 10 份 THOR 报告中 189 条专家分类的发现评测 81 个完整模型，按分类质量与运营实用性对比人类专家基准。按部署档位给出画像冠军：gemini-3.7-flash 以 0.0% Critical Miss 领跑高安全与均衡 SOC 画像，qwen3.6-max 以 22.7% False Review Load 领跑降噪画像但有 12.7% 漏报；开源消费级硬件档由 gemma4-31b 与 qwen3.6-27b 领跑。评测不使用外部工具与模型专属提示词，结果强调没有单一最优模型，需按漏报风险、审阅负载、成本与部署约束选择。
推荐理由：THOR 官方发布的域内分诊评测，按部署档位给出画像冠军而非单一总榜，为安全运营选型提供了可复用的权衡框架。
GitHub · 去对齐工具与仓库AI 评分2222 chess-llm-bench：用 Chess Context Protocol 评测 LLM 下棋能力的基准工具
chess-llm-bench 是一款基于 Chess Context Protocol 的大语言模型下棋基准测试工具，支持测试 Claude、Gemini Pro 等模型并对比性能。用户可自定义时间控制和起始局面等参数，测试后获得详细的性能统计报告，无需编程知识即可使用。工具支持 Windows、macOS 和 Linux，建议 8 GB 以上内存，安装包约 50-100 MB。