方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
作者发布 MultiPartyTurnBench（MPTB），包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型，评测话轮结束（EOT）检测与打断（INT）检测两项任务。基线模型 EOT 召回率达 82.5-92.6%，但五个全双工智能体在选择性打断处理上接近随机水平（46.9-54.7%），Gemini-3.8-Live 对 97.7% 的附和信号让出话轮，MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。
推荐理由：基准把真实话轮转换与易混淆的非事件分开评测，并给出五个全双工智能体在选择性打断上的具体短板数据。
arXiv 论文（arXiv:2610.20417）对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测，发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94，旗舰模型也未消除差距。主要失败不是幻觉：抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口，仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛，但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断，结论是置信度分层只能用于排定复核优先级，不能当真值。
推荐理由：论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成，发现主要问题不是幻觉而是背景提及，并给出置信度分层的部署边界。
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench，一套评测大语言模型台湾领域知识的开放套件，含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据，含 148 科目共 255,854 道四选一题，剔除 2,180 道依赖图片的题目后用 253,674 题计分；后者含 1,696 道关于台湾日常与当代生活的精选题，以冻结的七模型池校准至及格边缘（46.9-74.6%，中位约 54%），leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型，22 个超过该区间上限，最好成绩 91.6%。
推荐理由：论文用同一批题目量化了评测装置本身对分数的影响，答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。
Yilin Jiang 在 arXiv 发布论文（arXiv:2610.19659），提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中，480 条回复有 54% 不可用，最好的模型失败率仍达 30%，失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43，用第二个模型改写回复可降到 0.36，并经人类标注者盲测确认。
推荐理由：论文提出可量化的回复可用性指标，并给出追加一条消息或调用改写模型两种降低失败率的做法。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
Fikri Alfaraby 发布 naughty-judge-replies，一套让 LLM judge 评测解析器出错的回复语料，覆盖 letter、yes-no、json-pass、json-score、grade 五种格式，定位类似 Big List of Naughty Strings。实测显示 promptfoo 0.124.1 factuality 有 4 次错读、closedqa 5 次错读，Opik 与 Inspect AI 的具体计数见表；错读原因包括把 'France)' 中的字母当类别、以末字符 'Y' 判 pass、取首个 JSON 对象及类型强转。
推荐理由：语料逐条实测了 promptfoo、Opik、Inspect AI 的 verdict 解析器，给出错读、猜测、拒绝的具体计数和成因。
论文提出 Autonomous Science Bench，包含六项基于已发表生物学、化学和材料科学实验的预算制设计-构建-测试-学习任务，智能体需选择实验批次、获取真实实验室测量结果并交付预测模型。评测设发现与学习两个校准门槛，八种智能体-模型配置共 144 次试验中最好成绩为 67% 通过率，最难任务 24 次仅 3 次成功；部分智能体排名准确但发现的设计少，另一些则相反。版本 0.1 的任务、实验室运行时和公开排行榜已发布。
推荐理由：基准用真实实验室测量而非仿真，双门槛设计能区分发现与学习两类失败，八种配置的实测结果已给出。
一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话，筛出 15,555 条健康对话做安全评测，约五分之一获高风险评级。风险集中在症状与病情类提问，表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医；加入用户自身上下文后高风险比例上升 13-17 个百分点，约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。
推荐理由：论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性，发现合成评测可能漏掉的风险模式。
GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准，结果在 modeltested.com 自动更新，当前榜单覆盖 65 个本地模型。评测分编码（30 题，沙箱内跑隐藏单元测试）、文档抽取（24 题）和决策（56 题，含 Brier score 校准）三套，大部分题目以 age 加密存放、密钥为 CI secret，公开与隐藏分数并排展示以暴露背题；模型经 OpenRouter 以全精度或 8-bit 运行，部分 Q4 模型在 Mac mini（M4, 16 GB）上用 Ollama 补测以量化损失，并给出显存适配估算而非速度数字。
推荐理由：这个开源基准用隐藏题集加密和 canary 字符串对照公开分，可用来识别模型背题，且单模型复测成本仅几美分到几美元。
Gemini 4 Argon 于 10 月 13 日全面开放，Pro 会员可在 Gemini APP 使用，Antigravity 需 100 刀 Ultra 会员。作者实测认为其知识类专业能力强，Vals Index 综合第一（68.9）且单次成本仅 15.68 美元，但 CUA-bench 仅 4.83% 排倒数第二；前端效果不及 GPT-6 Astra，额度消耗快，中文写作味道重，整体体验糟糕，不建议订阅 Ultra。
推荐理由：作者给出 Gemini 4 Argon 在多项基准与实际使用中的具体表现和成本数据，可作为是否订阅 Ultra 的参考。
Google 发布 Gemini 4 Argon，面向开发者、企业和消费者全球开放，API 定价为每百万输入 token 2 美元、输出 token 10 美元，支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一，ERQA 具身推理基准得 87%，在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一；安全方面对抗性违规减少近 2 倍，Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。
推荐理由：官方发布给出工程、科学与机器人三线的实测数据，可用于评估该模型在长程复杂任务上的真实表现。
AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B，基于 Qwen3.5-35B-A3B 微调，Apache-2.0 许可，只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73（JEV-27B-VL 为 53.64），单 B200 中位延迟 204 ms；同时放出 NVFP4 版本，下载 25.6 GB、显存 23 GiB，可在 32–48 GB GPU 上运行，Decision Index 得分 59.18、96.6% 答案与 bf16 一致。
推荐理由：模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据，并演示了游戏与机器人控制等短板场景。
Reddit 用户 /u/jakecoolguy 发布开源排行榜 whatmodel.sh，输入 RAM 和 GPU 即可查看本地可运行模型的排名和运行命令，并与同分数的 API 模型对比。每个模型分数基于 19731 条公开基准结果拟合，结果均附来源链接；数据、评分代码和 bench 脚本开源于 github.com/jakemanger/whatmodel，支持 curl whatmodel.sh 终端使用，并接受贡献真实 tok/s 数据和新模型分数。作者指出 32GB Mac 可 4-bit 本地运行 Qwen3.8 27B，得分与 GPT-5 相当。
推荐理由：作者开源了评分方法和数据，每个模型分数都能追溯到 19731 条基准结果来源，可自行核验后选用。
arXiv 论文提出一套针对 LLM Agent 评测框架可靠性的 Oracle 完整性审计方法，含五条状态完整性不变量和三个已知答案控制，通过注入七类缺陷验证全部可检出且修复后无误报。对某 Agent 基准的审计发现奖励函数会在评分前改变环境状态，4,320 条 episode 的回放修正使 database-pass 标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。另发现策略文档、工具描述与工具错误字符串影响测得轨迹可靠性，工具描述的探索性效应最大（-9.2 pp），且第二任务域的语言效应符号反转；审计方法无法验证第二个基准，因其记录的 API 调用日志无法重建参考终态，论文发布了含审计套件与故障注入目录的复现包。
推荐理由：论文给出了一套可检测评测 Oracle 缺陷的审计方法，并实测出奖励函数缺陷把 94.3% 的成功率拉低到 65.5%，方法附带完整复现包。
作者开源 Silvaiee，一个由 AI 智能体在一天内构建、几乎全部由 Claude（辅以 GLM 和 DeepSeek）编写的 Pokémon FireRed ROM-hack 项目，核心是面向 LLM 的命令行 pk，基于 pokeemerald-expansion 1.17.1 的 FRLG 构建，智能体不读原始游戏文件、用短命令编辑地图、地形、事件和对话，将一次地图编辑的成本降到几百 token。附带两个可复现的盲评基准，Claude Opus 以地图 6.0、对话 8.3 居首，并发现模型自评地图分数最高虚高 +5.5，而盲评 AI 打分与人类评审几乎一致。项目为实验性质，仅支持 FRLG，无官方支持。
推荐理由：项目附带了可复现的盲评基准和自评偏差数据，想比较各模型做关卡设计与写对话的差距可以参考。
Reddit 用户 /u/Better_Bus_1443 用 GLM 5.3（Z.AI 提供方）横向对比 Chatfill III、Nemo Vivarium、Realistic Frankenstein 2.2.1.3 三种预设与无预设对照，覆盖开场、谄媚、反全知、情节推进和 NSFL 五个场景，并附截图。结论包括无预设开场人物塑造反而更鲜活，Chatfill 与 Nemo 会强制尊重角色截瘫设定，RF 的多个追踪器互相矛盾，只有 RF 能通过重度 NSFL 场景测试。
推荐理由：作者用五个具体场景实测 Chatfill III、Nemo Vivarium 和 Realistic Frankenstein 在 GLM 5.3 上的表现差异，并附原始聊天截图。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。