方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
192 条精选近 30 天 192 条共收录 880 条
mnemonic-proxy 作者在 AgentLongBench 上用 Qwen3.8 Flash Next（IQ3_XXS、Strata 0.1.40、单张 RTX 4070 Ti 12 GB）对比四种方法：归档加 recall 工具的 proxy 得 86/100，全窗口 69，LLM 摘要 47，截断 49。第一轮因题目歧义各方法都接近随机（proxy 52、summary 56），在每题加一句澄清后重测，proxy 对 summary 合并配对检验 p=7.6e-9，对全窗口 +17 分（90% CI [+7, +26]）；128k 下全窗口 32/50 的回答撞到 3,072 token 推理预算。
推荐理由：作者用预注册的两轮测试区分了题目歧义与真实差距，并给出各方法的置信区间、耗时和显存数据，局限也写得很清楚。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
furkanbati 在 GitHub 开源了 llm-evaluation-platform，一个用于评测大语言模型输出的 REST API 平台，用 Ollama 生成答案、可插拔指标打分、SQLite 存储每次评测。平台提供 Exact Match、Numeric Match、Token F1、语义相似度和 LLM-as-a-Judge 等八种指标，评测后台运行并有并发上限和队列限制。在 23 个标注用例上，llama3 作为 judge 正确决策 22/23 并拒绝全部 13 个错误答案，judge 通过 XML 标签包裹内容并按数据处理来抵抗提示词注入，但包含注入指令的正确答案仍是唯一失误。
推荐理由：项目给出了八种评测指标在同一批 23 个标注用例上的正确率对比，可以按答案类型选指标，部署门槛是 Docker Compose 加 Ollama。
vibrunazo 在 GitHub 发布 RotomArena，一个让大语言模型自组宝可梦队伍并在 Pokémon Showdown 上逐回合对战的竞技基准，网站 rotomarena.org 公开评分、每局回放和各模型推理记录。主基准 Rotom Champ Bench 采用 c5 规则集（50 级、6 选 3、每回合 8192 token 预算、隐藏思考上限 4096 token），评分用 Bradley-Terry 拟合 Elo 并给出 bootstrap 95% 置信区间，参与者包括经 OpenRouter 接入的模型、本地 llama.cpp 模型、决策模型、去掉了语言模型的 PokéChamp 规则实现和随机 AI；代码采用 MIT-0，数据采用 CC0 1.0。
推荐理由：原文写明了评分方法、隐藏思考 token 上限和幻觉判定规则，读者可以据此判断这个基准的公平性设计。
The-Pack-Man 在 GitHub 发布 DuckDB_Dbt，用自然语言提问即可在本地 DuckDB + Ollama（qwen2.5-coder:7b）上生成 SQL、执行并解释，dbt 建模并通过手写 semantic_manifest.yaml 注入业务规则，SQL 走只读连接，失败自动重试（默认2次）。作者用32题golden集做消融评测：qwen2.5-coder 7B 在 temperature 0 下，仅schema 时总体执行准确率 56.2%（business_rule 类仅 15.4%），加语义 manifest 后总体 90.6%（business_rule 92.3%），manifest 提升 +34.4 个百分点，修复12题、破坏1题。
推荐理由：作者用32题golden集做了加与不加semantic manifest的消融，还列出了残余失败案例和自述局限，结论可复核。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
PipeRoll 开源了 seismograph 仓库，一个独立模型行为观测站，自 2026-08-20 起每日对 43 个文本模型（16 家实验室，含 Anthropic、OpenAI、Google、DeepSeek 等）运行固定探针电池，发布行为漂移的 witnessed readings，实测已上线（seismo.piperoll.org）。设计上采用双层电池：Tier 1 固定探针累积基线，Tier 2 每次程序化生成新题用于检测评估作弊导致的固定分与新鲜分 divergence；每次读数经 cosign 签名锚定到 Rekor，附完整 provenance。
推荐理由：每日固定探针加冻结基线的设计，把模型行为漂移变成可追溯的观测记录，方法论与治理规则都公开可查。
arXiv 论文（arXiv:2610.24649）在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中，Jev 使单次尝试成本上升 19%（几何均值比 1.19，95% CI 1.02-1.36），通过率不变（73.0% vs 73.0%）；比小模型 Claude Haiku 5.5 控制器便宜（比值 0.81），但比安慰剂贵 22%。离线评估中 Jev 排序优于规则（AUROC 0.78 vs 0.62）但校准差：判为未完成的运行中 87% 实际通过，导致要求验证本已正确的工作；所有控制器都从未选择放弃运行。
推荐理由：论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响，数据具体，结论对脚手架设计有参考价值。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
GitHub 仓库 Jessie-QingYu/jev-in-the-wild 汇总了 TypeSafe AI 的 System One 模型 Jev 的真实用例、开源项目、基准测试和批评，共 429 条条目，其中 213 条来自 Reddit、Hacker News、YouTube 和博客等 GitHub 之外渠道。仓库包含 255 个开源项目、61 个实测用例、91 条分析批评，并设有专门展示 Jev 失败案例的板块，如 24 小时期货模拟交易亏损 3.15% 的实测记录；数据源为 data/entries.json，每周期更新，声明与 TypeSafe AI 无关联。
推荐理由：这份清单把负面结果和批评单独列出，并强调条目以实测数据为准，读者可借此了解 Jev 生态里哪些用法真正被验证过。
Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash，并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB（511 GB），模型权重本身 511 GB，实际只能用每台 Spark 约 80%-92% 的内存，模型无法完整驻留内存，需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表（带约 4 GB row cache）才能跑起来。
推荐理由：作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash，给出逐档 prompt 的完整数据，并指出 Wccftech 把磁盘占用误报为内存需求。
arXiv 论文提出 FDE-Gym 基准，包含来自 20 个真实客户场景、18 个行业的 95 个端到端交付任务，考察智能体澄清模糊需求、发现未言明约束并在生产级系统上交付方案的能力。评分以客户自身成功指标的改进归一化（0 到 1），并对与利益相关者的交互（消息、试运行、等待时间）施加惩罚；同时评测了 7 家提供商的 13 个模型配置，最佳配置平均分 0.56，仅完成 14/95 个任务（得分至少 0.8 且无事故）。主要瓶颈是发现未言明约束，但即便在 23 个拿到全部关键事实的任务上，最佳配置也只有 10 个达到 0.8 以上的业务提升，显示解决明确任务与真实客户交付之间存在显著差距。配套有在线练习平台、代码和数据。
推荐理由：基准把交付结果量化为对客户业务指标的改进，还给出 13 个模型配置的实测对比和瓶颈定位，便于评估真实交付能力差距。
论文提出 System1-Arena 基准，统一给模型相同的决策请求并按概率打分，考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境，评测 30 个模型；最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM，延迟仅四分之一，推理型 LLM 最准确但成本约为快速 LLM 的 70 倍，闭环中大型开源 LLM 成功率最高（至多 32.9%）。
推荐理由：论文用统一基准量化 System-1 与 System-2 模型的决策分工，读者可借此判断哪些决策不必走生成式推理。
华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270，用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级（escalate）决策，按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97，但不确定性触发的模型漏掉 32–97% 的必要升级，9.7B 配置在冲突下从 0.97 降到 0.78；语言化置信度不一致（ECE 0.10–0.54）。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93，但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00，结论限于该基准。
推荐理由：论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例，并提示路由控制器也要单独做泛化测试。
研究者提出 VALCON，一个通过双角色变化把价值一致性操作化的评测框架，包含 VAB-Consistency、VAB-Boundary、VAB-Challenge 三个基准套件，代码和数据已开源。对 28 个 LLM 的实验显示普遍的跨角色不一致：输出高度合规的模型常常无法让自身评判与自己的生成对齐。机制探针发现与这种行为不对称相关的角色依赖表征解耦，据此提出的表征定向干预可有效缓解一致性失败。论文被接收为 Findings of ACL: EMNLP 2026。
推荐理由：论文把价值一致性单列为一个对齐维度，给出评测套件、机制分析和干预方法，对关注模型自我评估可靠性的读者有参考。
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准，每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性，被要求特定结构时约一半情况落在人类范围内；自动化裁判与71位人类读者都更偏好模型默认的线性故事，非线性版本在81%的关键判断中被认为更难跟上，读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由：论文用83部作品语料和71位人类读者对比模型非线性叙事能力，给出了具体差距数据而非泛泛结论。
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。
waxinz 在 GitHub 发布 Arcturos，一个本地优先的 LLM 基准测试与评测面板，所有数据保存在用户自有的本地 SQLite 文件中。它可对 OpenAI 兼容或 llama.cpp 原生推理服务器做基准测试，测量 decode tok/s、prefill tok/s、TTFT、wall time、MTP/speculative acceptance、并行流等多项指标并支持多上下文长度；支持带图表、固定基线和逐指标差值的并排对比，以及由外部 LLM judge 盲评的单轮与多轮 prompt 评测（pairwise A/B 偏好、按 judge 和类别统计胜率），并提供套件胜率与覆盖率报告、CSV 导出和 append-only 存储。
推荐理由：开源的本地 LLM 推理基准与评测面板，数据存本地 SQLite，可对比吞吐、TTFT 并用外部模型盲评 prompt。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。