跳到正文
#能力评测
10月20日周二
  1. arXiv · cs.CL43

    RouterWorld：面向延迟感知 LLM 路由的对话式 AI 基准发布

    arXiv 论文提出 LLM 路由基准 RouterWorld，统一 371k 单轮响应与 76k 多轮智能体轨迹，采用 LLM-as-a-judge 协议和基于硬件的延迟标注，并设计 Cold-Start 与 Voyager 两种部分可观测路由设定。对 13 个路由基线的评估发现，多数路由器在部分可观测条件下过于重视准确率而忽视延迟。代码与基准数据已公开。

  2. arXiv · cs.CL59

    arXiv 论文研究 Agent harness 的上下文处理如何决定任务成败

    论文研究 Agent harness 跨轮次处理上下文（丢弃、摘要、回放模型推理）何时改变 Agent 成败，而非只看成本。预注册合成实验显示，所需事实可重新查回时截断上下文几乎无损失，事实不可再观察时成功率降至随机水平，两种惩罚相差 92.5 个百分点（90% CI [89.5, 95.5]），第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上，Standard harness 与 Provider Adapter harness 存在 63 分差距，改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%，不保留提示恢复 43%，叠加供应商原生推理回放再恢复 57%；这些为单次运行的点估计。

    推荐理由：论文用预注册实验拆解 harness 对 Agent 成败的影响，给出可量化的组件归因，对理解上下文管理设计有直接参考。

  3. arXiv · cs.CL37

    SpatialScout：VLM 智能体能主动探索并绘制 3D 场景地图吗？

    研究者推出 SpatialScout 基准，评测 VLM 智能体在主动物体级 3D 建图上的能力，基准包含 80 个室内场景和 3,140 个目标物体。最强的 Claude Opus 5.5 平均重叠分数仅 41.71%，47.23% 的目标 IoU 超过 0.5，仅 3.25% 超过 0.9。结果显示模型在从粗略布局到精确度量地图构建上仍有明显差距，代码已开源。

  4. arXiv · cs.CL35

    HoloCosm：跨多指标超越单一指标的基准压缩方法

    HoloCosm 是一种多指标基准压缩方法，通过联合最小化归一化分数重建误差并约束排序失真，解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上，80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236，平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。

  5. arXiv · cs.CL40

    RefCraft：通过网页开发评测视觉参考条件下的智能体生成能力

    arXiv 论文提出 RefCraft 基准，包含 300 个多模态网页开发任务，将自然语言指令与 1-5 个参考网页截图结合，评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿（M）LLM 上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。

  6. arXiv · cs.CL36

    KEEP-Bench：评估上下文压缩中的证据保留能力

    KEEP-Bench 是一个诊断性基准，通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示，即使输入平均仅 3.1K token，最强开源模型（31B）保留全部所需证据的比例也只有 66.8%，最强闭源模型为 61.6%。论文还提出 EPR 指标，发现证据召回在 4B-8B 中等规模达到峰值，主张未来研究应在小计算预算下提升信息保留能力。

  7. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama，本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。

    推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。

  8. AIHOT · 精选49

    斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半

    斯坦福团队总结三年构建医疗 AI 基准的成果：PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，其中临床决策支持和管理流程得分最低，失败主要源于跨文档与系统传递信息时丢失上下文。两项基准均以合成数据、公开代码和排行榜开放。

  9. GitHub · 3D 生成新仓库28

    LLM-RGB：评估大语言模型复杂场景推理与生成能力的开源测试集

    开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。

  10. GitHub · 去对齐工具与仓库62

    ricca200xx 开源小票抽取评测框架 llm-doc-extraction-eval

    ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架，基于 CORD-v2 数据集，通过 LiteLLM 切换模型后端，所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中，54% 的字段单元无值，全答 null 即得 54.0% 宏平均准确率；本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%，更严格的 v2 提示词将其提升到 86.0%（配对 +36.5 点）并把幻觉率降到 23.1%；对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。

    推荐理由：原文给出带置信区间和 always-null 基线的完整评测设计，读者可以照着复现小票抽取模型的幻觉测量。

  11. Reddit · r/LocalLLaMA67

    BitNet b1.58 2B4T 在 CPU 上输出仍有误，Bonsai 1.7B 各运行时均正确，ik_llama.cpp 加 -rtr 通常最快

    作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。

    推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。

  12. GitHub · 灵魂体仓库67

    kevinelong/local-llm-lab：64GB DDR5 + RTX 5070 桌面机本地模型实测笔记本

    kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。

    推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。

10月19日周一
  1. Reddit · r/LocalLLaMA64

    mnemonic-proxy 作者实测 AgentLongBench：32K 窗口加归档回取得分 86/100，超全窗口的 69

    mnemonic-proxy 作者在 AgentLongBench 上用 Qwen3.8 Flash Next（IQ3_XXS、Strata 0.1.40、单张 RTX 4070 Ti 12 GB）对比四种方法：归档加 recall 工具的 proxy 得 86/100，全窗口 69，LLM 摘要 47，截断 49。第一轮因题目歧义各方法都接近随机（proxy 52、summary 56），在每题加一句澄清后重测，proxy 对 summary 合并配对检验 p=7.6e-9，对全窗口 +17 分（90% CI [+7, +26]）；128k 下全窗口 32/50 的回答撞到 3,072 token 推理预算。

    推荐理由：作者用预注册的两轮测试区分了题目歧义与真实差距，并给出各方法的置信区间、耗时和显存数据，局限也写得很清楚。

  2. GitHub · 去对齐工具与仓库32

    GEOeval：面向法语事实问答的 LLM 网络搜索评测基准

    GEOeval 是一个带网络搜索的 LLM 评测基准，聚焦法语事实性问题与事实核查，测试对象包括 ChatGPT、Mistral 和 Gemini。它先让被测模型联网作答并提取引用 URL，再由一个或多个 LLM-judge 按 response_quality 和 citation_quality 两项标准打分，每项为 (label, score)，score ∈ [0, 10]。评测数据存于 PostgreSQL，judges 以 0.3 低温度运行且不带搜索工具。

  3. GitHub · 灵魂体仓库52

    lablup 开源 llm-benchmark-inventory，韩英 LLM 基准与许可证清单

    lablup 在 GitHub 上线 llm-benchmark-inventory 仓库，以韩语整理韩文与英文 LLM 基准、推理性能工具、公开性能对比和 GPU·引擎资源监测资料，英文界面后续单独提供。清单收录韩语基准 57 个（商用可用 28 个）与英文基准 31 个（商用可用 21 个），每个条目附任务示例、许可证、修改/再分发条件、lm-evaluation-harness 是否内建，以及分数出处和确认日期；基准卡还列出同源同配置下得分最高的 3 个模型与 3 个开放权重模型。许可证于 2026-09-26 核对，仓库提醒后续可能变化，使用前需复查原文。

  4. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent，工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

  5. Reddit · r/LocalLLaMA63

    Qwen3.8-27B 与 Flash-Next 在消费级硬件上的推理引擎实测与成本对比

    /u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。

    推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。

  6. Reddit · r/LocalLLaMA55

    whatmodel.sh 对比 611 组数据：AI 实验室自报基准分数平均高出 6.4%

    开源排行榜 whatmodel.sh 作者基于 1,629 条公开基准结果，匹配出 180 个模型在 103 项基准上的 611 组对比，发现实验室自报分数平均比独立测试者高 6.4%。数据集采用 CC BY-SA 4.0、代码采用 MIT 协议开放，交互图表见 https://whatmodel.sh/claims，代码见 https://github.com/jakemanger/whatmodel。

  7. GitHub · 去对齐工具与仓库53

    subu53 开源 litellm-routing-lab：实测发现 LiteLLM 内置复杂度分类器只是长度门槛

    作者 Sammy S Mutuku 开源了一个基于 LiteLLM 1.104.0 的成本感知路由网关，按预测的推理需求把请求路由到 Gemini 3.1 Flash-Lite 或 Gemini 3.5 Flash，并实测该分类是否有效。在 60 条标注提示词加 40 条 2x2 对照测试中，发现 LiteLLM 内置启发式分类器在该工作负载上表现为提示词长度门槛而非复杂度分类：词数 AUC 达 0.999 而分类分数仅 0.836，无技术词汇的难题得分归零，默认阈值下没有任何请求被路由到强模型。GCP 部署路径已写好但从未 apply，付费 Jev 分类器路径已配置未运行，成本节省金额未测量。

  8. GitHub · 去对齐工具与仓库38

    jdurey/retro-arg-engine：1983–1989 复古 ARG 事件档案与 15-Gate LLM 密码学基准

    这是一个复古 ARG 项目，虚构了 1983–1989 年 Orion Records 地下室中 rogue AI "CRE-7" 的事件档案，并称其预演了 GPT-5.6、o3、Claude 5.5 等当代 AI 现象。项目包含 15-Gate LLM 密码学基准（含 Vigenère、Feistel、XOR 校验等挑战）、金丝雀陷阱测试、24/7 广播，以及镜像在 14 个独立域名上的 300,000 节点 1995 GeoCities Webring。

  9. GitHub · 去对齐工具与仓库34

    dci-bench：评估 LLM 直接语料交互（DCI）能力的基准

    dci-bench 是一个评估 LLM 直接语料交互（DCI）能力的基准，评测分为文档与代码两条赛道，沿用 Inspect/Pi 六任务工作流。代码赛道新增独立仓库文件指标、行覆盖率、函数/功能证据召回、显式无金标准弃答和 ARB 预算上下文收益；2026-10-15 协议数据索引覆盖 13 个文档任务（2,399 条查询）和 287 条 ARB 代码查询。Phase 0 至 Phase 5 已实现，检索评分默认报告 recall、F1 和 nDCG@1/3/5/10/20。

  10. Reddit · r/SillyTavernAI24

    Reddit 用户求助：Gemma 4 31B 是否比 Gemma 4 26B MoE 更适合 RP

    一位 Reddit 用户在 SillyTavern 社区发帖询问：Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试，发现 31B 更能利用角色卡细节，但仍有细节翻转问题；而 26B MoE 借助优化 KV cache 运行很快，31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢，因此纠结是否值得为升级投入大量硬件成本。

  11. Reddit · r/LocalLLaMA44

    DeepSeek-V4.1-Flash-1017 在 AA 与 Vals 指数上的 Terminal-Bench 4.0 得分差异分析

    DeepSeek-V4.1-Flash-1017 的 Terminal-Bench 4.0 得分在不同评测中差异明显：模型卡报告 42.3%，AA 报告 34%，Vals 指数报告 31.82%。模型卡称使用 Claude Code harness 跑分，作者推测 AA 与 Vals 使用 mini-swe-agent 导致分数偏低，且每任务 8 小时时限下推理速度会影响结果。若按 42.3% 计，该模型与 Fable 5（2026 年 6 月 9 日发布）水平相当。

  12. Reddit · r/LocalLLaMA32

    别忽视 Nemotron 3.5 Super VL：LocalLLaMA 用户实测冷门知识问答表现最佳

    Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识（禁用联网搜索）对比 6 个模型，Nemotron 3.5 Super VL 120B-A12B 错误最少，仅出现少量幻觉，其余模型（Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B）均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行，生成约 8-10 t/s、处理约 150-170 t/s。

  13. Reddit · r/LocalLLaMA39

    Nemotron 3.5 Bolt 实测：适合小型多用户部署

    Reddit 用户实测 Nemotron 3.5 Bolt，认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4，每 5 层线性注意力（Mamba2）配 1 层 GQA 全注意力，30k 上下文仅占 200 MB KV cache（27B 为 952 MB），速度约为 27B 的两倍，智能水平与 Qwen3.6 27B 相当，幻觉率优于部分顶级模型。作者推荐单张 5090（32 GB）或 128 GB 小型主机作为理想硬件。

  14. GitHub · 灵魂体仓库38

    Funkey08/verilog-llm-agent：自我验证的 RTL 设计 LLM 智能体

    一个自我验证的 LLM 智能体可将英文硬件规格转为 Verilog，自行编译、编写 testbench、仿真并迭代修订代码，在 VerilogEval v2 上以 5 次设计版本预算对比单次调用基线，且不接触参考测试。实验设置 Baseline、Compile、Self-verified、Oracle 四种模式，计分始终使用隐藏参考 testbench，并跟踪自验通过但隐藏测试失败的概率，同时报告每个设计的 token 与美元成本。项目支持 gemini-* 与 claude-* 模型，因 VerilogEval 源自公开的 HDLBits，绝对通过率可能偏高，模式间差异更有意义。

  16. GitHub · 灵魂体仓库52

    UbhiTS/llm-compare 开源：三模型并发实测横向对比工具

    开源项目 llm-compare 可把同一任务并发发给最多三个 LLM，实时测量正确率、成本、耗时和 token 吞吐并流式展示。编码任务在沙箱中跑隐藏边界测试评分，开放性任务由盲评 LLM judge 按加权 rubric 打分；内置 17 个文件式任务，支持 Gemini、Claude、GPT、Kimi 等模型目录和自备 API key，本地一条命令启动，可经 keyless CI 部署到 Google Cloud Run，MIT 协议开源。

  18. Hugging Face · 新模型：abliterated50

    RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比

    作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本，仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快（代码 69.4 tok/s、散文 58.2 tok/s，比 Huihui 快约 5–7%），德语困惑度略低，通过 88.6K 上下文与全部 6 项工具调用测试，但多占 1.1 GB 显存导致 n-max 3 无法启动；MTP 草稿深度 n-max 2 是综合最优设置，MTP 对 prefill 无帮助反而约损失 5%。

10月18日周日
  1. Reddit · r/LocalLLaMA48

    browsecomp-plus-mini：从 BrowseComp-Plus 830 条查询中精选 15 条，无需 LLM judge 即可近似排序 deep-research 智能体

    Reddit 用户发布 browsecomp-plus-mini，从 BrowseComp-Plus 的 830 条查询中选出 15 条子集，用于低成本比较搜索智能体。该子集与完整基准的加权 Spearman 排序一致性达 0.88（随机 15 条为 0.75），全基准分差超 10 分的两个系统约 96% 情况下保持排序。答案均为 1-4 个词，按归一化精确匹配评分，无需 LLM judge，成本不足完整运行的 2%。

  2. GitHub · 去对齐工具与仓库52

    晴天 SVG 海报横评：同一提示词实测 8 平台 24 个大模型

    greenwoodpro 发布晴天 SVG 海报横评，用同一句提示词在 8 个平台、13 家厂商的 24 个模型上各生成一次 SVG，共 59 件作品，全部由模型手写矢量图形，不调用图片生成。作者用 Edge 无头浏览器按原始 viewBox 2× 渲染成 PNG，结论是能当海报用的不超过十张，最好的三张来自 v0 上的 GPT (astra) xhigh、claude.ai 的 Sonnet 5.5 high 和商汤 SenseNova；作品存在同质化重、人物回避正脸、小字排版失控等通病，且思考强度更高不等于更好。画廊托管在 GitHub Pages，仓库附 30 份 SVG 源码，其中 v0 侧 Sonnet 5.5 max 与 high 输出 MD5 相同，系重复导出已合并计数。

  3. GitHub · 灵魂体仓库47

    hallutrace：基于 HALoGEN 的 96,000 次生成幻觉溯源研究仓库

    GitHub 仓库 Napat-hi/hallutrace 公开了基于 HALoGEN 基准的幻觉溯源研究全套代码与数据，包含按 seed 20260916 抽取的 3,200 个提示词、8 个模型共 96,000 次生成及其验证结果。仓库提供 Modal 运行入口、SQLite 存储、标注一致性检验（含 precision 0.93 的计数规则核查）、infini-gram 语料检索与 Wikidata 人名消歧脚本，用于追溯模型幻觉来源。

  4. GitHub · 3D 生成新仓库18

    BUS5001 课程项目评估：Google NotebookLM 作为大学学术研究助手

    一项 BUS5001 Assessment 3 项目通过三项测试评估了 Google NotebookLM 在大学学术场景中的可用性，测试基于 AASB S2、ASIC Regulatory Guide 280 和 Australian Treasury Sustainable Finance Roadmap 三份公开澳大利亚官方文件，涵盖有据问答、多源比较和学习指南生成。结果显示输出与来源基本一致、引用可查但未逐条验证，三项测试中未确认出现幻觉。项目建议在教师指导和数据治理政策下进行受控试点，将 NotebookLM 作为辅助工具而非替代原始学术文献。

  5. GitHub · 3D 生成新仓库55

    ORBIA 基准发布，评测交互式视频世界模型的 3D 一致性

    ORBIA 是一个评测交互式视频世界模型 3D 一致性的基准，已开源评测代码、模型适配器和数据构建流水线。基准包含 720 个案例（480 个 22 秒短案例、240 个 60 秒长案例），从 ScanNet++、SpatialVID、Sekai、MiraData、自录视频和 48 个 Unreal Engine 环境的 11 万样本中精选而来，按输入保持、生成内容持久性和 3D 自一致性等六个维度加权评分，并附 27 个模型的排行榜，SolarWM-H3 以 76.32 的 Overall 分居首。

  6. GitHub · 去对齐工具与仓库22

    FAHID-KHAN 开源基于 LLM 的 CI/CD 失败诊断对照研究仓库

    FAHID-KHAN 在 GitHub 发布一个受控 CI/CD 失败诊断研究工作流，从 6 个仓库收集 90 份 GitHub Actions 失败日志，按规则筛出 74 个合格案例，并创建盲测人工 ground truth。研究对比专有模型 openai/gpt-5.6-terra 与经 Ollama 本地运行的 qwen3.5:9b（24,576-token 上下文），两者共享 medium 推理力度、提示词与 JSON schema，最终以失败类别精确匹配和证据行准确率评分。

  7. GitHub · 灵魂体仓库62

    furkanbati 开源 llm-evaluation-platform，基于 Ollama 的 LLM 输出评测平台

    furkanbati 在 GitHub 开源了 llm-evaluation-platform，一个用于评测大语言模型输出的 REST API 平台，用 Ollama 生成答案、可插拔指标打分、SQLite 存储每次评测。平台提供 Exact Match、Numeric Match、Token F1、语义相似度和 LLM-as-a-Judge 等八种指标，评测后台运行并有并发上限和队列限制。在 23 个标注用例上，llama3 作为 judge 正确决策 22/23 并拒绝全部 13 个错误答案，judge 通过 XML 标签包裹内容并按数据处理来抵抗提示词注入，但包含注入指令的正确答案仍是唯一失误。

    推荐理由：项目给出了八种评测指标在同一批 23 个标注用例上的正确率对比，可以按答案类型选指标，部署门槛是 Docker Compose 加 Ollama。

  8. Reddit · r/LocalLLaMA31

    新一代本地编程 LLM 表现相当不错，远超过去的大参数模型

    一位 Reddit r/LocalLLaMA 用户自建测试：让模型学习一种新图形语言的语法并生成可被程序解析的图形。Qwen 3.8 与 Ornith-1.5 表现最佳，两者仅 27B，却在语法理解和想象力上击败了 DeepSeek 4 flash、Qwen 3.5 122b、GLM 4.7 等更大的本地模型，想象力甚至超过 Haiku 5.5；GLM 4.7 已生成 66k token 思考仍未完成。

  9. GitHub · 灵魂体仓库38

    sandipsahoo2k2/leaderboard：开源 LLM 排行榜项目

    一个开源 LLM 排行榜项目，风格仿照 Artificial Analysis，数据分来源、永不混合：自测数据来自流式 OpenRouter 调用，参考分数来自 Artificial Analysis API，每个值标注出处。项目明确移除所有价格信息，Measured 数据按 AA 定义的 TTFT、tokens/sec 等指标以 N 次试验取中位数。前端为 Angular 21 + Tailwind v4 + ECharts 的静态页面，浏览器不调用任何 API，密钥由 GitHub Action 持有，每小时刷新 AA 数据（1 次请求），每日跑 5-trial 测量（约 $0.027）。

  10. GitHub · 去对齐工具与仓库62

    RotomArena 发布：用宝可梦对战评测大语言模型的竞技基准

    vibrunazo 在 GitHub 发布 RotomArena，一个让大语言模型自组宝可梦队伍并在 Pokémon Showdown 上逐回合对战的竞技基准，网站 rotomarena.org 公开评分、每局回放和各模型推理记录。主基准 Rotom Champ Bench 采用 c5 规则集（50 级、6 选 3、每回合 8192 token 预算、隐藏思考上限 4096 token），评分用 Bradley-Terry 拟合 Elo 并给出 bootstrap 95% 置信区间，参与者包括经 OpenRouter 接入的模型、本地 llama.cpp 模型、决策模型、去掉了语言模型的 PokéChamp 规则实现和随机 AI；代码采用 MIT-0，数据采用 CC0 1.0。

    推荐理由：原文写明了评分方法、隐藏思考 token 上限和幻觉判定规则，读者可以据此判断这个基准的公平性设计。