跳到正文
只看评测#Agent
今天10月27日周二1 条
10月26日周一
  1. GitHub · 灵魂体仓库24

    G-llm-benchmark：Strata 与 Claude Haiku、Sonnet、Opus 编码智能体的成本×质量基准测试

    GitHub 上一个名为 G-llm-benchmark 的项目正在构建编码智能体的成本×质量基准，对比本地运行的 Strata（独立运行或由 Opus 驱动）与 Haiku、Sonnet 和 Opus 的表现。目前四个任务已全部写好，所有参赛者通过了 smoke runs，validate、plan、run、collect 和 smoke 等状态命令可用，依赖包括 Linux、uv、Claude Code、Firejail 和 jq。作者将手动比较各交付物，完整报告尚未出炉。

10月24日周六
  1. Reddit · r/LocalLLaMA31

    Spark X2.6 4B 实测：同尺寸中表现出色

    Reddit 用户实测 Spark X2.6 4B，称其工具调用能力在同级模型中表现出色。在 pi cli 测试中，它能编写 Blender Python 脚本生成并渲染红色立方体，理解复杂 Rust 代码库，12 次工具调用即完成任务，还能读取全局 agents.md 并在每轮后列出变更文件。模型小、速度快、KV cache 占用小，temp 1.0 下思考精准，但缺少视觉能力，MTP 支持即将跟进。

  2. Reddit · r/LocalLLaMA54

    Kimi K3.1 与 GPT-6 Astra 同任务 Agent 实测对比

    作者让 Kimi K3.1 与 GPT-6 Astra 各跑一次相同的 Three.js 3D 飞行 Agent 任务并对比数据。K3.1 用时 12:28、20 步、读 725K prompt tokens、输出 49.2K tokens，Astra 用时 9:17、35 步、读 1.2M prompt tokens、输出 22.2K tokens；K3.1 推理占比 56%、成本约 $1.1-1.4（估算），Astra 约 $2.63。作者指出步数少可减少 prefill 负担但 decode 更重，并提醒本地部署需在所有子调用中固定 temperature 为 1；K3.1 因图像审查工具参数错误盲跑，Astra 首跑因工具参数问题被拒 29 次调用。各仅一次运行，成本为估算。

10月23日周五
  1. Reddit · r/LocalLLaMA66

    Flint 40B-A2.5B vs Ornith 1.5 35B-A3B vs Nemotron 3.5 Lightning 本地编码 agent 横评

    作者在相同的 Opus 5.5 规划、3 worker 并行设置下，用 llama.cpp Q8_0 在 RTX PRO 6000 Blackwell 96GB 上实测三个小型 MoE 编码同一个 Three.js 万圣节连锁反应场景。Flint 40B-A2.5B 综合最优：墙钟 7:36、修复 6 次、Opus 花费 $0.41；Nemotron 3.5 Lightning 解码最快但生成约 5 倍 token、修复 16 次、花费 $0.95，其编辑成功率仅约 17%。作者指出换 worker 模型使规划者账单从 $0.41 涨到 $0.95，裸 tok/s 并不决定总耗时，且三者在单轮内都没产出完全可用的场景。

    推荐理由：同一任务同机实测三个小型 MoE 当编码 worker，给出 token 消耗与 Opus 花费对比，显示编辑成功率比裸速度更影响实际耗时。

10月22日周四
  2. Reddit · r/LocalLLaMA63

    ggufbench 实测 8 个本地 GGUF 模型的 agent 编码能力：27B 级已够用

    作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。

    推荐理由：作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。

  3. GitHub · 去对齐工具与仓库68

    agents-per-gpu 实测单张 A40 上 vLLM、SGLang 与 TensorRT-LLM 的 Agent 并发容量

    作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。

    推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。

  5. Reddit · r/LocalLLaMA66

    Reddit 网友实测两模型辩论修复脚本：44 题得 38 分超过 120B 单模型

    /u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。

    推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。

  6. GitHub · 去对齐工具与仓库34

    hakula139 开源 assistant-bench：基于 Harbor 的 AI 助手系统日常任务基准

    hakula139 在 GitHub 发布 assistant-bench，一个基于 Harbor 运行的 AI 助手系统基准，用盲投成对投票和任务测试对系统输出打分。项目内置 prose-zh 与 prose-en 两个写作家族，各含 30 个用例，记录每次运行的 token 数、成本、延迟与系统配置，并以 Bradley-Terry 分数生成排行榜。项目采用 MIT 许可证开源。

  7. Reddit · r/LocalLLaMA54

    10个Agent框架实测Qwen3.5-4B：50次运行暴露哪些真实失败模式

    Reddit 用户 /u/GapNew4766 在 M5 MacBook Pro 32GB 上用 Qwen3.5-4B（Q4_K_M、64K 上下文、llama-server）对 Pi、goose、Crush、Cline、OpenClaw、OpenCode、Hermes、Qwen Code、Codex CLI、Atomic Agent 共 10 个 Agent 框架各跑 5 个小任务，10 个中 6 个全部通过。失败不来自工具调用解析，而是精确匹配编辑无法逐字节复现旧文本导致反复重发、只修可见测试用例、数错 ERROR 行（40 vs 43）、模糊指令被字面执行写错位置；相同硬件和模型下最快框架 1m36s、最慢 17m43s，快 11 倍。

  8. Reddit · r/LocalLLaMA50

    Ornith-1.5-122B：有人把它放进 coding agent 试过吗？

    Ornith-1.5-122B 是一个 MoE 推理模型，支持 tool calling 与 256K 上下文窗口，官方自测在 SWE-bench Pro 得 76.9 分，高于 Qwen3.8-Flash-Next 的 43.9，但在 Terminal-Bench 2.1 上以 81.2 略低于 83.4。已有 Ollama 发布，Q4_K_M 约 77GB，另有运行时内存开销。发帖者想了解它在陌生仓库和长任务中的表现。

10月21日周三
  1. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 对比 Opus 5.5：同一 Rust 任务六组合 12 次基准实测

    /u/deepu105 在 r/LocalLLaMA 发布受控编码评测：以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务，6 种模型与 harness 组合各跑 2 次共 12 个 PR，全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分，Claude Code + Flash-Next 为 5.5 分，Pi + Flash-Next 为 5.06 分；Opus 代码质量领先（82% vs 68%/66%），差距集中在边界情况、测试与文档。

10月20日周二
  1. Reddit · r/LocalLLaMA31

    Qwen3.8-FlashNext 与 Qwen3.8-27B 工具调用问题对比

    Reddit r/LocalLLaMA 用户反馈，ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多，最多连续四五次失败才成功，而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。

10月19日周一
  1. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent，工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

10月18日周日
  1. Reddit · r/LocalLLaMA48

    browsecomp-plus-mini：从 BrowseComp-Plus 830 条查询中精选 15 条，无需 LLM judge 即可近似排序 deep-research 智能体

    Reddit 用户发布 browsecomp-plus-mini，从 BrowseComp-Plus 的 830 条查询中选出 15 条子集，用于低成本比较搜索智能体。该子集与完整基准的加权 Spearman 排序一致性达 0.88（随机 15 条为 0.75），全基准分差超 10 分的两个系统约 96% 情况下保持排序。答案均为 1-4 个词，按归一化精确匹配评分，无需 LLM judge，成本不足完整运行的 2%。

  2. Reddit · r/LocalLLaMA42

    9 条思考规则在长程智能体任务上的实测：GLM-5.3-Flash 跑 Terminal-Bench 2.0

    作者在 Terminal-Bench 2.0 全部 89 个任务上测试了 9 条思考规则：同一模型 GLM-5.3-Flash 配 mini-swe-agent，High thinking 下加规则得 59.6%，不加规则为 52.8%。该成绩高于 Claude Opus 4.6 + Claude Code（58.0%）和 Gemini 3 Pro（56.9%），低于 GPT-5.5 的 82.2%。作者称排行榜分数为多次尝试平均，其结果为单次尝试，仅供参考。

10月16日周五
  1. Reddit · r/LocalLLaMA59

    RTX Pro 6000 实测 Ninfer6000、vLLM 与 llama.cpp 跑 Qwen3.8-Flash-Next 对比

    作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。

    推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。

10月15日周四
  2. Reddit · r/LocalLLaMA34

    LocalLLaMA 实测：模型差异可能来自损坏的工具模板与文件名问题，而非模型本身

    一位 LocalLLaMA 用户用 MCP host 和 ML-Flow 追踪本地模型工具调用后发现，Gemma4:27b 更新后工具调用失败从大量降为零，而 Gemma e2b 和 qwen2.5 仍频繁失败，问题多出在默认工具模板与 harness 配置不匹配。文件名中使用括号也会破坏部分工具。作者认为比较开源模型优劣时需先排除 harness 与任务差异。

  3. Reddit · r/LocalLLaMA37

    Qwen 3.8 27B 与 Flash Next 125B 同题对比：威胁监测项目的代码评审、测试与双方失败点

    同一提示词下，Qwen 3.8 27B 与 Flash Next 125B 分别构建实时网络威胁情报平台（FastAPI、异步摄取、WebSockets、Three.js 地球）。两者均未满足完整需求，但 27B 的代码库更值得修复延续：Flash Next 测试更多（34 通过 vs 16 通过），却出现 Feodo 适配器 5 条记录解析 0 条、DShield 误读列、重复摄取致 count=100 变 200 等数据契约错误。

10月13日周二
  1. GitHub · 去对齐工具与仓库42

    societysim：让多个 AI 模型玩狼人杀的开源实验项目

    GitHub 开源项目 societysim 用确定性 Python 引擎让多家模型（Gemini Flash、Llama 4 Maverick、Qwen3 235B、DeepSeek-V3.1、GPT-oss-120b 等）在 10 人局狼人杀中对局，每局记录公开发言与含怀疑度评分的私密 scratchpad。100 局结果显示村民胜 62 局，Gemini Flash 以 OpenSkill 33.01 排名第一、胜率 65%、识狼 AUC 0.77，其谎言使 52% 的目标怀疑发生偏移；全部 100 局模型调用成本仅 $11.02。

10月12日周一
  1. Reddit · r/LocalLLaMA55

    BrokenML：测试 Agent 能否修复故障 ML 作业的基准

    作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。

  2. Reddit · r/LocalLLaMA29

    Opencode 与 Codex harness 对比：同一模型表现差异大引发讨论

    一位 r/LocalLLaMA 用户测试发现，同一模型在 Opencode 和 Codex 官方 harness 下表现不同：Codex 模型遵循指令，而 Opencode 下的模型频繁拒绝请求、附加安全提示，对生物和核相关内容过度谨慎。测试在最高思考档位下用 Sol 6.1、Astra、GLM 5.3、Muse、Spark 1.3、Qwen 3. Max 多模型并排对比，结果一致。

  3. Reddit · r/LocalLLaMA27

    LocalLLaMA 用户自建 C# 网络电台播放器基准，实测本地模型真实代码能力

    一位 Reddit 用户分享了一个自建基准：让模型用 C# 写一个带 TUI 的网络电台流播放器，测试本地模型的真实能力而非速度。在 RTX 3090 上，Qwen 3.8 27B（119K 上下文，70tok/sec）与 Qwen Next Flash（128K 上下文，120tok/sec）各需至少两小时多轮调试才能跑通，但调试和探测能力出色；GPT 6.1 Sol（High reasoning）则一次生成可用 WUI 应用并附带电台搜索和收藏功能，约 20 分钟、花费 69 美分。

10月11日周日
  1. Reddit · r/LocalLLaMA27

    LocalLLaMA 网友实测 Qwen3-Coder-30B 不同 endpoint 下的编程表现

    一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时，Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js；而走 Ollama endpoint 时，agent 堆出 290MB 的 node_modules 项目，"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败，重复测试 20 分钟后才可用。

  2. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。

  3. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对，快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。

    推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。

10月10日周六
  1. GitHub · 去对齐工具与仓库52

    societysim 开源：用多厂商 LLM 智能体玩狼人杀来测量说谎与识谎能力

    polter-dev 发布 societysim，一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架，记录每步行动和私有推理日志，测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现，规则为 7-9 人的 Ultimate Werewolf；标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成，报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型，日志数据集与排行榜将发布在 Hugging Face。

  2. Nielsen Norman Group · ux 研究34

    新版 Siri 的最大优势不是智能

    Apple 新版 Siri AI 已于 2026 年 9 月 14 日开始以英文 beta 形式推出。作者用相同的任务对比旧版 Siri、Siri AI 与 ChatGPT，发现 Siri AI 兼具个人上下文访问与 AI 能力：它能基于设备端 Spotlight 索引找到兄弟短信中的餐厅推荐和纽约周末照片，而 ChatGPT 虽强但无法访问个人短信和照片。文章指出，有用的 AI 助手需要个人上下文、能力和准确的用户认知模型，并提醒应向用户展示搜索了哪些信息来源。

  3. GitHub · 去对齐工具与仓库66

    shi3z 发布游戏NPC用本地LLM日语基准 npc-llm-bench

    shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。

    推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。

  4. Reddit · r/LocalLLaMA27

    LocalLLaMA 网友发起纯 open-weight 模型社区基准测试

    一位 Reddit r/LocalLLaMA 用户发布了纯 open-weight 模型基准测试，包含 coding、agentic 与按领域/语言/意图分类的可筛选实时结果，全部在本地 2xRTX 3090 + 128GB RAM 电脑上运行，不使用 LLM-as-judge。目前 DeepSeek-V4-Vision-Exp 领先但各模型各有强项，Qwen3.8-27B（Uncensored）正在评测，GLM-5.3-Flash-UD-IQ3XSS 和 Mellum2.1-12B-A2.5B 即将加入。作者号召社区在算力、评测和开发方面提供帮助。

  5. GitHub · 灵魂体仓库59

    karpathy-jev 技能发布：用 Jev 独立证据审查替代 AI 编码 Agent 自评

    reliable-era 发布 karpathy-jev，一个 Claude Code 技能，在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code，交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上，Claude Code + Sonnet 5 下该方案解决 20/20，虚假完成声明 0 次（原生 2 次），最后一次编辑后真正跑测试的比例 13/20（原生 1/20）；解决数差异在 n=20 下不显著，单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能，强制 hooks 是行为改变的关键。

    推荐理由：原文同时给出方法和实测数据，读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。

10月9日周五
  1. GitHub · 去对齐工具与仓库42

    CY-HYUN/text2cad-verifier：用双验证器测量 LLM 写 CadQuery 代码的正确率

    该仓库在 Text2CAD-Bench 的 30% 公开预览（151 个提示词）上，通过 Anthropic Message Batches API 用 claude-opus-5-5 生成 CadQuery（Python）代码，并用运行验证器与尺寸验证器逐一判定。结果显示，一轮修复把运行失败从 7（pro）和 11（geo）降到各 1，有公认尺寸的 119 个部件尺寸不匹配为 0。整个评测分 7 个 batch，约 0.30 M 输入、0.45 M 输出 token，按 Batch API 价格约 $5。

  2. GitHub · 灵魂体仓库75

    m-bench 开源本地 LLM 全栈基准工具，推荐 Qwen3.6-35B-A3B-NVFP4 加 vLLM 配置

    luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。

    推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。

  3. Reddit · r/LocalLLaMA37

    让 AI 模型游玩 js13kGames 平台游戏 Cat Goric：最好成绩已通过 14 关中的 8 关

    开发者让自己 2021 年在 js13kGames 制作的 2D 平台游戏 Cat Goric 接受 AI 模型挑战，目前最好成绩为一次连续运行中通过 14 个可玩关卡中的 8 关。达成该成绩的两个模型是 Qwen/Qwen3.8-Flash-Next 和 Cloudflare/clef。该项目已开源并附上运行说明，欢迎提交 PR 和指定其他模型参与测试。

10月8日周四
  1. GitHub · 去对齐工具与仓库53

    llm_chess 开源基准用多轮对弈评测 LLM 推理与指令遵循

    maxim-saplin 在 GitHub 开源了 LLM Chess 基准，让 LLM 通过多轮对话下国际象棋，评估推理与指令遵循能力，支持对战 Random Player 或 Komodo Dragon 引擎。基准发现 2024 年早期模型常幻觉出非法着法，2025 年的 o1、o3、o4-mini 等推理模型已饱和随机对手评测，因此加入 Dragon 以 Elo 锚定；指标将棋力（Win/Loss、Elo）与对话稳定性（Game Duration）分开。

  2. Reddit · r/LocalLLaMA53

    DeepSeek V4.1 Flash 在小型实测中胜过 Haiku 5.5 的研究子智能体与标题任务

    /u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash，后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中，Haiku 低档更快且便宜约 4 倍，但同样两个 brief 反复失败，例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面，高档 60 次工具调用也没找到；DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8，Haiku 常把标题写成回答第一句，还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成，每组只跑一次，作者说明这不是大型基准测试。

10月7日周三
  1. GitHub · 灵魂体仓库47

    SilverquiLLM-bench：用万智牌卡牌实现评测 LLM 编程智能体

    开源基准 SilverquiLLM-bench 通过让 LLM 编程智能体在自定义游戏引擎中以 Python 类实现万智牌（MTG）卡牌来评测其代码能力。任务卡牌来自训练时不存在的新 MTG 系列，降低记忆污染风险；评测维度包括卡牌正确性、参考卡牌回归和引擎回归三项，采用隐藏测试套件，智能体以黑盒 Docker 容器运行且与模型无关。当前工作集 hob-medium 选取 5 张 HOB 卡牌，历史 SOS 基准选取 10 张卡牌，roster 覆盖 GPT-6 Astra、Sol、Luna 及 Claude Opus 5.5、Sonnet 5.5、Fable 5.1、Haiku 4.5。