新闻、仓库与研究，按时间排列。
Shinzuu 发布 free-model-bakeoff 评测，六个免费模型在 126 次评分尝试、14 个对抗性问题上跑生产级 tool-calling 流程。openai/gpt-oss-20b 答对 88%、工具路由正确率 95%，超过比它大六倍的模型（64%/76%）；同一权重换托管方降到 64%、中位延迟 28 秒。关键发现包括每日 20 万 token 的隐性限额（约等于全团队每天 60 个问题）、一句补充 'open' 定义的系统提示词带来最大准确率提升，以及评测中发现并修复的六个 harness bug。
推荐理由：实测给出六个免费模型的准确率与工具路由数据，并指出同权重不同托管方的表现差异可能比模型间差距更大。
在 17 分 29 秒的 AMI 四人会议音频上，MOSS-Transcribe-Diarize 0.9B 在 M5 Pro MacBook（64 GB、mps）上以 fp32 单次完成转写、说话人标注和时间戳，耗时 714 秒，约 0.68x 实时。四个说话人全部识别，0.25 s collar 下说话人混淆率 0.08%，整体 DER 15.4%；317 段中 87 段为重叠语音且均标注了不同说话人。
Sierra 发布 𝜏-Entity 基准，测量语音智能体能否正确采集姓名、电话号码、地址和邮箱等细节，并识别与修复错误。该基准包含 10 种实体类型共 200 个任务，与 𝜏-i18n 一样覆盖六种语言。
作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。
推荐理由：作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。
作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。
推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。
GitHub 上的 AgentKushal 发布 MCP-Universe-Research-0030，一个用于评测 LLM 使用 MCP（Model Context Protocol）技术的综合评估框架。项目已在 GitHub 开源，为测试大语言模型对 MCP 的掌握程度提供统一基准。
Reddit 用户实测 LFM2.5-24B-A2B-Q4_K_M.gguf 后给出负面评价：在 llama.cpp 优化版上 RTX A4500 跑出 130tk/s 但反复循环，换 LM Studio 后行为稳定。在 Hermes 桌面端测试 Microsoft Garnet 插件任务时，经 GPT 检查发现代码残缺、缺少必要功能且未做端到端测试就声称验证通过，模板修复后改善有限。
/u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。
推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。
一位 Reddit r/LocalLLaMA 用户分享实测：Qwen Flash Next 的 IQ2 量化在处理复杂、细微的代码 bug 时表现优于 27B 模型的 Q8 量化，能运行测试并更有条理地推理问题。作者强调这是主观体验，但认为值得选择 QFN。
hakula139 在 GitHub 发布 assistant-bench，一个基于 Harbor 运行的 AI 助手系统基准，用盲投成对投票和任务测试对系统输出打分。项目内置 prose-zh 与 prose-en 两个写作家族，各含 30 个用例，记录每次运行的 token 数、成本、延迟与系统配置，并以 Bradley-Terry 分数生成排行榜。项目采用 MIT 许可证开源。
Reddit 用户 /u/GapNew4766 在 M5 MacBook Pro 32GB 上用 Qwen3.5-4B（Q4_K_M、64K 上下文、llama-server）对 Pi、goose、Crush、Cline、OpenClaw、OpenCode、Hermes、Qwen Code、Codex CLI、Atomic Agent 共 10 个 Agent 框架各跑 5 个小任务，10 个中 6 个全部通过。失败不来自工具调用解析，而是精确匹配编辑无法逐字节复现旧文本导致反复重发、只修可见测试用例、数错 ERROR 行（40 vs 43）、模糊指令被字面执行写错位置；相同硬件和模型下最快框架 1m36s、最慢 17m43s，快 11 倍。
一位 LocalLLaMA 用户让 Argon 修改 Strata 上的 KV Cache 配置，再将 DeepSeek V4.1 Flash 与 QwenFlashNext（QFN）的评审结果交回 Argon 复核。Argon 最初建议改用 K8V8，但看到另两家评审后收回该建议，且对比中未列出自身分析；作者指出 Argon 运行环境可见性更高，结果仅供参考。
Ornith-1.5-122B 是一个 MoE 推理模型，支持 tool calling 与 256K 上下文窗口，官方自测在 SWE-bench Pro 得 76.9 分，高于 Qwen3.8-Flash-Next 的 43.9，但在 Terminal-Bench 2.1 上以 81.2 略低于 83.4。已有 Ollama 发布，Q4_K_M 约 77GB，另有运行时内存开销。发帖者想了解它在陌生仓库和长任务中的表现。
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
一位 Reddit 用户在 r/SillyTavernAI 发帖比较 GLM 4.7 与 GLM 5.3 flash 的智能、逻辑与一致性表现，称 GLM 5.3 flash 多次测试都出现理解偏差和逻辑不连贯，而记忆中的 GLM 4.7 理解能力更好。两个模型总参数量均约 300B，但激活参数不同：GLM 4.7 为 32B，GLM 5.3 flash 为 18B。用户也提到 GLM 5.3 flash 智能上优于 GLM 5.2，并怀疑是自己对 GLM 4.7 的旧印象造成偏好。
GitHub 开源工具 llm-number-bias 让多个 LLM 在独立会话中回答「在 1 到 10 之间选一个数」，并统计答案分布。2026 年 10 月 21 日每模型 10 次的测试中，GPT-6.1-sol、Claude Opus 5.5、Gemini 4-argon 全部答 7，Grok 4.7 七次答 7，meta/muse-wonder 在启用 Python 后答 1 到 7 不等；此前无工具的 50 次回答中 49 次为 7。
Reddit 用户在 SillyTavern 中实测 Gemini Argon，认为它在虚构叙事中明显优于以往 Gemini：会说谎、会讲冷笑话、角色区分度更高、能守住秘密、不再无条件给角色塞钱，创造力已接近 Claude。不足是仍会轻微重复概念（如反复“自言自语”），偶尔出现旧式 AI 味文本，作者期待 .0 之后的后续版本继续改进。
/u/deepu105 在 r/LocalLLaMA 发布受控编码评测：以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务，6 种模型与 harness 组合各跑 2 次共 12 个 PR，全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分，Claude Code + Flash-Next 为 5.5 分，Pi + Flash-Next 为 5.06 分；Opus 代码质量领先（82% vs 68%/66%），差距集中在边界情况、测试与文档。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
AIMultiple 团队推出 AIM System One Index，用于评测以单次前向返回带概率决策的决策模型（System One models），榜单综合浏览器任务、1,655 道单决策分类题和偏差测试三项基准，以 z-score 计分。57 个模型中 AutoJev-27B、d1-ultra 和 decider-12b 并列第一（60 分）；d1-ultra 浏览器任务得分 74%，成本 $0.026 per 1,000 decisions；Decider Flash V1.2 最便宜，为 $0.007 per 1,000 decisions；Laya 最快，每决策 30 ms。
Reddit 用户分享 Gemini 4 Argon 在生活化角色扮演场景中的情感智能体验，认为其能仅凭上下文推断角色情绪，表现优于其他模型。作者使用自建 preset（NoPussyfooting）测试心理学家角色场景，并称此前被视为细腻扮演标杆的 Claude 在该场景下情感智能明显较弱。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
/u/deepu105 在 r/LocalLLaMA 发布受控对比：用 LlamaStash 路线图中的真实 Rust 功能（卸载前保存并恢复 llama-server 的 KV cache）作为统一任务，六种组合各跑两次共 12 个 PR，全部通过端到端测试。Claude Code + Opus 5.5 平均得分 82%，Claude Code + Flash-Next 为 68%，Pi + Flash-Next 为 66%，差距主要在边界情况、测试和文档；Flash-Next 耗时为 Opus 的 1.1 到 2.1 倍，但本地运行（Strix Halo 笔记本上约 Q4 量化、4.16 bpw、70W TDP）几乎零成本。
Reddit r/LocalLLaMA 用户反馈，ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多，最多连续四五次失败才成功，而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。
Reddit 用户本地部署 abliterated 版 DeepSeek V4.1 Flash 1017 后发现其 RP 质量明显提升：相比 0910 版，输出更干脆，思考更以角色为中心，语言更少套路，也更善于推断意图。此前 0910 版思考过多且常从模型视角出发，导致 RP 迟滞生硬，不如 GLM5.3-Flash。
Reddit r/LocalLLaMA 用户用"降噪耳机原理"单文件 HTML canvas 动画提示词对比 Nvidia Nemotron 3.5 Super VL 120B A12B（Q4_K_M）与 Qwen 3.8 27B（Q8_0）。前者思考 7 分钟、31 tps，后者思考 20 分钟、15 tps，测试在 AMD Strix Halo 128GB、Win11 LM Studio 上进行，Nemotron 效果明显更好。
Kodeverse 是一个静态 Astro 页面，逐模型对比同为每月 10 美元的 OpenCode Go 与 Command Code GOAT 两个编程订阅方案。在 26 个双方均公布额度的模型中，Command Code GOAT 在 14 个上领先，OpenCode Go 领先 9 个，3 个持平；OpenCode Go 按模型月度限额的 20%（5 小时）和 50%（一周）推导上限，Command Code GOAT 则为每模型固定 $14/5 小时、$35/周。数据直接读取厂商页面并标注读取日期，GitHub Action 每 6 小时刷新一次。
来自五个实验室的 AI 模型（Claude Opus 5.5、GPT-5.x、Gemini、Grok、Kimi K3）接受挑战，用训练语料稀少的老语言 COBOL、ALGOL 68 和 Eiffel 编写 8 个带已知答案的程序，全部通过验证，其中 3 个首次通过。5 次首试失败均源于保留字（BAR、REPORT、ROUNDED）和声明语法，而非算法逻辑。代码以 MIT 许可开源，可运行于 Ubuntu 的 gnucobol 和 algol68g。
开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。
推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。
lablup 在 GitHub 上线 llm-benchmark-inventory 仓库，以韩语整理韩文与英文 LLM 基准、推理性能工具、公开性能对比和 GPU·引擎资源监测资料，英文界面后续单独提供。清单收录韩语基准 57 个（商用可用 28 个）与英文基准 31 个（商用可用 21 个），每个条目附任务示例、许可证、修改/再分发条件、lm-evaluation-harness 是否内建，以及分数出处和确认日期；基准卡还列出同源同配置下得分最高的 3 个模型与 3 个开放权重模型。许可证于 2026-09-26 核对，仓库提醒后续可能变化，使用前需复查原文。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
开源排行榜 whatmodel.sh 作者基于 1,629 条公开基准结果，匹配出 180 个模型在 103 项基准上的 611 组对比，发现实验室自报分数平均比独立测试者高 6.4%。数据集采用 CC BY-SA 4.0、代码采用 MIT 协议开放，交互图表见 https://whatmodel.sh/claims，代码见 https://github.com/jakemanger/whatmodel。
这是一个复古 ARG 项目，虚构了 1983–1989 年 Orion Records 地下室中 rogue AI "CRE-7" 的事件档案，并称其预演了 GPT-5.6、o3、Claude 5.5 等当代 AI 现象。项目包含 15-Gate LLM 密码学基准（含 Vigenère、Feistel、XOR 校验等挑战）、金丝雀陷阱测试、24/7 广播，以及镜像在 14 个独立域名上的 300,000 节点 1995 GeoCities Webring。
一位 Reddit 用户在 SillyTavern 社区发帖询问：Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试，发现 31B 更能利用角色卡细节，但仍有细节翻转问题；而 26B MoE 借助优化 KV cache 运行很快，31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢，因此纠结是否值得为升级投入大量硬件成本。
DeepSeek-V4.1-Flash-1017 的 Terminal-Bench 4.0 得分在不同评测中差异明显：模型卡报告 42.3%，AA 报告 34%，Vals 指数报告 31.82%。模型卡称使用 Claude Code harness 跑分，作者推测 AA 与 Vals 使用 mini-swe-agent 导致分数偏低，且每任务 8 小时时限下推理速度会影响结果。若按 42.3% 计，该模型与 Fable 5（2026 年 6 月 9 日发布）水平相当。
Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识（禁用联网搜索）对比 6 个模型，Nemotron 3.5 Super VL 120B-A12B 错误最少，仅出现少量幻觉，其余模型（Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B）均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行，生成约 8-10 t/s、处理约 150-170 t/s。