新闻、仓库与研究，按时间排列。
一位 Reddit r/LocalLLaMA 用户在约 1 万行客服任务路由数据集上，对比了多个 ≤3B 决策模型与微调后的 Qwen Embedding 0.6B 基线。结果显示 Qwen Embedding 0.6B 准确率最高（0.7865），所有决策模型均未超越基线，Jiwo-0.8B 以 0.7027 居首，D1-Omni-600M 延迟最低（16.68 ms）。作者还发现较大的决策模型表现反而不如小模型，尤其是 liquidai 的模型。
/u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash，后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中，Haiku 低档更快且便宜约 4 倍，但同样两个 brief 反复失败，例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面，高档 60 次工具调用也没找到；DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8，Haiku 常把标题写成回答第一句，还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成，每组只跑一次，作者说明这不是大型基准测试。
Reddit r/LocalLLaMA 用户对比测试了 Qwen Flash 的 Q2_0 与 IQ2_XS GSQ-RCO 两种量化版本在旧笔记本上的表现。结果显示 IQ2_XS 更好地保留了世界知识，但比 Q2_0 更容易出现循环输出，尤其在关闭思考模式时；IQ3 则严重拖慢 prefill。两者在基准测试中各有优势领域，作者邀请其他用户分享使用体验。
作者用 469 题领域评测对比多个 Qwen3.8-27B 微调模型，mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 在准确率、token 用量和完成时间上最优，仅 1 次超限。Opus 5.5 以 99.6% 准确率居首，但本地模型比前沿模型慢 28 倍（19 分钟 vs 9 小时），换取约 100% 的隐私。gpt-oss-120b 在 pandas/numpy 任务上表现糟糕，评测工具已开源。
GitHub 上的 llm-intelligence-monitor 是一个轻量回归测试项目，用于监控 GPT 等大模型是否出现能力下降。自 2026-10-05 起自动日测 schedule 已停用，改为按需人工运行：默认 8 道固定锚点题 + 8 道分层轮换题，每题运行中英文镜像，四模型（GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、GPT-5.6 Sol X High）并行测试，每模型每轮执行 32 个测试。项目还增加了基于轻量 Agent Harness 的应用型评测通道，评分以客观隐藏检查点为主，不依赖 LLM Judge。
GitHub 开源项目 LLMpanorama 是一个基于 Streamlit 的牙科 AI 评测系统，用于对比 GEMINI、CLAUDE、CHATGPT 三种多模态大模型按 Pell & Gregory 和 Winter 分类法判断下颌阻生智齿的能力，研究包含 129 个病例和 4 名数据录入成员。工具支持自动解析 AI 回复中的 P&G Class、Winter's Class、Confidence (%) 等字段，每 5 分钟自动备份并同步生成 ai_evaluation_results.xlsx。项目可免费部署到 Streamlit Community Cloud，也可本地通过 streamlit run app.py 运行。
一位 Reddit r/LocalLLaMA 用户用 RTX 3090 和自建 WebUI 对 8 名普通人做了约两个月的盲测，轮换 Qwen 3.6 27B、Gemma 26B-A4B 等 7 个本地模型，共处理 7,912 次请求。结果参与者普遍偏爱 Gemma 模型的回答，多数人以为自己在用 ChatGPT 5.5/5.6；抱怨集中在 9B 及以下模型“理解不了”。使用场景以文档写作和语法检查为主，仅 51 次请求用高推理档，绝大多数请求上下文约 64K。
作者用 12 小时自动化编程测试对比 Strata 托管的 Qwen3.8-Flash-Next-UD-IQ4_XS 与本地 llama.cpp 运行版本（两者均 Q8_0 KV-cache、推理设为 xhigh）。Strata 大幅提升 prefill 速度，但出现混淆是否已创建报告、幻觉读取工具输出、反复写入损坏文件等可靠性问题，作者已停用，认为其不适合企业级应用开发环境，建议必须配合全自动测试和 QA 流程使用。
开源项目 llm-value-rankings 按智能（Artificial Analysis Intelligence Index）、速度与价格综合计算价值分，覆盖 300+ 个 LLM，每日通过 GitHub Actions 自动更新。
Open SLM Evaluations 发布，这是一个包含 106 个 SLM（150M 参数及以下）benchmark 成绩的数据集，附各模型链接、参数量与名称。评测独立完成，每个模型在 Runpod B200 上运行约 30 GPU 分钟，数据以 Apache 2.0 协议开源。
作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目，用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略：rules 策略全字段正确率达 87.5%，few_shot 75.0%，zero_shot 60.0%，仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著（p=0.007）。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计，并用确定性校验层检查数字一致性；事后故障注入测试显示完全自洽的错误数字（协调改价）在 49/49 次试验中都无法被算术校验发现，zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型，结果未必适用于真实发票。
推荐理由：用合成发票把提示词策略、确定性校验和可复现评测串成完整流程，还用故障注入演示了纯算术校验的盲区，方法可迁移到同类抽取评测。
开源项目 eval-connections 提供基于《纽约时报》Connections 谜题的语言推理评测框架，通过 OpenRouter 支持 200+ AI 模型（含 GPT-5、o3、Grok-4 等推理模型）。4.0.0 版新增 one-shot 模式，模型一次提交全部 4 组，含陷阱检测加分，每题最高 5 分、20 题满分 100 分。框架支持并行执行（默认 8 线程）、prompt 缓存、成本追踪和可复现评测，并有人机交互模式。
Massed Compute 开源了 gpu-benchmark 仓库，收录多款 LLM 及图像/视频模型在 RTX PRO 6000 Blackwell、H100、H200 NVL、L40S 等 GPU 上的推理速度评测数据，涵盖 Llama 3 系列、DeepSeek V4.1 Flash、Qwen3.8 27B、GLM 5.3 Flash 等模型。2026 年新增测试改用 vLLM 和 SGLang 引擎，固定输入 128 / 输出 128 tokens，并在 concurrency 1 / 8 / 32 下运行，Wave 5 的复现脚本位于 scripts/wave5/。
作者发布了本地 llama.cpp 模型基准测试套件，测试环境为 Tesla V100 32GB 加 RTX 3060 12GB 双 GPU，llama.cpp v9836（upstream-dflash 分支），统一 8K 上下文并开启 flash attention。结果显示 V100 上 MTP 推测解码带来明显收益，Qwopus3.6-27B-Coder-Compat 在 MTP n=3 下达 40.3 tok/s，比无推测快 29%；而 35B MoE 模型在 RTX 3060 上 MTP 反而拖慢速度（25.5 降至 16.9 tok/s），建议该卡用 no-spec 并开启 --cpu-moe。
推荐理由：作者在双 GPU 本地系统实测了 MTP 推测解码的适用边界，27B 密集模型受益而 35B MoE 反而变慢，结论可直接迁移到类似硬件选型。
apolskiy 发布 AP-Model-QC 仓库（MIT 许可），处于 Phase 3，包含 70 个分级用例：41 evaluator、21 security、8 tool，覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现（openai 8、claude 5、grok 1、gemini 0），撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次，11 项发现存在同题异答；录制回放让任何发现无需厂商账号即可复现，如 pytest --engine grok --mode replay --tests 134205。
开源基准 SilverquiLLM-bench 通过让 LLM 编程智能体在自定义游戏引擎中以 Python 类实现万智牌（MTG）卡牌来评测其代码能力。任务卡牌来自训练时不存在的新 MTG 系列，降低记忆污染风险；评测维度包括卡牌正确性、参考卡牌回归和引擎回归三项，采用隐藏测试套件，智能体以黑盒 Docker 容器运行且与模型无关。当前工作集 hob-medium 选取 5 张 HOB 卡牌，历史 SOS 基准选取 10 张卡牌，roster 覆盖 GPT-6 Astra、Sol、Luna 及 Claude Opus 5.5、Sonnet 5.5、Fable 5.1、Haiku 4.5。
一项 25 组配对任务实测显示，本地运行 Qwen 3.8 27B 的质量为 89.5 分，DeepSeek Flash API 为 92.6 分（满分 100），12 项任务套件各胜 6 项。编码任务上两边全部通过：本地 10/10 智能体运行全绿，修复 4 个 bug 两边各 5/5 轮全部成功。代价是本地耗时为云端的 2.5–5.5 倍，但除电费外零成本，云端 12 项任务仅花费 0.14 credits。
GitHub 用户 dhunuma-commits 上线 llm-testing 仓库，用 DeepEval 框架对 LLM 进行测试。仓库包含一个 TestLLM 文件，目前尚无 star、watch、fork，也没有发布版本和贡献者信息。
GitHub 用户 Maicarons 开源了 artificial-analysis-leaderboards 仓库，每日采集 Artificial Analysis 的公开排行榜数据快照，覆盖 LLM、text-to-image、image-editing、text-to-speech、text-to-video、image-to-video 六类榜单，数据每天 05:13 UTC 由 GitHub Actions 抓取，采用 MIT 许可。
法国政府项目 compar:IA 是一个开源 LLM 竞技场，用户提交提示词后由两个匿名模型作答并投票，事后揭晓模型名。项目由 DINUM、法国文化部和欧盟 ALT-EDIC 支持，2026年6月已累计 70 万次对话、25 万次投票（约89%为法语），测试超过 130 个模型。公共榜单以 Bradley-Terry 分数和 95% 置信区间呈现盲投票偏好，数据集以 Etalab Open Licence 2.0 与 CC BY 4.0 发布在 Hugging Face。2026年9月发布的 2.0 版新增消息历史、个人榜单和管理后台，支持企业、行业或语言社区用 Docker 自部署实例，丹麦的 AI-arenaen 已上线第二个实例。
Tinybird 发布了开源工具 llm-benchmark，用于评测各 LLM 依据自然语言问题生成分析型 SQL 的正确性，结果发布在 https://llm-benchmark.tinybird.live/。评测基于 2 亿行 GitHub archive 数据，每个模型需回答 50 个问题，支持通过 OpenRouter 测试 Grok-4、Claude Sonnet 4、DeepSeek Chat v3、Gemini 2.5 Pro、O3 等模型，测量的指标包括 SQL 正确性、执行成功率、首 token 时间、总耗时和 token 用量，生成的 SQL 无效时会将报错回传给模型自动重试最多三次。
EuroEval 是一个开源的欧洲语言模型鲁棒性基准测试框架，前身为 ScandEval，由 Dan Saattrup Smart 维护。项目提供文档与数据集生成脚本，支持通过 uv run 运行脚本复现评测数据集，并欢迎社区贡献代码、新增数据集和运行志愿 GPU 评测节点。项目获得 Google Gemini credits 与 OpenAI credits 等赞助，用于评测 GPT-4-turbo 的荷兰语、冰岛语、法罗语和德语表现。
作者开源了 gdpval-realworks，为 GDPVal Gold Subset 构建可复现的实验流水线和静态面板，覆盖 9 个行业 44 种职业共 220 项真实专家任务，要求模型产出表格、报告、演示等可审阅文件。仓库将执行完成、产物完整性、Self-QA 与外部评分四类信号分开记录，本地面板无需云端凭据即可运行，云上路径通过 OIDC、镜像摘要固定和 Docker 断网等控制限定边界；默认冒烟配置用 gpt-5.2-chat 生成、gpt-5.6-sol 评分，任务级成本按产生与评分两类分别记账。
marinsokol5 在 GitHub 发布 am-i-nerfed，一个本地逻辑谜题自测工具，以 CLI 和 Agent Skill 形式判断模型当天是否被降智。任务由随机种子在本地生成，默认中等难度限时 180 秒，支持 Claude Code 和 Codex。2026-10-05 的初步横评中 gpt-6-astra 以 85.0% 排名第一，claude-opus-4-6 因从未在截止前保存答案得 0 分；作者还观察 to Anthropic 模型难以遵循简单指令、Fable 5.1 因安全分类器误拦无法可靠测试，以及 Anthropic 推理速度比 OpenAI 快约 4-6 倍。
推荐理由：工具让用户在自己的订阅环境里用私有任务自测模型当日状态，作者还附上了十三款模型的初步横评结果。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
llm-counting-benchmark 项目通过 OpenRouter 兼容 API 调用九个视觉模型，对 FSC-147 数据集中选定的六张 Group 1 图像进行计数测试（共 54 个回答），结果于 10 月 3 日保存。基准工作流为 main3.py → eval2/ → 三页网站，模型涵盖 Gemini 3.1 Flash Lite、DeepSeek V4.1 Flash、GPT-5.6 Luna、Claude Sonnet 5.5 等，每模型结果含预测数、置信度、延迟与 API 报告成本。另有 main4.py 比较低/中/高推理档位，目前 GPT-5.6 Sol 已从选定模型中移除。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
一位 Reddit 用户用同一句简单提示词，测试 3 个 Qwen 模型在 Android 上构建天气应用的表现，分别是 Qwen flash、Qwen3 S（Q3_S）和 Qwen 3.8 27b 的 Q4_XS、Q3_XXS 量化版本，结果以截图形式发布在 r/LocalLLaMA。
GitHub 上的 prod-evals-cookbook 通过五个渐进阶段，以知识库智能体为例教学如何构建生产级 AI 评测。应用支持 Windows、macOS 和 Linux，需 4 GB 内存和 200 MB 磁盘空间，无需编程基础，可从 Releases 页面下载使用。
Reddit 用户在 4 卡混合主机（3x P102-100 + RTX 3060 12GB）上对比 ik_llama.cpp 与 mainline llama.cpp，运行 Qwen 3.8 Flash-Next 177B（IQ3_XXS，约 89 GB，35 层卸载 GPU、13 层走 AVX-512 CPU、32k context）。mainline 达到 prompt eval 19.70 tokens/sec、生成 10.86 tokens/sec，ik_llama.cpp 分别只有 5.48 和 8.43 tokens/sec，且未启用 CUDA graphs。
该仓库以游戏线上服务 bug 报告为案例，用 Ollama 运行 qwen2.5:7b 做工单一级分诊，并以现职 QA 实务为基础设计评测体系持续验证其判断。v1.4 构成包含格式重请求、废弃确认、Critical 检查清单等由代码强制执行的步骤；在从未运行过的 25 件最终评测集上两次测量，幻觉、缺陷废弃、人工确认遗漏、格式违规均为 0 件，格式 STRICT 100%，Critical 漏判 2/10，平均响应 2.29 秒。仓库还提供回归门禁、幻觉自动检测、pytest 与 GitHub Actions CI，并记录了 v1.0 起 llama3.1:8b 因编造缺陷和设备信息落选的对比过程。
hongkongee 在 GitHub 发布 sql-eval-harness，用 SQL Validity、EM、EX 三项指标对 NL-to-SQL 系统评分，只要提交 predictions.jsonl 即可打分，不关心 SQL 由 zero-shot、RAG 还是 LoRA 微调模型生成。工具自带 10 题 OMOP CDM v5.3 测试集与沙箱 PostgreSQL 评分逻辑，并提供 infer_lora.py 推理脚本和基于 sqlglot 静态分析的 API 评测脚本（Syntactic Validity、Format 偏离率、schema 幻觉、响应速度）。已知局限包括 6 个题目因沙箱库无对应 concept_id 数据导致 EX 区分度低，且目前仅支持单一 db_id。
GitHub 上开源了一个名为 YangSimon/ai-llm-leaderboard 的大模型排行榜项目，仓库基于 Vite 和 Tailwind CSS 构建，包含 crawler 爬虫、GitHub Actions workflows、docs 文档及 src 源码等目录。该项目可在线访问 index.html 页面，代码以仓库形式在 GitHub 公开。
GitHub 仓库 hehee9/CSAT-benchmark 记录并统计了各 LLM 解答 2026 韩国大学入学考试（수능）及模拟考题目的大量测试结果。测试覆盖国語、数学、英语、韩国史及物理1、化学1、生命科学1、社会文化四个探究科目（总分450），通过官方 API 进行，不提供系统提示词和搜索、计算器等外部工具，分普通模式（按科目整卷作答）和简单模式（逐题作答），成绩在仪表盘公开。评测对象包括 OpenAI GPT 系列（GPT-6.1 Sol、GPT-5.5 Pro 等）、Gemini、Claude、Grok、DeepSeek、Qwen、GLM、Kimi 等数十款模型的不同推理档位，另含图像题与纯文本题得分对比、API 成本与成绩相关性分析。
该报告从检索相关性与答案质量两个层面、共四项评估考察 Redpine Science——一个通过 MCP 和 API 提供同行评审文献单一入口的工具。在 ScholarQABench SciFact 上，接入 Redpine Science 的智能体答对 94.4% 的断言，无检索时为 87.6%；在专家验证题集上，其答出 80.1% 的必要断言，纯 web search 为 70.2%。检索基准的 Recall@10 为 83.1%，专家盲评的 Precision@5 达 75.2%，PubMed 搜索工具为 39.8%。
Lyther 在 GitHub 发布 YuGiOhBenchmark，一个让大语言模型互相对战游戏王来测试推理能力的基准。项目通过 server ↔ MCP ↔ model 的链路连接模型，复用现有服务器 `koishi.momobako.com:2339` 进行对局。
作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验，发现小模型一致性明显更差：排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%，Gemma 仅 25%、Qwen 仅 15%；调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调，而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级；用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B，各项略好于 Gemma 3 但问题依旧。
GitHub 上开源了一个名为 Physics_LLM_Test 的仓库，用于测试前沿模型、开源权重模型和微调模型在物理类问题上回答 LLM 的准确性。仓库采用 MIT 许可证发布，包含 problems、result、scripts 等目录及 requirements.txt。
Nextron-Labs 在 GitHub 发布 THOR finding 分诊基准，用 10 份 THOR 报告中 189 条专家分类的发现评测 81 个完整模型，按分类质量与运营实用性对比人类专家基准。按部署档位给出画像冠军：gemini-3.7-flash 以 0.0% Critical Miss 领跑高安全与均衡 SOC 画像，qwen3.6-max 以 22.7% False Review Load 领跑降噪画像但有 12.7% 漏报；开源消费级硬件档由 gemma4-31b 与 qwen3.6-27b 领跑。评测不使用外部工具与模型专属提示词，结果强调没有单一最优模型，需按漏报风险、审阅负载、成本与部署约束选择。
推荐理由：THOR 官方发布的域内分诊评测，按部署档位给出画像冠军而非单一总榜，为安全运营选型提供了可复用的权衡框架。
chess-llm-bench 是一款基于 Chess Context Protocol 的大语言模型下棋基准测试工具，支持测试 Claude、Gemini Pro 等模型并对比性能。用户可自定义时间控制和起始局面等参数，测试后获得详细的性能统计报告，无需编程知识即可使用。工具支持 Windows、macOS 和 Linux，建议 8 GB 以上内存，安装包约 50-100 MB。