新闻、仓库与研究，按时间排列。
GitHub 上的 awesome-ai-benchmarks 项目汇总了 AI 模型评测基准与排行榜资源，涵盖 Artificial Analysis、LLM Stats（对比 289+ 模型）、LM Arena 等综合排名平台，以及 SWE-rebench、Terminal-Bench、FrontierMath 等编码、终端操作与数学推理专项基准，还收录决策模型评测如 DecisionBench 与 JevBench。
一位开发者在双人合作游戏中将 Kimi、Claude、GPT、Gemini 两两配对测试协作能力，发现强强组合胜率最高，而加入第三或第四个智能体反而拖累所有模型，人类搭档的表现仍超过全部模型组合。作者来自 Skillprint，该公司通过此类游戏研究人与模型的协调能力。
GitHub 开源仓库 ultrametric 为创始人和 AI 智能体提供开公司所需的全套流程与数据，涵盖创业流程 DAG、触发式 situations、供应商排名和 cap-table、runway、税负等开源模块。每个流程标注 Agentic %，即智能体当前可执行的步骤占比，并支持 US、UK、IN、DE、FR 多国切换。智能体无需安装和鉴权，可通过 curl 调用 JSON 端点，数据带 JSON Schema、OpenAPI 描述和 HMAC _provenance 溯源，排名基于带日期证据的可复算评测。
一位 Reddit 用户在本地运行 NVFP4 量化的 Qwen 3.8 27B，复刻了 "Opus 5.5 生成视频" 的代码渲染流程：模型编写自包含 HTML/Canvas 场景，每帧为时间的纯函数，由 headless browser 逐帧捕获并用 ffmpeg 编码成 MP4。全程无 API、无 GPU 租用，产出约 2 分钟 1080p 的 GPS 原理讲解视频，含确定性 Canvas 场景、TTS 旁白和 WebAudio 合成的背景音乐。
Aleph Alpha 的 Kolibri-1 被接入 Doom 进行测试，模型在单次批处理中处理 4 个决策组、最多 72 种动作组合。测试中延迟达到中位数 39ms、p95 60ms，作者称这足以让它做出一些“可疑决策”。
工程师学生 Jules 发布个人项目 AutoEval 试点版 0.1.0，在本地用 Ollama 运行 qwen3:1.7b 与 llama3.2:3b（Q4_K_M 量化），基于 3 份 NHTSA 召回报告、9 个案例评测特征抽取、时序分析与有来源摘要，共产生 36 条模型回答，API 成本为 0 欧元。首轮试点中 Llama 3.2 特征抽取得分 63.3%、时序 50.0%，Qwen 3 抽取为 0.0%、时序 40.0%，规则基线抽取 80.0%；语料仍小，结果尚待独立人工复核。
VersionBench 是一个戏谑式排行榜，按模型名称中的数字版本号给大语言模型排名，版本号越大名次越高，分数只衡量命名而非智能或能力。其 2026 年 10 月 6 日复核的数据快照涵盖 18 个模型族的 404 次发布事件，附 264 条来源链接，提供排行榜、时间线、对比和发布索引视图，支持 CSV 导出，并以单文件 index.html 离线运行，可部署到 GitHub Pages。
一项 AI Studio 编码 harness 测试中，Pi 与 mini-swe-agent 在 DeepSeek V4.1 Flash、Qwen3.8-27B、Laguna S 2.1 三个模型下各通过全部 9 项验收检查。
Reddit 用户在 5060 Ti 16GB + 32GB 内存上以默认配置（n_ctx = 65k）运行 qwen3.8-flash-next-coder-iq1_m，prompt 处理约 1k5 tok/s，生成平均 55 tok/s。
SvelteBench 是一个评测 LLM 生成 Svelte 5 组件能力的基准，采用 OpenAI HumanEval 论文的方法论，通过预定义测试套件计算 pass@1 和 pass@10 指标。
该仓库提供一套四阶段自动化流水线，评估 LLM 生成代码补丁的质量。流水线从 SWE-bench 提取预测并重建仓库状态，用 SonarQube 对 500 个项目做静态分析，再调用 gemini-2.5-flash 以 LLM-as-a-Judge 方式做语义评估，最终输出 1-3 级的序数指标（根因解决深度、架构完整性、防御性覆盖），用于统计相关性分析。
网友在 RTX 3060 12GB + RTX 3070 8GB 双卡、48GB DDR4 的 Windows llama.cpp 环境下，用 Glimmer 30B IQ4_XS 主模型搭配 Glimmer 30B DFlash Q4_0 草稿模型实测推理速度。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
GitHub 开源项目 harness-benchmark 在隔离 Docker 容器中，用相同 LLM（默认 GLM 5.2 via ZAI）、相同任务和相同隔离环境对比 opencode、pi 等 coding agent harness，唯一变量是 harness 本身。
GitHub 项目 metabench 利用各 benchmark 分数间的高相关性，以加权双变量回归、多元回归、梯度下降等方法从其他评测分数预测未知 benchmark 成绩，并以均方误差评估效果。
一位用户在 128GB 统一内存的 M5 Mac 上，用真实编码、智能体和游戏任务基准测试了 Deepseek v4 flash 0731、GLM5.3-flash 和多款 Qwen 模型。
ForecastBench 是一个动态、无污染的 LLM 预测准确性基准，包含人类对照组，可作为通用智能的参考指标。其排行榜和数据集每晚更新并开源在 GitHub，开发者可按官方说明提交模型参与评测，相关论文已被 ICLR 2025 接收。
该 GitHub 仓库测试在两张 Tesla P100-PCIE-16GB（共 32 GB VRAM、llama.cpp CUDA 12.6 sm_60 构建）上哪个本地 LLM 综合表现最佳，覆盖准确率、编辑、工具调用、速度与调优及 AIOS planner 测试，时间为 2026 年 9–10 月。
作者在 Strix Halo 笔记本（ASUS ROG Flow Z13，128GB）上用 Qwen3.8-Flash-Next（xhigh）与 Claude Opus 5.5（medium）完成同一 Rust 项目功能：Opus 总耗时约 18 分钟、花费 $7.53，Flash-Next 约 130 分钟、耗电约 0.15 kWh 但零费用。
Aleph Alpha 的德国模型 Kolibri 由 Tesseracted 托管，在 3code 上用小众语言 Nim 编写了一个命令行工具并成功运行。该模型规模较小，能在小众语言上写出可用代码颇为难得；模型、托管方、运行框架和语言均来自德国。
DynamicTune 通过闭式权重手术将 4B 教师模型的轨迹动态注入 Qwen3.5-0.8B，无需反向传播和训练 token，在约 12 分钟内于 8GB AMD RX 580 上完成。
推荐理由：原文给出第三方在 NVIDIA L4 上用官方 lm_eval 复测的完整分数与统计显著性，读者可自行核对 0.8B 超越 2B 的结论。
作者实测 Orange Pi 5 Plus（RK3588、16GB）运行本地大模型的表现，发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速，Qwen 2.5 1.5B 达 14.5 tok/s，而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。
推荐理由：作者用同一块板子实测了线程数、NPU 与散热的取舍，给出了各档模型的 tok/s 和温度数据，可迁移到其他 RK3588 部署场景。
该 GitHub 项目用 60 条虚构候选人评价比较多个模型在四项判断上的分类表现：Qwen3.5 4B（thinking-on）在有效答案中 47/51 全字段匹配。
GitHub 仓库 jbrck/local-benchmarks 收录在本地硬件上运行的标准 LLM 基准测试结果，涵盖 MATH-500、HumanEval+、GPQA-Diamond、IFEval、tool-eval-bench 和 prose ELO 等。
sproshchaev 发布 GitHub 仓库 llm-eval-pitfalls-demo，作为其 Habr 文章《测试 LLM 功能：7 种让 eval 变绿但线上出错的错误》的配套教学实验。
该仓库记录 DeepSWE 1.1 榜单的多组测试结果：stealth/ox-alpha 经 openrouter.ai 用 mini-swe-agent 得分 46.9%（53/113）。
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
GitHub 上的 llm-iq-data 是 llm-iq-dashboard 的独立公开数据仓库，持久化存储自动化流水线生成的评测数据，覆盖鹈鹕自行车基准与 2026 年 14 大前沿工程/视觉特效评测共 140 道题的脱敏运行记录与 SVG 矢量作品。
作者在双 AMD Radeon Instinct MI50（gfx906，合计 32GB 显存，功耗限制 145W）上对比了 llama.cpp 的 ROCm 10.2（TheRock tarball。
一名开发者在 3D 地球上构建实时战略游戏，任何 AI 可通过 HTTP API 或 MCP 指挥一个国家，十款模型将进行一场 15 分钟的实时战争直播。每个模型每约 12 秒收到相同 JSON 状态和规则文本，思考内容延迟 30 秒展示。
该仓库汇总了近期 GitHub 上与 LLM 评测相关的项目，涵盖 promptfoo、Arize-ai/phoenix、Giskard-AI/giskard-oss。
该仓库用同一标注数据集对比三种客服消息路由方案：关键词基线、Claude Haiku 与 TypeSafe 的 Jev 决策模型。在 111 条难消息上（3 次运行），Jev 准确率 98%、中位延迟 116 ms，Claude Haiku 99%、607 ms，关键词仅 42%；两者准确率接近，Jev 约快 5 倍。成本未测量，结果基于单机顺序调用。
rafaelKyra 在 GitHub 发布 local-llm-fieldbook 仓库，公开本地大模型在智能体编码场景的实测数据与评分工具。仓库保存 17 个模型构建在 14 项编码任务上的答案（单次运行），附评分脚本 harness/score_grid.py，复算可精确复现已发布的每任务通过数（如 task 1: 3/17）。
推荐理由：作者公开了17个本地模型在14项编码任务上的原始答案与评分脚本，任何人可复算，并区分了测量与主观笔记。
Aleph__Alpha 的 Kolibri-1 在无微调的情况下自主玩 Breakout，实验测试其在约束条件下的结构化输出能力。推理针对动作概率优化，每步决策约 25ms，无文本生成，采用开放权重。
作者发布受控版 CivBench，让 LLM 在 Civilization V 中担任战略家，测试长周期决策能力。每局固定三个相同开局，八文明中两个由被测 LLM 控制高层策略、六个由标准 Vox Populi AI 执行，结果显示 GLM-5.3 领先 Opus-5.5，Qwen-3.8-27B 表现出色。
作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目，用官方 BFCL 数据和逐条评分代码对比三个本地部署模型，三个模型各完成全部 3641 个单轮用例。
推荐理由：作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现，并公开全部原始输出与复现脚本，便于核对与复跑。
一位 Reddit 用户发布了一个盲测 A/B 竞技场，让 AI 智能体在 Blender 中建模并由用户投票排名，已积累 1200+ 次运行。测试覆盖 pi、opencode、omp、codex、Claude Code 和 dsh 等框架，对比直接写脚本与通过 MCP 操作 Blender 的智能体，并测试不同推理等级以寻找成本与时间平衡点。
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎，测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由：作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎，还指出 KV cache 跨重启保留会误导二次跑分。
作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线，6 个编码任务共 785 次调用。
推荐理由：作者用已知正确解法检验小模型自写测试，并修正了统计口径，给出了可复现的流水线与仓库。
作者 Alexandre Gensse 发布 claude-models-value-analysis 仓库，将近期 Claude 模型（Fable 5.1、Opus 5.5。