新闻、仓库与研究，按时间排列。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
该仓库收录了一系列大模型本地与云端实测报告：最新一篇对比 Claude Opus 5.5（Claude Code）与 GPT 6.1 sol（Codex）在同一 WebGL 任务上的表现；其余测试集中在 Qwen3.8-27B 8-bit（MLX affine8 / MLTF q8c / GGUF Q8_0）上，覆盖 256K 上下文压力测试、128K vision 性能、MLTF 与 mlx-vlm 对比，以及 DeepSeek V4.1 Flash 的 AI Werewolf 十局游戏测试等场景。
开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。
一项 BUS5001 Assessment 3 项目通过三项测试评估了 Google NotebookLM 在大学学术场景中的可用性，测试基于 AASB S2、ASIC Regulatory Guide 280 和 Australian Treasury Sustainable Finance Roadmap 三份公开澳大利亚官方文件，涵盖有据问答、多源比较和学习指南生成。结果显示输出与来源基本一致、引用可查但未逐条验证，三项测试中未确认出现幻觉。项目建议在教师指导和数据治理政策下进行受控试点，将 NotebookLM 作为辅助工具而非替代原始学术文献。
用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（IQ2_XSS 官方量化），20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s，为各构建方案最佳，其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp，但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s；GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限，draft 默认设置（每步 3 token、无置信阈值）最优。
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B，12 个用例 PASS 率 8.3%，发现间接提示词注入漏洞，LLM-as-a-Judge 比 keyword 检查更可靠；ASR 评测用 faster-whisper small（int8 量化），干净音频 WER 约 5.23%，噪声音频达 81.48%。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
GitHub 上的开源项目 CAGE（Cache-Augmented Generation Evaluation）提出在统一协议下同时衡量 KV-cache 复用（CAG）、检索（RAG）及其混合方案的服务性能与答案质量，指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"（按时且正确的请求每秒数）为核心指标，并附上 truth tax 等归因分析，覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件，但正式评测活动尚未运行，早期数据仅为试点、不可作为结果引用。
该仓库在 Text2CAD-Bench 的 30% 公开预览（151 个提示词）上，通过 Anthropic Message Batches API 用 claude-opus-5-5 生成 CadQuery（Python）代码，并用运行验证器与尺寸验证器逐一判定。结果显示，一轮修复把运行失败从 7（pro）和 11（geo）降到各 1，有公认尺寸的 119 个部件尺寸不匹配为 0。整个评测分 7 个 batch，约 0.30 M 输入、0.45 M 输出 token，按 Batch API 价格约 $5。
kmvaidya 发布开源工具 llm-arena-vram-calc，为 Arena.ai 开源 LLM 排行榜的 225 个模型补充参数量与 BF16/FP8/INT4 三种精度的显存估算，并给出每块单卡能运行的最高排名模型。serving 显存按权重乘以 1.25 计入 KV cache 与框架开销，MoE 模型按全部专家加载计算，参数解析含手动覆盖、Artificial Analysis 数据、名称解析和页面抓取四级回退，数据 24 小时缓存，当前解析成功率为 76.0%。
TheNomet/ocr-bench 在 GitHub 上开源，用带精确 ground truth 的合成挪威文档对比自托管 OCR 模型（默认 baidu/Unlimited-OCR，vLLM 跑在 SageMaker GPU endpoint）与 Claude 等托管 LLM 的文档读取表现，测量速度、准确率和成本。流程分两阶段转录和字段抽取后打分，生成报告和静态站点；整套基础设施从一个 config 文件部署、一条命令销毁，也可指向任意 vLLM 服务器本地运行。MIT 许可。
该仓库针对 SportSee 的 NBA 表现分析 RAG 助手进行审计与重构，用 RAGAS 评估并以 Pydantic 校验数据、Pydantic AI 结构化输出、Pydantic Logfire 追踪全链路。在固定 32 个问题、mistral-large-latest 评审、k=5 的条件下，rag_v2 相比原型将回答准确率从 0.32 提升至 0.68，faithfulness 从 0.27 升至 0.82，4 个超出覆盖范围的问题全部正确拒答，平均延迟从 4.5s 降至 1.4s。
GitHub 仓库 jimoto-no-llm/bench-of-us 汇总了社区自 2026-09-20 至 10-08 的多组本地推理实测。覆盖 Tesla V100、T4、P40、P100、RTX 3090/5090、Radeon 等单卡与多卡拆分（layer/tensor split、NVLink、NCCL、vLLM TP=2、sglang+KTransformers）配置，测试对象包括 Qwen3.8 27B、Qwen3.8 Flash Next、Nemotron 3 Nano Omni 33B、Gemma 4 26B A4B QAT、DeepSeek V4.1-Flash 等，上下文从 8K 到 262k 乃至 1M。
作者用 12 小时自动化编程测试对比 Strata 托管的 Qwen3.8-Flash-Next-UD-IQ4_XS 与本地 llama.cpp 运行版本（两者均 Q8_0 KV-cache、推理设为 xhigh）。Strata 大幅提升 prefill 速度，但出现混淆是否已创建报告、幻觉读取工具输出、反复写入损坏文件等可靠性问题，作者已停用，认为其不适合企业级应用开发环境，建议必须配合全自动测试和 QA 流程使用。
Massed Compute 开源了 gpu-benchmark 仓库，收录多款 LLM 及图像/视频模型在 RTX PRO 6000 Blackwell、H100、H200 NVL、L40S 等 GPU 上的推理速度评测数据，涵盖 Llama 3 系列、DeepSeek V4.1 Flash、Qwen3.8 27B、GLM 5.3 Flash 等模型。2026 年新增测试改用 vLLM 和 SGLang 引擎，固定输入 128 / 输出 128 tokens，并在 concurrency 1 / 8 / 32 下运行，Wave 5 的复现脚本位于 scripts/wave5/。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
GitHub 开源项目 harness-benchmark 在隔离 Docker 容器中，用相同 LLM（默认 GLM 5.2 via ZAI）、相同任务和相同隔离环境对比 opencode、pi 等 coding agent harness，唯一变量是 harness 本身。
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
该仓库汇总了近期 GitHub 上与 LLM 评测相关的项目，涵盖 promptfoo、Arize-ai/phoenix、Giskard-AI/giskard-oss。
该仓库用同一标注数据集对比三种客服消息路由方案：关键词基线、Claude Haiku 与 TypeSafe 的 Jev 决策模型。在 111 条难消息上（3 次运行），Jev 准确率 98%、中位延迟 116 ms，Claude Haiku 99%、607 ms，关键词仅 42%；两者准确率接近，Jev 约快 5 倍。成本未测量，结果基于单机顺序调用。
作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目，用官方 BFCL 数据和逐条评分代码对比三个本地部署模型，三个模型各完成全部 3641 个单轮用例。
推荐理由：作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现，并公开全部原始输出与复现脚本，便于核对与复跑。
一位双 DGX Spark 用户实测最新版 GLM 5.3 flash 配方，decode 提升 50-90%，decode 速度超过 DeepSeek v4.0 flash（如 32K 上下文 41.1→44.2 tps），prefill 略降约 10-21%。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench，通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用，而非只看工具调用或回复文本，覆盖 507 个有状态业务工作流，每任务独立运行 20 次，已通过 OpenEnv 上线 Hugging Face。
推荐理由：基准不看工具调用而看数据库终态，18 个模型在 507 任务上跑 20 次，区分了单次成功与可依赖性，并给出每次可靠任务的成本对比。