新闻、仓库与研究，按时间排列。
GitHub 新仓库 realtime-drama-test-log 是互动剧“观众自由输入 → 实时生成男主回应视频”的测试记录板，按剧集分区、每条记录一张卡片，包含完整视频、对话内容、各段计时及画面硬错误、是否左右她、时延、关键节拍是否落在她身上四个标记。仓库含 720p 视频目录 v/、附外挂中英字幕 .vtt 的成片目录 film/，数据集中存于 data.js，由 build_log.py 生成，更新后需修改 index.html 中的版本号避免缓存。
GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。
一位 r/LocalLLaMA 用户从 DSV4 Flash 0731 切换到 Qwen3.8-Flash-Next，表示效果好于预期，但该模型常做不必要的深度思考和信息获取，token 效率低导致体感偏慢。Swift-1.5 据称针对 Qwen 模型过度思考的倾向进行改进（可能因 RL 为 benchmark 刷分所致），发帖人正在征求同时用过两者的对比体验。
peymanpro 在 GitHub 发布 AI-Evaluation-Engineering V1.1，一个供 AI 系统做测量、对比与回归测试的中立于提供商的评测层。V1.1 新增带类型化的 Agent 轨迹回放与任务/步骤成功分离分析、对抗性安全回归用例、配对 bootstrap 置信区间的发布决策 compare（evaluate_release_candidate，含 Bonferroni 校正与 PASS/FAIL/INCONCLUSIVE/INVALID_EVIDENCE 四种判定）、方向感知回归门控、失败记录转回归套件的 JSONL 失败记忆，以及质量/成本与质量/延迟权衡前沿分析和可审计证据包。
推荐理由：作者把评测当工程学科来设计，给出了配对 bootstrap、回归门控和失败记忆等可复用做法，对搭建 AI 评测体系有参考价值。
GitHub 上一个名为 G-llm-benchmark 的项目正在构建编码智能体的成本×质量基准，对比本地运行的 Strata（独立运行或由 Opus 驱动）与 Haiku、Sonnet 和 Opus 的表现。目前四个任务已全部写好，所有参赛者通过了 smoke runs，validate、plan、run、collect 和 smoke 等状态命令可用，依赖包括 Linux、uv、Claude Code、Firejail 和 jq。作者将手动比较各交付物，完整报告尚未出炉。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
beatspy 以协议 v2 对 17 个决策模型进行基准测试：模型读取相同的冻结市场状态（新增 RSI-14、30 天已实现波动率等特征），回答概率问题并按校准度与相对 SPY 的收益评分。三窗口（各 6 个月）结果中最佳平均超额仅 +0.48pp，无模型 Brier skill 为正，仅 jev-latest 和 subq-snap-1.1 在两个窗口跑赢 SPY 且优势落在 bootstrap 区间内；整个 16 模型评测仅花费约 $0.19。
一位 SillyTavern 用户分享了 Argon 模型管理复杂高奇幻世界观设定的体验：约 80 条 lorebook，涵盖货币、地理、历史、虚构语言、历法和魔法系统，Argon 是首个能保持这些细节连贯性的模型，配合 Megumin suite v10 使用，表现连 Claude 等 SOTA 模型都未能达到，只是它总爱把所有人叫成"Vance"。
ModelPlan 在 GitHub 开源，基于可核查的公开数据回答该用哪个编码模型、哪个推理档位，并量化每升一档的收益与代价，如 Fable 5.1 切到 Opus 5.5 加 2.5 分、成本 ×0.52。它提供网页、Skill、Claude Code 与 Codex 插件和单文件 CLI，只读本地 Claude Code、Codex 等工具的 5 小时与每周配额窗口，数据不上传，每几小时重建一次经校验的发布数据，代码 MIT 许可。
Lavie-purple 发布 llm-radar 开源项目，将 LMArena、Artificial Analysis、llm-stats、LiveBench 四个评测源按 6 大类 17 子类并排呈现，不合成总分，只展示源内名次与跨源分歧度。页面零依赖、双击 index.html 即可打开，数据管道仅用 Python 标准库；当前快照收录 195 个模型、矩阵 124×17 共 2108 格，填充率 18.1%。项目还内置 selftest.js（236 条断言）、visual_check.js（148 项）、falsify.py（17 条证伪用例）与 check_deploy.js 四层守卫，并记录了 LiveBench 2.0 改版适配、抓取体检、行尾差异等实测踩坑。
推荐理由：作者解释了为何不合成跨源总分、分歧度如何计算，以及四层自检守卫的实测踩坑，方法可直接迁移到类似数据管道。
开源项目 LLMstats 通过 GitHub Actions 约每 3 小时自动对 42 个免费额度模型跑基准测试，覆盖 OpenRouter 13 个、Groq 5 个和 Mistral 24 个模型，结果发布到交互式公开仪表盘。架构 fork 自 NIMStats，无需服务器，只需配置三个 API 密钥并开启 GitHub Pages，5 分钟内即可搭建；数据以 SQLite 存储在仓库中，浏览器端经 sql.js 完全客户端查询。
theartificialteam 团队开源其 RSNA 膝关节异常检测竞赛的完整代码与知识库，该竞赛要求预测 12 项膝关节 MRI 发现，指标为 12 项平均 ROC AUC，队伍最终 private rank 约 1,730/6,425，private 0.942。仓库包含 ConvNeXt multi-view MIL 模型、Raptor CoAtNet-384 训练推理代码、预处理与 blend 流水线及实验日志。团队总结：优胜者的优势在于用多模态 LLM 从图像读取标签（gold 0.94–0.956，对比来自报告的约 0.90），而静默失败是其代价最高的 bug——首次提交仅得 0.500 且无任何报错。
GitHub 仓库 amarprajapati1618/Hands-on---Multi-model-LLM-and-LLM 提供 LLM 能力实践示例，涵盖 tokenization、BPE 与文本生成采样，用开源语言模型做摘要和问答，并用小型多模态 LLM 实现视觉问答。内容还包括 benchmark 指标及其局限、模型幻觉与证据溯源、公平性评测，以及一个安全的模拟 agent 策略门控。
清华、百度等机构在 NeurIPS 2026 发表 When Less Is More，发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论，覆盖 27 组配置（9 个模型规模 × 3 种压缩率）：更大压缩器重构误差更低但忠实度下降，中型压缩器常优于大模型。论文归因于知识覆写（如白色草莓被改写为红色草莓）与语义漂移（如 Alice hit Bob 被改写为 Bob hit Alice），64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。
推荐理由：论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据，并公开了诊断数据集与 QA 生成提示词，方法可复用于其他压缩评测。
Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。
legal-eye-eval 是希伯来语法律 RAG 系统 Legal Eye 的公开质量评测仓库，其答案逐字引用真实以色列判例，不接外部 LLM，最新 50 题评测中幻觉引文率为 0%、5/5 超范围问题全部拒答。评测由 GitHub Actions 每周日自动重跑，但按 2026-10-24 起的 strict verdict 仅 24/50（48%）通过，未达到 85% 的发布门槛。语料仅覆盖以色列最高法院 2022 年快照共 751,194 份文档，冻结测试集上法律题通过率为 19/30。
r/LocalLLaMA 网友发帖质疑 AA 等基准测试无法反映模型真实能力，指出部分在编程基准上接近前沿的 benchmaxxed 模型除写诗外几乎不可用。楼主征求编程、智能体研究和办公工作方面最贴近实际使用的基准测试推荐。
Reddit r/LocalLLaMA 用户分享了发布 9 天后测试 Beam 1.0（501B 参数、23B 激活）的体验：借助第三方 provider 运行速度很快，能轻松浏览大型代码库，在 Rust、PHP、Python 和 JS 上表现良好，回答简洁有度且会使用技能。缺点是偶尔循环、部分 toolcall 失败，3D 能力弱且无视觉功能。
szymonkobus 发布 code-model-reliability 仓库，用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力（D50）和可靠性（D99）。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试；仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本，代码 MIT、数据 CC BY 4.0。
推荐理由：用同一难度尺度同时刻画模型能力 D50 和可靠性 D99，覆盖 71 个模型配置的可复现评测框架。
该 GitHub 仓库收录关于 Jev——TypeSafe 的 System One 模型——及按其形态构建的开放模型的研究论文，每条均对照 arXiv 页面核验。列表分为 Survey、Open Decision Models（57 篇）、Benchmarks & Evaluations（17 篇）、Agents & Systems（49 篇）、Applications（41 篇）等分类，2026-10-25 新增 78 篇 Jev 论文，并接受 PR 投稿。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
LocalLLaMA 网友认为 Kimi K3.1 Pro 的成绩相比 DeepSeek 4.1 Flash 1017 并没有明显提升。K3 量化的情况下仍很难在本地运行且速度慢，因为单个 token 要经过 104 个激活层；DeepSeek 4.1 Flash 1017 成绩接近、占用更小、速度更快。该网友因此打算继续用 4.1 Flash 1017，而对 11 月 4 日发布的 K3 Pro 开放权重持观望态度。
GitHub 上的 product-eval-harness 是一个消费级产品评测工具，由 LLM 智能体生成评测所需的知识（标准、产品属性、研究记录、评测包与分数），并用 ruleset 在接受输出前校验每项结果。项目基于 Mastra TypeScript 框架，目前仅是 Mastra 脚手架，尚无任何 harness 阶段实现；开发需 Node.js 22.13+，仓库含 mastra agent skill，整体采用 Apache-2.0 许可证。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
GitHub 上一个面向 RAG 系统的开源评估工具，可判定回答失败源于检索器未找到证据、语言模型生成错误答案，还是两者同时失败。工具提供本地 Streamlit 仪表盘、PDF 摄取与分块、sentence-transformer 嵌入 + ChromaDB、BM25 及 RRF 混合检索、三种评估模式与 JSON/CSV 导出；默认分块 200 token、25 token 重叠。候选问题须经人工审核验证后才计入评分，无 Gemini API key 时可运行确定性离线流程。
Forcebench 是一个开源基准，用真实的 Salesforce 工程任务评测 AI 模型，覆盖 Apex、governor limits、fflib、Lightning Web Components、Flow、SOQL、CI/CD 等 15 个套件。评分尽可能通过实际执行完成：部署到 scratch org 跑隐藏 Apex 测试和 Jest 测试、执行 SOQL 查询、对照 sf CLI manifest 验证命令。项目支持任何 OpenAI 兼容端点，代码采用 Apache-2.0 许可，任务与结果采用 CC BY 4.0，结果与排行榜见 forcebench.ai。
/u/mesolimbic-bliss 用三套 harness 实测 unsloth/flint-GGUF 的 flint-UD-Q3_K_XL.gguf，成绩差异很大：OMP 完成 12 个任务得 71.2/100（仅 7 个解决），AtomicAgent 得 39.2/100（仅 3 个解决），Hermes 在任务 7 中途停止，因在文件系统上做了大量无谓的广度搜索并陷入循环。DeepSeek 版因此前 harness 失败和低分未运行。完整榜单见 https://shortbench.vercel.app/，目前已有模型达到 100/100。
KLD 衡量量化模型与基座模型在各 token 上概率分布的差异平均值，但不能作为量化模型的通用质量排名。作者指出用随机文本（如 Wikipedia 文章）计算 KLD 不代表模型推理时看到的自生成 token，建议改用基座模型生成数据并对提示词 token 计零权重；且校准数据与评估数据同源、或对量化 scale 参数做微调，都会让 KLD 虚高。KLD 只能作诊断工具，不能反映模型实际任务表现。
ds-ml-bench 是一个用于评测大语言模型在数据科学与机器学习任务上表现的 benchmark 测试框架。每个任务是 tasks/ 下的独立 Python 模块，通过适配器层接入模型，由 Claude 作为 judge 按评分标准打分，覆盖数据清洗、EDA、特征工程、建模、统计、排序推荐（如 MovieLens 和 Recall@k）及 ML 系统设计等类别。用户复制 config.example.yaml 并通过环境变量配置 MOONSHOT_API_KEY 与 ANTHROPROPIC_API_KEY 即可运行。
protocol/perun 发布，这是一套以文本文件形式分发的技能包，让 Claude Code、Cursor 等 AI 编码助手按固定流程完成从审查到交付的工作，核心是带证据的深度代码审查，另含 token 成本优化、门控智能体交付等技能。作者用统一测试环境实测 39 个真实 bug 修复案例，Perun 在 claude-sonnet-5-5 上比普通提示词多抓 bug 但区间下界为 0，相比 Claude Code 内置 /code-review 抓到的 bug 数量相当而误报大幅更少，与三个流行的审查技能对比均为平局；在更强的 claude-opus-5-5 上与普通提示词打平。大改动场景下多次独立审查比任何单一方法更有效，项目同时附上成本核算和诚实的局限性说明。
推荐理由：项目附上统一测试环境和多组对照基准数据，连不利的平局结果也如实列出，读者可自行判断这套 review 技能包的真实增益。
作者在 3090 上用 Allganize 韩文 RAG 数据集（300 题、64 份 PDF）实测，qwen3.8 27B 开启 thinking 得 77.3%，Opus 5.5 得 76.6%，McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题，22 次源于无文本层的扫描页，作者认为瓶颈在 PDF 解析而非模型；韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%，gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。
推荐理由：作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因，还指出 PDF 解析而非模型才是瓶颈。
ctrlProgrammer 在 GitHub 发布 os-agents-evals，一个用同一数据集对比多个模型准确率、成本与延迟的 CLI。以 Oxford-IIIT Pet 猫犬品种识别为示例（测试集 3,669 张图、37 个品种），20 张图实测中 JEV 准确率 90%、$0.06/1k 查询、p95 延迟 0.32s，Gemini 2.5 Flash 为 95%、$1.64/1k 查询、p95 延迟 4.84s。每个模型使用独立 JSON 提示词，用例与图片不进 git。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
一位 r/LocalLLaMA 用户发布了自己在 16GB VRAM、32GB RAM 环境下进行的 5 项算法任务模型测试 V2，相比上一版收紧了任务设置并更换了参测模型阵容，同时开源了 GitHub 仓库供他人复现。结果显示 CyberTiel 和 Ornith 表现意外出色，而 LFM 和 Mellum 在真实负载下表现不佳。
Reddit 用户实测 Spark X2.6 4B，称其工具调用能力在同级模型中表现出色。在 pi cli 测试中，它能编写 Blender Python 脚本生成并渲染红色立方体，理解复杂 Rust 代码库，12 次工具调用即完成任务，还能读取全局 agents.md 并在每轮后列出变更文件。模型小、速度快、KV cache 占用小，temp 1.0 下思考精准，但缺少视觉能力，MTP 支持即将跟进。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
GitHub 上的 bex-co 仓库 Open Accounting Bench（OAB）是一个用于评测 AI 会计智能体的开源可执行基准，目前处于 pre-alpha 阶段的 v0.2 开发中状态。它通过参数化任务家族动态生成任务，并采用五层确定性状态验证打分，不依赖 LLM judge，核心指标为 Verified Task Completion Rate。任务基于 Harbor 格式在隔离无网络容器中评估，现有 7 个冻结 Stable 实例，90 天目标是 12–15 个经过验证的生成器，采用 Apache-2.0 许可证。
GitHub 上的 video-llm-evaluation-harness 项目是一个视频大语言模型评测框架，涵盖数据集集成、评测指标与训练模块，为评估视频类 LLM 提供完整工具链。
该仓库发布了一个面向 RAG 等有据生成的句子级幻觉检测器，输入来源材料与答案，逐句评分来源是否支持。模型为微调 ModernBERT-base（150M 参数），在 RAGTruth 测试集（18,965 句）F1 0.652、AUROC 0.916，远超 zero-shot NLI 基线（F1 0.197）；域外 LLM-AggreFact 上 BAcc 66.1。经 Platt 校准后 ECE 从 0.043 降至 0.016，Docker API 在 CPU 上约 1.2 秒每句，摘要类任务是弱项（F1 0.446）。
Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果，DeepSeek-V4-Flash-Vision-Exp（MXFP4）以 Delta score 2.86 居首，Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务，作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型，并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。