新闻、仓库与研究，按时间排列。
AsaadAlSharif 的 local-llm-benchmarks 仓库发布 Qwen3.8 Flash-Next 的本地基准与 PrimeAgent 功能测试结果。Q2_0、IQ3_S、Coder IQ1_M 三个量化版本在 llm-bench.io 分别测得 226.6、190.3、172.3 tok/s 及 83.4、88.4、80.8/100 质量分，Coder 版 CSV 解析 546/546 独立检查通过。硬件为 RTX 5090 与 Ryzen 9 9950X，官方 Strata 提交已发布 PR #4166，因排除 Google/Gemini 相关榜单，HumanEval+ 生成在 164 题中的第 145 题停止且未计分。
GitHub 新仓库 realtime-drama-test-log 是互动剧“观众自由输入 → 实时生成男主回应视频”的测试记录板，按剧集分区、每条记录一张卡片，包含完整视频、对话内容、各段计时及画面硬错误、是否左右她、时延、关键节拍是否落在她身上四个标记。仓库含 720p 视频目录 v/、附外挂中英字幕 .vtt 的成片目录 film/，数据集中存于 data.js，由 build_log.py 生成，更新后需修改 index.html 中的版本号避免缓存。
GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。
一位 r/LocalLLaMA 用户从 DSV4 Flash 0731 切换到 Qwen3.8-Flash-Next，表示效果好于预期，但该模型常做不必要的深度思考和信息获取，token 效率低导致体感偏慢。Swift-1.5 据称针对 Qwen 模型过度思考的倾向进行改进（可能因 RL 为 benchmark 刷分所致），发帖人正在征求同时用过两者的对比体验。
peymanpro 在 GitHub 发布 AI-Evaluation-Engineering V1.1，一个供 AI 系统做测量、对比与回归测试的中立于提供商的评测层。V1.1 新增带类型化的 Agent 轨迹回放与任务/步骤成功分离分析、对抗性安全回归用例、配对 bootstrap 置信区间的发布决策 compare（evaluate_release_candidate，含 Bonferroni 校正与 PASS/FAIL/INCONCLUSIVE/INVALID_EVIDENCE 四种判定）、方向感知回归门控、失败记录转回归套件的 JSONL 失败记忆，以及质量/成本与质量/延迟权衡前沿分析和可审计证据包。
推荐理由：作者把评测当工程学科来设计，给出了配对 bootstrap、回归门控和失败记忆等可复用做法，对搭建 AI 评测体系有参考价值。
GitHub 上一个名为 G-llm-benchmark 的项目正在构建编码智能体的成本×质量基准，对比本地运行的 Strata（独立运行或由 Opus 驱动）与 Haiku、Sonnet 和 Opus 的表现。目前四个任务已全部写好，所有参赛者通过了 smoke runs，validate、plan、run、collect 和 smoke 等状态命令可用，依赖包括 Linux、uv、Claude Code、Firejail 和 jq。作者将手动比较各交付物，完整报告尚未出炉。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
beatspy 以协议 v2 对 17 个决策模型进行基准测试：模型读取相同的冻结市场状态（新增 RSI-14、30 天已实现波动率等特征），回答概率问题并按校准度与相对 SPY 的收益评分。三窗口（各 6 个月）结果中最佳平均超额仅 +0.48pp，无模型 Brier skill 为正，仅 jev-latest 和 subq-snap-1.1 在两个窗口跑赢 SPY 且优势落在 bootstrap 区间内；整个 16 模型评测仅花费约 $0.19。
一位 SillyTavern 用户分享了 Argon 模型管理复杂高奇幻世界观设定的体验：约 80 条 lorebook，涵盖货币、地理、历史、虚构语言、历法和魔法系统，Argon 是首个能保持这些细节连贯性的模型，配合 Megumin suite v10 使用，表现连 Claude 等 SOTA 模型都未能达到，只是它总爱把所有人叫成"Vance"。
ModelPlan 在 GitHub 开源，基于可核查的公开数据回答该用哪个编码模型、哪个推理档位，并量化每升一档的收益与代价，如 Fable 5.1 切到 Opus 5.5 加 2.5 分、成本 ×0.52。它提供网页、Skill、Claude Code 与 Codex 插件和单文件 CLI，只读本地 Claude Code、Codex 等工具的 5 小时与每周配额窗口，数据不上传，每几小时重建一次经校验的发布数据，代码 MIT 许可。
Lavie-purple 发布 llm-radar 开源项目，将 LMArena、Artificial Analysis、llm-stats、LiveBench 四个评测源按 6 大类 17 子类并排呈现，不合成总分，只展示源内名次与跨源分歧度。页面零依赖、双击 index.html 即可打开，数据管道仅用 Python 标准库；当前快照收录 195 个模型、矩阵 124×17 共 2108 格，填充率 18.1%。项目还内置 selftest.js（236 条断言）、visual_check.js（148 项）、falsify.py（17 条证伪用例）与 check_deploy.js 四层守卫，并记录了 LiveBench 2.0 改版适配、抓取体检、行尾差异等实测踩坑。
推荐理由：作者解释了为何不合成跨源总分、分歧度如何计算，以及四层自检守卫的实测踩坑，方法可直接迁移到类似数据管道。
开源项目 LLMstats 通过 GitHub Actions 约每 3 小时自动对 42 个免费额度模型跑基准测试，覆盖 OpenRouter 13 个、Groq 5 个和 Mistral 24 个模型，结果发布到交互式公开仪表盘。架构 fork 自 NIMStats，无需服务器，只需配置三个 API 密钥并开启 GitHub Pages，5 分钟内即可搭建；数据以 SQLite 存储在仓库中，浏览器端经 sql.js 完全客户端查询。
theartificialteam 团队开源其 RSNA 膝关节异常检测竞赛的完整代码与知识库，该竞赛要求预测 12 项膝关节 MRI 发现，指标为 12 项平均 ROC AUC，队伍最终 private rank 约 1,730/6,425，private 0.942。仓库包含 ConvNeXt multi-view MIL 模型、Raptor CoAtNet-384 训练推理代码、预处理与 blend 流水线及实验日志。团队总结：优胜者的优势在于用多模态 LLM 从图像读取标签（gold 0.94–0.956，对比来自报告的约 0.90），而静默失败是其代价最高的 bug——首次提交仅得 0.500 且无任何报错。
GitHub 仓库 amarprajapati1618/Hands-on---Multi-model-LLM-and-LLM 提供 LLM 能力实践示例，涵盖 tokenization、BPE 与文本生成采样，用开源语言模型做摘要和问答，并用小型多模态 LLM 实现视觉问答。内容还包括 benchmark 指标及其局限、模型幻觉与证据溯源、公平性评测，以及一个安全的模拟 agent 策略门控。
清华、百度等机构在 NeurIPS 2026 发表 When Less Is More，发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论，覆盖 27 组配置（9 个模型规模 × 3 种压缩率）：更大压缩器重构误差更低但忠实度下降，中型压缩器常优于大模型。论文归因于知识覆写（如白色草莓被改写为红色草莓）与语义漂移（如 Alice hit Bob 被改写为 Bob hit Alice），64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。
推荐理由：论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据，并公开了诊断数据集与 QA 生成提示词，方法可复用于其他压缩评测。
Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。
legal-eye-eval 是希伯来语法律 RAG 系统 Legal Eye 的公开质量评测仓库，其答案逐字引用真实以色列判例，不接外部 LLM，最新 50 题评测中幻觉引文率为 0%、5/5 超范围问题全部拒答。评测由 GitHub Actions 每周日自动重跑，但按 2026-10-24 起的 strict verdict 仅 24/50（48%）通过，未达到 85% 的发布门槛。语料仅覆盖以色列最高法院 2022 年快照共 751,194 份文档，冻结测试集上法律题通过率为 19/30。
r/LocalLLaMA 网友发帖质疑 AA 等基准测试无法反映模型真实能力，指出部分在编程基准上接近前沿的 benchmaxxed 模型除写诗外几乎不可用。楼主征求编程、智能体研究和办公工作方面最贴近实际使用的基准测试推荐。
Reddit r/LocalLLaMA 用户分享了发布 9 天后测试 Beam 1.0（501B 参数、23B 激活）的体验：借助第三方 provider 运行速度很快，能轻松浏览大型代码库，在 Rust、PHP、Python 和 JS 上表现良好，回答简洁有度且会使用技能。缺点是偶尔循环、部分 toolcall 失败，3D 能力弱且无视觉功能。
szymonkobus 发布 code-model-reliability 仓库，用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力（D50）和可靠性（D99）。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试；仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本，代码 MIT、数据 CC BY 4.0。
推荐理由：用同一难度尺度同时刻画模型能力 D50 和可靠性 D99，覆盖 71 个模型配置的可复现评测框架。
该 GitHub 仓库收录关于 Jev——TypeSafe 的 System One 模型——及按其形态构建的开放模型的研究论文，每条均对照 arXiv 页面核验。列表分为 Survey、Open Decision Models（57 篇）、Benchmarks & Evaluations（17 篇）、Agents & Systems（49 篇）、Applications（41 篇）等分类，2026-10-25 新增 78 篇 Jev 论文，并接受 PR 投稿。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
研究者推出 Continual Learning Exam（CLE）基准，由 50+ 领域专家构建，用于衡量 LLM Agent 在真实职业工作流中通过积累经验持续改进的能力。CLE 包含 120 个人工编写任务，每个任务分五级阶梯，共 600 个级别，覆盖 12 个职业领域的 89 种职业角色。在 17 种 harness-模型配置中，失败后反馈加一次修订平均带来 5.3 个百分点的完成率提升，但最强系统也仅通过 47.7% 的级别、仅在 23.3% 的任务中完成全部五级。
LocalLLaMA 网友认为 Kimi K3.1 Pro 的成绩相比 DeepSeek 4.1 Flash 1017 并没有明显提升。K3 量化的情况下仍很难在本地运行且速度慢，因为单个 token 要经过 104 个激活层；DeepSeek 4.1 Flash 1017 成绩接近、占用更小、速度更快。该网友因此打算继续用 4.1 Flash 1017，而对 11 月 4 日发布的 K3 Pro 开放权重持观望态度。
GitHub 上的 product-eval-harness 是一个消费级产品评测工具，由 LLM 智能体生成评测所需的知识（标准、产品属性、研究记录、评测包与分数），并用 ruleset 在接受输出前校验每项结果。项目基于 Mastra TypeScript 框架，目前仅是 Mastra 脚手架，尚无任何 harness 阶段实现；开发需 Node.js 22.13+，仓库含 mastra agent skill，整体采用 Apache-2.0 许可证。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
GitHub 上一个面向 RAG 系统的开源评估工具，可判定回答失败源于检索器未找到证据、语言模型生成错误答案，还是两者同时失败。工具提供本地 Streamlit 仪表盘、PDF 摄取与分块、sentence-transformer 嵌入 + ChromaDB、BM25 及 RRF 混合检索、三种评估模式与 JSON/CSV 导出；默认分块 200 token、25 token 重叠。候选问题须经人工审核验证后才计入评分，无 Gemini API key 时可运行确定性离线流程。
Forcebench 是一个开源基准，用真实的 Salesforce 工程任务评测 AI 模型，覆盖 Apex、governor limits、fflib、Lightning Web Components、Flow、SOQL、CI/CD 等 15 个套件。评分尽可能通过实际执行完成：部署到 scratch org 跑隐藏 Apex 测试和 Jest 测试、执行 SOQL 查询、对照 sf CLI manifest 验证命令。项目支持任何 OpenAI 兼容端点，代码采用 Apache-2.0 许可，任务与结果采用 CC BY 4.0，结果与排行榜见 forcebench.ai。
/u/mesolimbic-bliss 用三套 harness 实测 unsloth/flint-GGUF 的 flint-UD-Q3_K_XL.gguf，成绩差异很大：OMP 完成 12 个任务得 71.2/100（仅 7 个解决），AtomicAgent 得 39.2/100（仅 3 个解决），Hermes 在任务 7 中途停止，因在文件系统上做了大量无谓的广度搜索并陷入循环。DeepSeek 版因此前 harness 失败和低分未运行。完整榜单见 https://shortbench.vercel.app/，目前已有模型达到 100/100。
KLD 衡量量化模型与基座模型在各 token 上概率分布的差异平均值，但不能作为量化模型的通用质量排名。作者指出用随机文本（如 Wikipedia 文章）计算 KLD 不代表模型推理时看到的自生成 token，建议改用基座模型生成数据并对提示词 token 计零权重；且校准数据与评估数据同源、或对量化 scale 参数做微调，都会让 KLD 虚高。KLD 只能作诊断工具，不能反映模型实际任务表现。
ds-ml-bench 是一个用于评测大语言模型在数据科学与机器学习任务上表现的 benchmark 测试框架。每个任务是 tasks/ 下的独立 Python 模块，通过适配器层接入模型，由 Claude 作为 judge 按评分标准打分，覆盖数据清洗、EDA、特征工程、建模、统计、排序推荐（如 MovieLens 和 Recall@k）及 ML 系统设计等类别。用户复制 config.example.yaml 并通过环境变量配置 MOONSHOT_API_KEY 与 ANTHROPROPIC_API_KEY 即可运行。
protocol/perun 发布，这是一套以文本文件形式分发的技能包，让 Claude Code、Cursor 等 AI 编码助手按固定流程完成从审查到交付的工作，核心是带证据的深度代码审查，另含 token 成本优化、门控智能体交付等技能。作者用统一测试环境实测 39 个真实 bug 修复案例，Perun 在 claude-sonnet-5-5 上比普通提示词多抓 bug 但区间下界为 0，相比 Claude Code 内置 /code-review 抓到的 bug 数量相当而误报大幅更少，与三个流行的审查技能对比均为平局；在更强的 claude-opus-5-5 上与普通提示词打平。大改动场景下多次独立审查比任何单一方法更有效，项目同时附上成本核算和诚实的局限性说明。
推荐理由：项目附上统一测试环境和多组对照基准数据，连不利的平局结果也如实列出，读者可自行判断这套 review 技能包的真实增益。
InfiniteWorld 是一个物理推理基准，通过模拟器视频系统性改变物理参数来生成配对问题，涵盖定律识别、参数估计、时序推理、反事实比较和定律归纳五项任务。对多款视频-语言模型的评测显示，模型普遍偏好熟悉物理规律，即使在观测物理改变时仍常给出 Earth-normal 答案；视频帧能提升多数模型表现，但增益因任务而异。
arXiv 论文 arXiv:2610.33764 研究视觉语言模型的多证据整合缺口：模型能准确读取局部事实，却无法将其组合成满足全部约束的全局决策。例如 Gemma-3-27B 能正确恢复全部孤立事实，但在八项视觉实例上全局有效率仅 19.75%。通过 hidden-state 探针与激活替换实验，作者表明恢复事实并不足以支持可靠的联合决策。
研究者提出 RATE（Refined Assessment for Translation Evaluation）评估协议，并构建了由专业语言学家对 WMT24 英俄翻译进行人工评价的高质量数据集。分析显示，SOTA 机器翻译系统在准确率上可能已超过人工翻译，但流畅度仍落后。现有 MQM 和 ESA 等金标准方法存在标注者水平不一、严重度粒度粗、偏重准确率等局限。
研究者系统分析指令设计、few-shot 示例、backbone 模型与多步工作流对 LLM 机器翻译评估的影响，基于 WMT24 和 WMT25 英俄翻译的新 RATE 专家标注，并在 MQM 与 ESA 标注基准上验证迁移。研究发现指令结构决定评估器行为、高质量示例比数量更重要、不同 frontier backbone 呈现召回/精确/排序导向差异，融合多 backbone 输出优于单评估器多次调用。由此提出的 ORBIT 评估器系列在错误跨度检测与 Accuracy 和 Fluency 排序上达到专家级水平，成本约为人工标注的 1/20。
一项研究将 Context Association Test（CAT）改造为零样本自诊断评测，检验 GPT-4o 在 ADHD 自我诊断场景中是否响应性别化关联。结果显示，显式性别线索会持续放大某些 ADHD 亚型关联，而隐式线索产生接近代理对齐的分布，表明显式线索可能触发过度矫正而非消除偏见的缓解机制。研究提示，评估 LLM 自诊断中的性别偏见需关注模型编码的人群关联。
作者在 3090 上用 Allganize 韩文 RAG 数据集（300 题、64 份 PDF）实测，qwen3.8 27B 开启 thinking 得 77.3%，Opus 5.5 得 76.6%，McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题，22 次源于无文本层的扫描页，作者认为瓶颈在 PDF 解析而非模型；韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%，gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。
推荐理由：作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因，还指出 PDF 解析而非模型才是瓶颈。
arXiv 论文提出 Mycelium 元研究，将大语言模型幻觉检测视为受基准条件制约的测量问题，并沿 provenance（来源）、typology（类型）、granularity（粒度）三个维度梳理现有基准。分析显示基准构建、标注与评测方式会实质影响检测器得分，跨基准比较难以解读。针对 span 级评测中标注边界差异的问题，作者提出 Span Coverage F1 这一基于包含关系的补充指标。
ctrlProgrammer 在 GitHub 发布 os-agents-evals，一个用同一数据集对比多个模型准确率、成本与延迟的 CLI。以 Oxford-IIIT Pet 猫犬品种识别为示例（测试集 3,669 张图、37 个品种），20 张图实测中 JEV 准确率 90%、$0.06/1k 查询、p95 延迟 0.32s，Gemini 2.5 Flash 为 95%、$1.64/1k 查询、p95 延迟 4.84s。每个模型使用独立 JSON 提示词，用例与图片不进 git。