新闻、仓库与研究，按时间排列。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
一位有约 20 年经验的软件工程师用相同的 Q4 量化模型测试 Gemma4-31B 与 Qwen3.8-27B 做代码分析和项目编写。代码分析两者质量相当，Gemma4 效率更高（约 10 次服务器调用对 Qwen 的 20-30 次）；新建 C#/WPF 项目中 Qwen3.8 经 1 次修订达到可用的 B+ 水平，优于 Gemma4 的 B-。作为对照的 GPT 6.1-Sol 一次通过、获评 A+，明显领先两个开源模型。
一位 Reddit r/LocalLLaMA 用户在 5060ti 16GB 上用 AtCoder 近 30 天的 14 道题测试三个 Qwen 3.8 量化版本：Swift 1.5 IQ2_XS、Flash Next IQ3_S 和 27B IQS_3，各跑 none、low、medium、xhigh 四档思考力度，思考 token 上限 32k，全程耗时近 11 小时。结果显示提升思考力度主要带来 CAP 触顶而非解题提升，关闭思考则明显退化；Flash IQ3_S 解题最多且更快，是速度与准确性的最佳折中。
Syntalix-AI 发布一个 RAG 系统上线前评估清单，建议收集 50 到 100 个真实用户问题、每题标注正确答案及出处，并加入至少 10 个文档无法回答的问题。清单覆盖检索命中率、答案忠实度与相关性、人工抽检和拒答行为，并要求在文档、提示词、检索设置或模型每次变更后重跑全部测试。
BenchMaxx 是一个不运行模型、只按命名评分的娱乐性基准，从 OpenRouter 抓取 332 个可调用文本模型，按名称代数（GI）和名称长度（NL）两条轨道排名。首期榜单中 Pareto 26.10 Preview 以 GI 26.1 居 Track A 首位，Gemini 3.1 Pro Preview Custom Tools 以 35 字符赢下 Track B；作者测得全行业版本号以每年 +0.45 的速度上升，基准可零依赖复现。
GitHub 上的 jev-bakeoff 项目提供一个独立离线的 LLM 分类器评测框架，可在真实希腊按揭文档语料上投影各候选模型的每千次调用成本（$/1,000-calls），并附带确定性的 PII 脱敏流水线，默认工作流无需 API key。项目基于 Python 3.12 与 uv，集成 spaCy / Presidio / PyMuPDF，Jev（TypeSafe System-1）分类器适配器已就位但尚未接入评测，支持 Docker 运行同一测试套件。
GitHub 仓库 williamguey/worse-evidence-reproducibility 公开论文结果的离线复现代码与数据，含固定案例库、提示词、精确答案键、留存响应与分析脚本。复现仅需 Python 标准库，无需 API 调用或网络访问；原始与匹配分析基于 Python 3.9.6，construct validation 保留全部 22,656 个计划单元格。Qwen 等部分未收集结果保留在原计划单元格中，稿件、评审与凭证均不包含在内。
arXiv 论文提出 Certified Adaptive Selection（CAS），在剩余不确定性无法改变结果时即返回精确 top-k 集合，并通过 Expected Shortfall 的上下界给出认证。其预测引导策略 CAS-PG 在两个公开算法选择矩阵上分别用 630/3150 和 981/2200 次查询认证精确前三，仅为事后最少评估次数的 1.14 和 1.18 倍；无历史数据的纯记录变体为 1.28 和 1.37 倍，优于测试的非预测型认证策略。
香港 researchers 推出 SkillHorizon，一个通过技能组合在七个业务环境中构建长程任务的 benchmark，含 1,050 个任务，参考交互工作负载为 64K 至 1M tokens。评测五个大语言模型发现：随着规模增长，平均局部目标完成率从 90.4% 降至 46.8%；更大负载下智能体常在大量工作未完成、工具调用额度仍有剩余时提交不成功的最终答案。代码已开源。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
SkillForgeBench 是一个以 agent 技能为执行蓝图的智能体可靠性评测基准，含 842 个跨五大专业领域的 sandboxed 任务，对 8 个主流 agent 进行严格评分，Opus 4.8 以 40.9% 的 strict completion 率居首。结果显示所有模型层级在满足全部约束时表现大幅下滑（70.0%-85.7% 的单项通过率降至 12.6%-40.9%），且各模型的过程 rubric 达成率远低于完成 rubric（Haiku 4.5 不足 3%），说明仅看完成度会高估真实可靠性。
该研究在一份立陶宛组织心理学问卷（n=263、68 题）上测试 11 家厂商的 14 个决策模型和 47 个生成式 LLM，用心理测量相似度分数（PSS）评估其替代人类受访者的能力。最好的生成式模型 MiniMax M3 达 PSS 0.813，与仅用其他受访者拟合的 Gaussian copula（0.824）持平但低于样本内拟合（0.927）；47 个生成式模型中 33 个比任何决策模型更好地复现题目相关结构。基于人口档案的回归仅比其他受访者答案频率提升 1.0%，作者据此认为此类合成受访者应以样本级保真为目标。
polter-dev 发布 societysim，一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架，记录每步行动和私有推理日志，测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现，规则为 7-9 人的 Ultimate Werewolf；标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成，报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型，日志数据集与排行榜将发布在 Hugging Face。
Reddit r/LocalLLaMA 用户在单张 RTX PRO 6000（96GB）上用 Strata 后端运行 Unsloth 的 Qwen3.8-Flash-Next UD-Q4_K_XL，配置 INT8 KV cache、256K 上下文和 MTP-4 投机解码。单请求解码速度较 vLLM（NVFP4 量化）提升约 46%-49%，四类任务均达 185.8-320.4 tokens/s。作者称该模型编码任务表现高效出色。
Plune 发布开源 CLI @plune-ai/cli，对 LLM 应用做断言测试。用户在单个 plune.yaml 中描述检查项，CLI 调用 provider（支持 anthropic、openai、openrouter）运行断言、缓存结果并报告 token 成本；内置 10 种断言类型，涵盖 JSON-schema、LLM-as-judge 与 RAG 指标（faithfulness、answer-relevance、context-precision）。支持 plune diff 对比两次运行抓回归，可配 GitHub Action 在 CI 中使用；run、report、diff、init 离线可用，也可通过 plune sync 上传到 Plune 平台查看历史与趋势。
该基准利用孟加拉语第三人称必须选择普通或敬语语体的特点，通过英译孟翻译测试 LLM 如何分配尊敬。评测集含 2,016 个句子、覆盖 72 种职业，给出 0–100 的 Honorific Bias Score（HBS），九个模型 HBS 在 19.9 到 70.1 之间。职业解释了 3.2%–51.5% 的语体选择方差，而性别最多仅 1.2%。
arXiv 论文提出 TasteBench，一个跨视觉、品牌、书籍和科技类别的成对 good-vs-bad 基准，采用冻结评分标准和仅专家金标（panel n>=3，一致率 >=0.60）。在 n=250 对的 Round-1 试点中量化出三类效度威胁：位置偏置（always_item_a 得分 0.956）、文件名词汇泄漏（0.912）以及难度天花板（五个 VLM 在 craft 类别均达 1.0）。团队发布参考 eval harness 和 side-randomization 工具，可将位置偏置从 0.916 降至 0.495/0.505。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族，采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架，用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上，14B 强化对齐模型方剂生成 F1 达 37.0，超过总参数 671B 的 DeepSeek-R1 的 32.3；在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8，剂量一致性提升。
GitHub 仓库 llm-benchmarks 提供 bench 命令，从同一终端工作流运行三套基准：基于 Inspect 的 evals、让 Pi 生成浏览器工件的 Visual Bench，以及让 Pi 分析数据集并产出 notebook 的 Data Science。Pi 负责服务商连接、模型目录与认证，Inspect 执行任务并生成 .eval 日志，本地服务器通过 /v1/models 提供模型清单。运行在 OS 级写入隔离下进行，需 Node.js 22.19+、Python 3.12、uv、Pi 与 Chromium。
中国传媒大学与快手 Kling 团队推出 EmoTrace-Bench，评测文生视频模型能否表达指定情绪及其强度。基准含 448 个提示词（8 种情绪 × 2 场景 × 14 模板 × 2 强度级别），用 12 个 T2V 系统生成 5,376 个视频，并按 10 个视听线索通道打分。Seedance-2.5 目标情绪准确率最高（87.0），仓库数据与文档以 CC BY 4.0 开源。
一项研究在 92 条 TREC 检索查询构造的 276 个三段落状态上，审计了七个开源 Jev 风格检查点的请求独立性。请求扩展使 Nimble 的判断出现 9.1%/8.0% 的严格二元翻转，并在阈值 0.5 下改变 TREC DL2019/2020 中 21.4%/18.9% 的选择或弃权动作。字段掩码将全部 70 次请求集翻转追溯到提示词中序列化的 schema 字段，Von 修复共享分隔符位置可消除两处资格性偏好翻转。
Apple 新版 Siri AI 已于 2026 年 9 月 14 日开始以英文 beta 形式推出。作者用相同的任务对比旧版 Siri、Siri AI 与 ChatGPT，发现 Siri AI 兼具个人上下文访问与 AI 能力：它能基于设备端 Spotlight 索引找到兄弟短信中的餐厅推荐和纽约周末照片，而 ChatGPT 虽强但无法访问个人短信和照片。文章指出，有用的 AI 助手需要个人上下文、能力和准确的用户认知模型，并提醒应向用户展示搜索了哪些信息来源。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
StrangeRPGBenchmark 仓库收录了不同 AI 模型编写的基于方块的 RPG 游戏，并通过 GitHub Pages 提供卡带式菜单页面和可玩版本。其中 8 款游戏已可玩，包括由 Qwen 3.8 27B 生成的 Patchwork（经 Claude Opus 5.5 润色）以及多款 Claude 模型作品，golden 与 diamond 状态标记杰出游戏。仓库使用 Node 18+ 的 tools/build-site.mjs 构建站点，并在每次 push 到 main 时通过 GitHub Actions 自动发布。
hanlinwenyuan 发布开源工具 hlwy-ai-checker，用于检查第三方 AI API 是否掺假及渠道一致性，可完全本地部署以保护 API Key 与测试数据。原理是利用大模型被要求随机选数时的统计偏差形成指纹，先以官方 API key 标定，再测试第三方渠道并比较指纹相似度；作者说明这属于统计检测，结果受模型版本、采样参数等因素影响，不能作为商业纠纷的法律或事实依据。
推荐理由：原文讲清了用随机采样统计指纹检测第三方 API 渠道真伪的原理和使用流程，方法可复现且可本地部署。
GitHub 开源库 figured 发布，提供两类无参考、确定性的在线评测，对每个回答的数字和每次工具调用参数溯源，单次检查约 150 µs、每次工具调用约 25 µs（p99 0.19 ms），零依赖、无模型调用，Python 3.10+，pip install figured 可装。库支持 before_call 的 allow/warn/block/confirm 四种裁决、来源规则限制值只能来自指定通道（可拦下间接提示注入类载荷）、重复调用与预算检查，并能重放 OpenAI、Anthropic、Gemini、Bedrock、LangChain 及 tau-bench、AgentDojo 等格式的记录用于离线评测和 CI。
推荐理由：原文给出基准实测数字、延迟数据和局限清单，读者可据此判断这套无参考确定性检查是否适合接入生产流量。
作者在 GitHub 开源了 fraud-explanation-faithfulness 项目，用 Claude（Haiku，经 Claude Code CLI）为 3 万条合成身份欺诈申请上的逻辑回归模型（AUC 约 0.95）生成的解释打分。在 40 个被标记申请中，开放提示下 16 条解释（40%）引用了模型实际反对或忽略的理由；提供模型真实 top-3 理由的 grounded 提示则将问题降到 0/40。
Jason 的 day-0 基准测试活动收集了 10 个模型的网站生成结果，每个模型接受同一组网站提示词（手绘日志、risograph 印刷站、瑞士/粗野/装饰艺术微站、Virtual Boy 复古页等），共 92 个网站单元。每个站点为单个自包含 index.html，无构建步骤、无框架，所有输出未编辑，可在浏览器直接打开或经 GitHub Pages 在线浏览。个别单元标记为 Self-fix 或 Hand-patched，Astra 因服务会话未达 verified-ready 状态而无单元收录。
这是一个本地优先的 AI 图像模型评测仪表盘项目，通过问卷对 12 张 AI 生成的南印度新娘时尚图像做对比评测，涉及 Gemini 2.5 Flash Image、Gemini 3.1 Flash Image 与 Ideogram 3.0 三个模型。架构为 FastAPI + Next.js，私有 CSV 仅在本地用于 pandas 校验与聚合，公开的 survey-aggregates.json 只含聚合数据，供未来 Vercel 部署。OpenAI GPT Image 1 因无法获取未参与测试，仪表盘只展示该状态，不为其打分或排名。
GitHub 开源项目 Model Radar（世界大模型雷达）提供可追溯来源的静态观察台，覆盖 12 家企业、20 个模型条目，其中 17 个有可比智能与输出价格记录，含 AA 智力指数、SWE-Bench Pro、Terminal-Bench 等 7 种视图。V2 研究桌面与雷达观测站两个视图互为切换，新增模型斩杀线散点图按智能与每百万输出 tokens 价格筛选更优替代。项目需 Node.js 22+，无需安装依赖，每日串行检查 39 个固定来源页面。
Gamma 是一个开源（MIT 许可）Python 工具包，面向交互式模型探索、模型对比、benchmark 和可控能力迁移实验，通过 `python gamma.py` CLI 即可运行 token 预测游戏、对比模型输出、测量吞吐/延迟并协调多个模型引擎。其 SAME-R 方法在固定评测基准、指标与复现协议下更换方案，帮助将测量到的变化归因于方案本身。工具包还附带翻译、embedding、WGSL 和压缩等领域的实验项目，模型权重不会自动安装。
noonghunna 发布 benchlocal-cli，一个面向任意 OpenAI 兼容端点运行 LLM 行为评测包的 CLI，采用确定性 verifier 判分而非 LLM-as-judge。v0.9 加入 aider-polyglot-30（基于 Aider-AI/aider 的 benchmark.py，覆盖 cpp/go/java/js/python/rust 共30题），并内置 BenchLocal 的8个 MIT 许可评测包、可选推理套件（HumanEval+、LiveCodeBench v6、GSM-Symbolic、GPQA-Diamond）。
推荐理由：README详述了各评测包、确定性判分器和Docker沙箱机制，可了解如何在CI中给量化模型做可复现的质量门槛。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。
推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。
一个借用神经科学 precision weighting 概念构建的多智能体投资研究系统，由财报、新闻、总经/筹码、供应链四个 Agent 依历史 Brier score 精度动态加权合成投资论点，并针对台股被动元件 AI 供应链回测。结果多为负：方向准确率低于“永远猜上涨”（53.4%/54.8%），Sharpe 不敌 0050，规则式 Agent 的 Brier 皆高于 0.25 无信息基准；唯一较正面的结果是财报 Agent 在无偏误股票池上的产业内选股（产业内 IC +0.029，t 2.16）。Synthetic 验证显示精度加权仅在来源可靠度实质分化时优于简单平均（17/20 seeds）。
NeuroEvoRAG 发布可执行的开源管线，无需 API key 即可完成本地文档检索、DistilBERT 预训练答案抽取与 heldout QA 评测，2026 年 10 月 9 日 GitHub Actions 运行成功。在 240 段候选段落中，16 道真实 SQuAD heldout 问题的 top-3 检索命中率为 16/16，精确匹配 11/16（68.75%），token F1 为 0.7092，且 16/16 答案可追溯至原始段落。作者强调这是小型封闭语料实验，多跳 HotpotQA、NEAT 对比等原设想仍未验证，不构成生产可用性声明。
该 GitHub 仓库 ecpm 测试冻结 LLM 能否仅凭观察日志推断 8 节点包路由 MDP 的结构，并在隐藏干预后重新规划，通过检测、定位、保持、适应四个探针评估，路线按真实模拟器执行结果计分。实验设计六种干预，其中 redirect 仅改变目的地、保持所有成功率，是唯一能区分模型推理与计数基线（ecpm_baseline.py）的条件；基线在 stochastic hard_removal 下定位率达 1.00（K=5），而 redirect 仅约 0.09。信息上限由独立的微调分支单独计算，两方结果一致。
该研究项目评估 dbmdz/bert-base-turkish-cased 模型能否通过问题嵌入从固定候选池中检索配对答案，使用 merve/turkish_instructions 数据集，仅做推理与余弦排序，不训练模型。历史记录显示其在随机抽取的 1,000 对上 top-1 为 3.50%、top-5 为 4.90%。项目提供维护的命令行脚本，支持 CPU/GPU 推理，可固定采样种子并将结果保存为 JSON。
GitHub 开源项目 llm-classifier-bench 提供可复现的基准基础设施，在预测质量、概率校准、延迟和成本四个维度对比封闭集文本分类方法，支持 TF-IDF、MiniLM、BERT 微调及 OpenAI、GPT-6 Decisions 等 8 个分类器家族。在 Banking77 的 V2 基准中，Emissary Llama SFT（K=100）达到 98.00% 准确率、K=20 下 93.38%；GPT-6 Decisions（gpt-6-luna）zero-shot K=5 达 93.00%，在 1,990 个分类中出现 10 次拒答。所有报告可基于版本化摘要离线重建，无需 API 调用。
一位 Reddit r/LocalLLaMA 用户发布了纯 open-weight 模型基准测试，包含 coding、agentic 与按领域/语言/意图分类的可筛选实时结果，全部在本地 2xRTX 3090 + 128GB RAM 电脑上运行，不使用 LLM-as-judge。目前 DeepSeek-V4-Vision-Exp 领先但各模型各有强项，Qwen3.8-27B（Uncensored）正在评测，GLM-5.3-Flash-UD-IQ3XSS 和 Mellum2.1-12B-A2.5B 即将加入。作者号召社区在算力、评测和开发方面提供帮助。