新闻、仓库与研究，按时间排列。
一项基于 HighwayEnv 测试床、以 gpt-4o-mini 运行的受控评估研究了经验记忆何时能帮助闭环 LLM 驾驶智能体。结果显示：10 个重采样热身池中，检索式记忆仅在 1 个池优于 No-Memory（sign test p=0.011），且任何被测检索设计都未超过 token 匹配的无关填充对照，仅一条 15-token 谨慎指令即达碰撞合并上限。研究表明单池比较会得出被对照反转的记忆增益结论，作者已开源测试床、审计端口、种子与缓存。
一项基于 δ-SNLI 数据集的研究测试了 LLM 收到单条新信息时概率估计的移动幅度，涵盖 Qwen3-8B、OLMo-2-7B 两种本地模型及五种 agent 命令行配置。在直接陈述引导下，全部七种配置均朝标注方向移动 18-28 个百分点；改用“有人说”转述则降低移动幅度 2-5 个百分点。研究还发现，五次加权估计虽减少极端值，但在两个本地模型中使敏感度分别下降 43% 和 68%。
一项 arXiv 研究借鉴儿童点数时的认知动作（逐项指点、移动物品），以无训练的 Agent 循环让 9 个视觉语言模型在 682 张图片、7 种测试条件下执行计数并留下可审计的标记轨迹。结果显示各模型精确计数范围差异巨大（R80 从 3 到 150 个点），指标记数大多不能提升准确率，但可作为串行视觉推理的审计手段：标签扰动探测表明精确指点的模型是照标签读出答案，且模型很少在看自己的标记后修正答案。
RAG-NIMBF 是一个模块化基准测试框架，以非侵入方式附加到现有 RAG 管道上，通过受控消融和端到端实验追踪评估 chunking、embedding、检索、reranking、提示词与生成模型的配置空间。在 SQuAD 数据集上的验证显示，MMR 使 nDCG@5 提升 +4 至 +11 个百分点；更详细的提示词指令在 Qwen3.6-27B、GPT-4o-mini 和 Qwen3.5-think 上使答案忠实度提升 +10 至 +13pp，但在 20B 生成模型上效果可忽略。
一项系统性实证研究分析了 LLM 在跨语言代码翻译中的幻觉现象。研究覆盖 3 个 benchmark 数据集、6 组语言对、7 个 LLM，人工标注了 13,919 个幻觉案例，并归纳出语义一致性冲突、事实知识冲突和项目上下文偏差三类分类体系。基于该分类，研究者提出 HaluCodeTran 缓解框架，结合基于 BM25 的相关翻译示例检索与分类感知的反思式精炼，为构建更可靠的 LLM 代码迁移工具提供实用基线。
研究者推出 MMEnterprise-Bench，包含 1,613 道基于模拟协作项目中演化多模态记录的问题，覆盖证据推理、冲突消解和不可回答三类任务。对 10 个闭源与开源多模态 LLM 的评测显示，最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现吃力。增大检索预算或换用更大检索器能提升证据召回，但不一定转化为更高的回答准确率。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架，从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint（涵盖量化和剪枝）的分析显示，压缩会重新分布能力：粗粒度、局部、表层信号往往保留，而细粒度、长尾、依赖上下文的能力变得脆弱；量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。
AIMultiple 团队推出 AIM System One Index，用于评测以单次前向返回带概率决策的决策模型（System One models），榜单综合浏览器任务、1,655 道单决策分类题和偏差测试三项基准，以 z-score 计分。57 个模型中 AutoJev-27B、d1-ultra 和 decider-12b 并列第一（60 分）；d1-ultra 浏览器任务得分 74%，成本 $0.026 per 1,000 decisions；Decider Flash V1.2 最便宜，为 $0.007 per 1,000 decisions；Laya 最快，每决策 30 ms。
Reddit 用户分享 Gemini 4 Argon 在生活化角色扮演场景中的情感智能体验，认为其能仅凭上下文推断角色情绪，表现优于其他模型。作者使用自建 preset（NoPussyfooting）测试心理学家角色场景，并称此前被视为细腻扮演标杆的 Claude 在该场景下情感智能明显较弱。
Ai2 发布 FairStress 基准，用 300 个真实两难决策场景、扩展后超 1300 万测试用例，测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠，模型在对抗性前缀下更容易放弃有利于多数群体的正确决策，匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点；对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。
推荐理由：不止测最终选择，还用对抗性前缀测决策稳定性，揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
IBM Research 发布 ALTK-Evolve，通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词，在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%，登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一；对比显示 retail 需 292 条 lossless 全集才见效，airline 的 14 条 sup3 核心反而更可靠，代价主要是输入 token 成本上升，对话轮数略降。
推荐理由：不更新权重，仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首，方法可直接复用。
/u/deepu105 在 r/LocalLLaMA 发布受控对比：用 LlamaStash 路线图中的真实 Rust 功能（卸载前保存并恢复 llama-server 的 KV cache）作为统一任务，六种组合各跑两次共 12 个 PR，全部通过端到端测试。Claude Code + Opus 5.5 平均得分 82%，Claude Code + Flash-Next 为 68%，Pi + Flash-Next 为 66%，差距主要在边界情况、测试和文档；Flash-Next 耗时为 Opus 的 1.1 到 2.1 倍，但本地运行（Strix Halo 笔记本上约 Q4 量化、4.16 bpw、70W TDP）几乎零成本。
webkubor 发布并开源了 Scorecard 工具，粘贴 GitHub 仓库、npm 包或网页 URL 即可生成含九维雷达图和整改清单的体检报告，线上版为 scorecard.webkubor.online。工具分四套独立引擎（GitHub 9 维 / npm 7 维 / 网页 9 维 / GEO 4 维），判据只取 API 可核实的客观证据，读不到的数据从分母剔除并标注「无法核实」而非记 0 分；另提供 GEO 引擎测品牌在 AI 答案中的提及率与引用率，支持 CLI、/api/scorecard/compare 对比模式和可直接交给 coding agent 的 /skill.md。项目 MIT 协议开源，线上版地址 https://github.com/webkubor/scorecard。
推荐理由：作者详细说明了读不到的数据如何不进分母、判据对应哪些公开标准，读者可据此评估这类打分工具的可信度。
plotarmordev 在 GitHub 发布 The Grill，其中 grill-perf 对已有的 OpenAI 兼容模型服务器做基准测试，改动引擎、flag 或机器后重跑，直接给出 measured faster、measured slower 或 inconclusive 的结论。工具本地运行、不上传数据，已在 vLLM、TensorFold 和 oMLX 上使用；示例中同一 4-bit Qwen3.8-Flash-Next 在 Mac Studio（M5 Ultra）达 246 tok/s，比 DGX Spark 的 118 tok/s 快 108.7%，但作者强调这比较的是整套部署而非芯片本身。
Reddit r/LocalLLaMA 用户反馈，ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多，最多连续四五次失败才成功，而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。
Reddit 用户本地部署 abliterated 版 DeepSeek V4.1 Flash 1017 后发现其 RP 质量明显提升：相比 0910 版，输出更干脆，思考更以角色为中心，语言更少套路，也更善于推断意图。此前 0910 版思考过多且常从模型视角出发，导致 RP 迟滞生硬，不如 GLM5.3-Flash。
Reddit r/LocalLLaMA 用户用"降噪耳机原理"单文件 HTML canvas 动画提示词对比 Nvidia Nemotron 3.5 Super VL 120B A12B（Q4_K_M）与 Qwen 3.8 27B（Q8_0）。前者思考 7 分钟、31 tps，后者思考 20 分钟、15 tps，测试在 AMD Strix Halo 128GB、Win11 LM Studio 上进行，Nemotron 效果明显更好。
OpenCompass 是一个开源大模型评测平台，支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等模型，集成超 100 个数据集，覆盖知识、推理、代码、长上下文、安全等维度，并整合 VLMEvalKit 支持多模态评测。其最新发布 AgentCompass，支持 30+ 公开 benchmark 和 10+ agent harness（如 Claude Code、Codex、OpenHands），已被 EMNLP 2026 Demo Track 接收。平台兼容 HuggingFace、LMDeploy、vLLM 等推理后端，并提供 CompassRank 排行榜。
GitHub 上的 llm-latency-tracker 通过分布式探针节点测量 AI 推理 API 的网络 TTFB 与推理 TTFT，并发布每日排名、历史快照和区域 p50/p95 统计。2026-10-20 快照覆盖 4 个区域共 46 家推理提供商，亚洲（东京）最快为 fireworks（p50 20 ms）。数据通过 JSON API、MCP 端点开放，代码采用 MIT 许可，数据采用 CC-BY-4.0。
Kodeverse 是一个静态 Astro 页面，逐模型对比同为每月 10 美元的 OpenCode Go 与 Command Code GOAT 两个编程订阅方案。在 26 个双方均公布额度的模型中，Command Code GOAT 在 14 个上领先，OpenCode Go 领先 9 个，3 个持平；OpenCode Go 按模型月度限额的 20%（5 小时）和 50%（一周）推导上限，Command Code GOAT 则为每模型固定 $14/5 小时、$35/周。数据直接读取厂商页面并标注读取日期，GitHub Action 每 6 小时刷新一次。
来自五个实验室的 AI 模型（Claude Opus 5.5、GPT-5.x、Gemini、Grok、Kimi K3）接受挑战，用训练语料稀少的老语言 COBOL、ALGOL 68 和 Eiffel 编写 8 个带已知答案的程序，全部通过验证，其中 3 个首次通过。5 次首试失败均源于保留字（BAR、REPORT、ROUNDED）和声明语法，而非算法逻辑。代码以 MIT 许可开源，可运行于 Ubuntu 的 gnucobol 和 algol68g。
WhatIf-Bench 是一个半合成 benchmark，基于数据中心、电网、道路交通和水网络的机制模拟器生成共 37,665 个任务，衡量预测模型利用协变量预测目标对未来事件响应的能力。评测显示 frontier LLM 技能最高、优于最好的 TSFM；各模型在 Replay 任务上达 48-85% skill，但在 Novel 任务上跌至 -7 至 50%，回归基线跌幅最大。对 Novel 场景的泛化是核心挑战。
StepBench 基准从 wikiHow 抓取 6,885 条经核验的程序性步骤，覆盖 81 个开放域类别，并派生出 5 项诊断任务。对 12 个模型的 14 种配置测试显示，步骤排序最难：最强模型正确排序率仅 63.0%，步骤数达 9 步及以上时降至 33.1%。研究还发现错误步骤检测可预测生成计划的有效性，可作为更低成本的评估替代方案。
研究者推出首个面向生命科学的图结构评测基准 LG-Bench，涵盖医学、生物学和化学领域超过 10,000 道高质量选择题。该基准通过双向匹配和语义相似度算法构建加权评测图，并设计全局一致性分数（GCS）和知识平衡分数（KBS）两项新指标，分别衡量模型在语义相关邻域内的一致性，以及错误分布揭示的概念盲区。该框架将大语言模型评测从平面的准确率指标转向结构感知分析。
ProteinGeoBench 是一套包含 131 项蛋白质结构任务的评测套件，基于 4 个前沿模型的 4,249 次 rollouts 和 26 个模型的 4,486 次额外试验。结果显示前沿智能体擅长结构元数据查询但几何计算较弱：131 项任务中数值任务占 28 项，却在四个模型全部失败的 12 项任务中占一半；三个前沿模型得分在 0.785 至 0.816 之间难以区分，第四个为 0.707。研究还发现评测排名受评测预算影响显著，单次运行时 23.9% 的 bootstrap 复现会得出不同的第一名，建议评测应按任务族报告结果并注明运行次数、harness 和访问条件。
一项基于 USGS 地球化学模拟器 PHREEQC 的研究测量了 LLM 智能体用检索代替上下文读取工具输出时的精度损失。GPT-5.1 和 GPT-5.2 分别下降 11.3 和 7.9 个百分点，Claude Opus 4.6 与 Claude Sonnet 4.6 无明显损失；GPT 模型在检索模式下常跳过报告、改用自身高精度输出文件并错误取整，即“证据替代”失败。指明权威输出可提升 6.3-7.9 个百分点。
研究者推出 AnyGoal，一个由常用世界模型环境构建的目标偏移任务变体基准，并配有开源库，用于研究数据覆盖、动力学泛化与规划性能的关系。在多个环境和世界模型家族上，当前模型在重组熟悉状态与动作因子的组合泛化场景下持续失败，该框架为评估面向新规划任务的泛化能力提供了基础。
arXiv 论文提出 LLM 路由基准 RouterWorld，统一 371k 单轮响应与 76k 多轮智能体轨迹，采用 LLM-as-a-judge 协议和基于硬件的延迟标注，并设计 Cold-Start 与 Voyager 两种部分可观测路由设定。对 13 个路由基线的评估发现，多数路由器在部分可观测条件下过于重视准确率而忽视延迟。代码与基准数据已公开。
论文研究 Agent harness 跨轮次处理上下文（丢弃、摘要、回放模型推理）何时改变 Agent 成败，而非只看成本。预注册合成实验显示，所需事实可重新查回时截断上下文几乎无损失，事实不可再观察时成功率降至随机水平，两种惩罚相差 92.5 个百分点（90% CI [89.5, 95.5]），第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上，Standard harness 与 Provider Adapter harness 存在 63 分差距，改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%，不保留提示恢复 43%，叠加供应商原生推理回放再恢复 57%；这些为单次运行的点估计。
推荐理由：论文用预注册实验拆解 harness 对 Agent 成败的影响，给出可量化的组件归因，对理解上下文管理设计有直接参考。
研究者推出 SpatialScout 基准，评测 VLM 智能体在主动物体级 3D 建图上的能力，基准包含 80 个室内场景和 3,140 个目标物体。最强的 Claude Opus 5.5 平均重叠分数仅 41.71%，47.23% 的目标 IoU 超过 0.5，仅 3.25% 超过 0.9。结果显示模型在从粗略布局到精确度量地图构建上仍有明显差距，代码已开源。
HoloCosm 是一种多指标基准压缩方法，通过联合最小化归一化分数重建误差并约束排序失真，解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上，80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236，平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。
arXiv 论文提出 RefCraft 基准，包含 300 个多模态网页开发任务，将自然语言指令与 1-5 个参考网页截图结合，评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿（M）LLM 上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。
KEEP-Bench 是一个诊断性基准，通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示，即使输入平均仅 3.1K token，最强开源模型（31B）保留全部所需证据的比例也只有 66.8%，最强闭源模型为 61.6%。论文还提出 EPR 指标，发现证据召回在 4B-8B 中等规模达到峰值，主张未来研究应在小计算预算下提升信息保留能力。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。
斯坦福团队总结三年构建医疗 AI 基准的成果：PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，其中临床决策支持和管理流程得分最低，失败主要源于跨文档与系统传递信息时丢失上下文。两项基准均以合成数据、公开代码和排行榜开放。
开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。
ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架，基于 CORD-v2 数据集，通过 LiteLLM 切换模型后端，所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中，54% 的字段单元无值，全答 null 即得 54.0% 宏平均准确率；本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%，更严格的 v2 提示词将其提升到 86.0%（配对 +36.5 点）并把幻觉率降到 23.1%；对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。
推荐理由：原文给出带置信区间和 always-null 基线的完整评测设计，读者可以照着复现小票抽取模型的幻觉测量。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。