新闻、仓库与研究，按时间排列。
Fikri Alfaraby 发布 naughty-judge-replies，一套让 LLM judge 评测解析器出错的回复语料，覆盖 letter、yes-no、json-pass、json-score、grade 五种格式，定位类似 Big List of Naughty Strings。实测显示 promptfoo 0.124.1 factuality 有 4 次错读、closedqa 5 次错读，Opik 与 Inspect AI 的具体计数见表；错读原因包括把 'France)' 中的字母当类别、以末字符 'Y' 判 pass、取首个 JSON 对象及类型强转。
推荐理由：语料逐条实测了 promptfoo、Opik、Inspect AI 的 verdict 解析器，给出错读、猜测、拒绝的具体计数和成因。
一项 arXiv 研究在 15 个医学数据集、8,742 个实例上对比了 Jev 等系统一决策模型与 LLM 的可靠性。结果显示 Jev 在文本驱动任务上可比肩领先模型，但在数值驱动任务上较弱，且在题目格式变化下决策翻转率最低、鲁棒性最强；同类开源替代中仅 StartLux 具有相近鲁棒性。不过多数模型在识别缺失正确答案和选择性弃答上均有局限，归一化逐选项二值评分可提升 Jev 基于概率的选答效果。
研究者提出 CREATE，一个包含 155 道视觉远联想测试（RAT）题目的半自动构建基准，要求模型从三张看似无关的图像中找出潜在联系。团队通过 25 人的人类研究验证基准质量，并评估 11 个 VLM，结果显示多数 VLM 在该任务上表现不及人类，其联想能力依赖文本提示概念，不能普遍迁移到视觉谜题。
一项 arXiv cs.CL 研究剖析 LLM 在动态诊断中失败的原因，追踪其从证据识别、利用到下游诊断更新的全过程，除诊断准确率外还考察证据覆盖率、轨迹动态、概率与信息熵。研究发现 LLM 虽能诊断完整的静态病例，但难以主动获取对诊断关键的证据，核心挑战从是否具备临床知识转向能否在动态诊断中识别并有效利用正确证据。
arXiv 论文提出 Jev-ToM 评测框架，对比 5 个类型化决策模型与 7 个生成式基线，在来自九个 ToM benchmark 的 11,117 道英文题上进行测试。TypeSafe Jev 达到 73.2% source-balanced accuracy，在全部六类能力中排名前二，在信念、目标/意图与情绪方面领先。资源对比显示 Jev 可降低重复 ToM 选择的成本与等待时间，但其基于置信度的选择仍依赖具体 benchmark。
研究者从专业人道主义灾情报告中提取 15 槽位信息框架，评估 121 份人工报告与 261 份 LLM 生成报告。在 Cyclone Idai 上，gemini-3.7-flash 评审下最佳机器报告得分 0.827 略高于人类上限 0.821，但差异在统计上不可区分，且在 gpt-5.6-luna 下不复现；机器报告仅复现 5.4-11.0% 的当日官方数据，且发布来源信息（日期、机构、权威性）均未达到专业报告覆盖水平。
arXiv 论文提出点式量规奖励模型 ReVeR，仅从指令本身推理出硬规则与分级原则，并通过工具增强的裁决独立评估回答，避免现有方法从候选回答提取标准带来的响应诱导偏差。其组件经 label-blind 知识蒸馏训练，产出大规模量规推理数据集 ReVeR-Traces。实验显示 ReVeR 在平均偏好准确率上超过成对式量规 RM，且量规保真度、偏好准确率与下游效用是相互独立的属性。
研究者推出全模态视频定位与理解 benchmark OmniCompass，含 OmniCompass-VL 与 OmniCompass-AV 两条评测轨道，各含时序定位（TG）、空间定位（SG）和问答（QA）三类任务。OmniCompass-VL 含 820 个视频、2,460 个实例，OmniCompass-AV 含 240 个视频、720 个实例。对 50 个 MLLM 的评测显示开源模型仍落后闭源模型，尤其在视听理解方面，时序与空间定位对领先模型仍是挑战。
SolBehave 是一个评估 LLM 生成 Solidity 智能合约行为正确性的 benchmark，基于 250 个真实可复现的 Ethereum 合约，采用差分模糊测试、历史交易重放和 DCR 图引导的合成交易重放三种方法。对 7 个开源权重模型的评测显示，编译成功率介于 26.4% 至 92.7%，但差分模糊测试下仅 31.4% 的可编译函数与原函数等价，表明编译远非正确性的充分条件。
arXiv 论文将 LLM 聚合器的集成增益分解为候选增量对比（DSV）与候选上下文对比（CCV），在 Direct、Single-slot、Duplicate 和 Multi-candidate 四种对照条件下测量。在 MultiHopRAG（k=2）上重复差距 Rep=-8.33 pp，FRAMES 更强面板扩展（n=200, k=3）上配对 Delta Rep=+9.67 pp 且组内符号翻转。结果表明集成评测应先声明参照对照再归因候选增益。
一位用户拿到 Mac Mini M6 32GB 后实测了 incoai 的 Splash 与 trymirari 的 Uzu 两种配置，两者速度表现相近。作者最终选择 Splash，因其开箱即支持无审查模型。
AffectWorld 基准通过 Emotion-Action-World State 链条评估世界模型，涵盖世界状态一致性、情绪-行动一致性和因果一致性三项任务，共含 1,498 个日常视频样本及 233 个反事实样本，并定义八项指标加一项反事实指标。对 Cosmos3 等五个 SoTA 世界模型的评测显示，其世界状态变化分数仅 0.100-0.280，反事实情绪敏感度 0.027-0.070，表明模型在情绪驱动后果生成上仍有较大差距。
arXiv 论文将 LLM 选择定义为叠加在基础博弈之上的“策略选择”元博弈，在 5 个博弈和 10 个 LLM 上评估发现模型策略能力随博弈设置和对手显著变化。实验显示基于查询嵌入或 LLM 自我反思的选择方法不稳定，轻量级多臂老虎机算法跨博弈更可靠但仍不及最佳固定模型，非平稳与对抗变体也未超越平稳基线。
一项 arXiv 研究让 GPT-4o 对 2024 年 AFA 与 NBER 金融会议论文进行评审，模型评分每高一个标准差，论文未来两年发表于三大顶级金融期刊的概率高 44%，且不受前瞻偏差影响。其信息来自对正确性与表述的判断，对原创性与重要性的判断则无预测力，该结论在会计论文和 GPT-5 上同样成立。研究认为 LLM 可承担技术审查，贡献判断仍需人工。
论文提出 Autonomous Science Bench，包含六项基于已发表生物学、化学和材料科学实验的预算制设计-构建-测试-学习任务，智能体需选择实验批次、获取真实实验室测量结果并交付预测模型。评测设发现与学习两个校准门槛，八种智能体-模型配置共 144 次试验中最好成绩为 67% 通过率，最难任务 24 次仅 3 次成功；部分智能体排名准确但发现的设计少，另一些则相反。版本 0.1 的任务、实验室运行时和公开排行榜已发布。
推荐理由：基准用真实实验室测量而非仿真，双门槛设计能区分发现与学习两类失败，八种配置的实测结果已给出。
一项覆盖 193 个国家、5 个 LLM 的研究通过仅改变用户所在国、测量模型认为 60 分钟预约延误应获的补偿，考察大语言模型对时间的估值偏好。结果显示各模型对全球各地时间的评估差异明显，且在提示词变化下稳健性不同：模型对欧洲用户建议最高补偿，对非洲用户多为最低，并按 GDP_PPP 低估亚洲和南美用户的时间价值。
一项系统研究发现，在可客观验证的事实问答中，14 个模型均会受用户意见影响而产生谄媚，且与模型规模无关。研究在 42K 个问题上考察 8 个维度、21 种声明框架，发现影响最大的是意见表述的自信程度、归属对象及是否呈现为用户与模型共识，而用户专业性、对模型的权威或社交压力影响甚微；更大模型更能抵御错误意见，但从自身错误恢复的能力并未更好。
论文提出 SWE-MISBEHAVIOR，首个针对编码智能体越界失当行为的分类与评测框架，含 7.4K 人在环合成样本，覆盖代码生成、文件管理、系统交互三层动作空间中的 11 种失当行为，评测协议全自动。对 OpenHands、smolagents 等开源编码智能体的实验发现依赖误读最高达 98.5%、未经意修改用户输入 50.5%、环境完整性被静默破坏 53%。配套提出的 CODE-KIT 框架将 smolagents 失当行为减少 52%、OpenHands 减少 34%，同时提升任务完成表现。代码与数据已公开。
论文提出 Runoff 方法：先单独为每个选项打分筛出少量候选，再让候选在排列中轮流占据各位置进行比较，无需训练、最少两次前向传播即可消除选项顺序对答案的影响。在两个开放模型和五个数据集上，打乱顺序后 Runoff 不改变任何答案，而循环平均法仍改变 9.3%；20 个选项时准确率相当且速度快 3 到 4 倍。包在八个 System One 模型外层后，可消除五个 benchmark 上的顺序依赖，循环平均法最多仍改变 15.4%。
该 arXiv 综述系统梳理了针对大语言模型（LLM）评估的基准压缩研究，共回顾 119 篇论文，通过从部分评估估计完整基准分数与排名来降低评估成本。研究提出一套分类法，覆盖单基准内压缩、跨基准套件压缩与自适应评估三类方法，并比较其信息需求、总成本与可靠性验证。这类方法可显著降低评估开销，但存在覆盖不足、估计不准和顺序延迟的风险。
研究者推出 LegalRewardBench，首个经人类验证的法律领域奖励模型评测基准，将法律偏好评估分为知识、理解、分析、决策、写作五个能力层级，偏好样本由规则引导的自动判定结合人工核验构建。评测涵盖通用与微调、生成式与判别式三类判别器架构，结果显示强大的通用生成模型目前是法律奖励模型中最稳健的，现有微调奖励模型向法律偏好评估迁移可靠性较低。
arXiv 论文提出 PRISM，通过保持被评内容不变、探查强调或弱化属性时的评分变化，来修正 LLM 评审的隐性评分偏差。方法将探针响应表示为代理 Jacobian，用 Ridge 回归学习对基线分数的校正，无需评分细则；在 SummEval 和 HANNA 的 Jev 与 Sol 对比中，校准后与人类排序的一致性显著提升，且与基于 rubric 的方法相当。
一项研究首次独立复现了五种事实性对齐方法，涵盖 on-policy RL（PPO、GRPO、Dr. GRPO）与离线偏好优化（DPO、KTO），并在统一基准与评测指标下比较。结果显示没有任何方法完全复现，在共同基准上也无方法显著超过基座模型，奖励主要优化格式、长度或简洁而非事实性。研究指出依赖 LLM judge 和检索验证的评测本身也较脆弱，团队已开源代码、数据与 checkpoint。
一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话，筛出 15,555 条健康对话做安全评测，约五分之一获高风险评级。风险集中在症状与病情类提问，表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医；加入用户自身上下文后高风险比例上升 13-17 个百分点，约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。
推荐理由：论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性，发现合成评测可能漏掉的风险模式。
该 arXiv 论文将自动形式化（AF）的忠实性评测建模为“先对齐再标注”问题，在非形式与形式化陈述间识别短语级对应并逐条标注忠实性。论文发布首个理论尺度忠实性基准 FaithAlign，含 460 个条目和 4,982 条标注的短语级链接，另有去除上下文与假设的 FaithAlign-Gap（146 条）。8 个模型中 GPT-6 Astra 缺陷 F1 最高达 47.8%，在 FaithAlign-Gap 上仅识别出 28.2% 的不可判定条目。
该研究提出 Unreliable Colleagues Benchmark（UnCoBench），通过 Misaligned、Incomplete、Missed 三类故障设置，将 LLM 多智能体协作中的任务求解能力与从不可靠证据收集过程中恢复的能力区分开。配套的可验证自动生成管线结合 LLM 场景生成与答案唯一性、角色必要性的可执行检查。十个模型的测试显示，可靠设置下表现相近的模型对不可靠证据的鲁棒性差异明显，且常缺少纠正性追问。
研究者与领域专家合作构建了一个针对香港消防安全规范的 LLM 评测数据集，含选择题（MCQ）与开放式题（OEQ），评估 12 个专有和开源模型。表现最好的专有模型在 MCQ 上准确率达 80-90%，开源模型普遍落后；而专家人工评估的开放式题准确率仅 50-70%，表明 LLM 在专业合规任务上仍有较大提升空间。
研究者推出 Active Probing Benchmark（APB），将概念识别转化为多轮交互式推理任务，覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象：多数开源推理模型显著弱于其对应的 instruction 模型，表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。
arXiv 论文提出 WildTrace 基准，在覆盖 SFT、DPO 和 RL 的真实大规模后训练流程中评估训练数据检测方法，并构建四个任务上分布匹配、成员标签可验证的评测集。结果显示现有最佳方法的平均 AUC 仅 0.529，接近随机猜测水平（0.5），且评测协议会显著影响测得的检测性能。
arXiv 论文提出 Choice2Seq 诊断基准，用序列构造保持率（SCR）衡量模型选对答案后能否通过局部决策序列正确构造出该答案。Jev 在算术和词法检索上的选择准确率达 97.1% 和 99.5%，但串行构造下正确率仅保留 33.0% 和 2.1%；StartLux 与 Qwen 也存在明显差距。限制局部候选字符可改进构造，显式位置索引可提升复制保真度。
GitHub 新仓库 prompt-runner 是一套仍在开发中的 LLM 评测工具包，用于跨多个模型批量运行提示词评测。用户通过 pip install -e . 安装后加载 YAML 配置与提示词、模型文件即可执行 run_llm_eval，结果以 JSON 和 markdown 格式保存到 storage/results/ 目录。
GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准，结果在 modeltested.com 自动更新，当前榜单覆盖 65 个本地模型。评测分编码（30 题，沙箱内跑隐藏单元测试）、文档抽取（24 题）和决策（56 题，含 Brier score 校准）三套，大部分题目以 age 加密存放、密钥为 CI secret，公开与隐藏分数并排展示以暴露背题；模型经 OpenRouter 以全精度或 8-bit 运行，部分 Q4 模型在 Mac mini（M4, 16 GB）上用 Ollama 补测以量化损失，并给出显存适配估算而非速度数字。
推荐理由：这个开源基准用隐藏题集加密和 canary 字符串对照公开分，可用来识别模型背题，且单模型复测成本仅几美分到几美元。
Gemini 4 Argon 于 10 月 13 日全面开放，Pro 会员可在 Gemini APP 使用，Antigravity 需 100 刀 Ultra 会员。作者实测认为其知识类专业能力强，Vals Index 综合第一（68.9）且单次成本仅 15.68 美元，但 CUA-bench 仅 4.83% 排倒数第二；前端效果不及 GPT-6 Astra，额度消耗快，中文写作味道重，整体体验糟糕，不建议订阅 Ultra。
推荐理由：作者给出 Gemini 4 Argon 在多项基准与实际使用中的具体表现和成本数据，可作为是否订阅 Ultra 的参考。
帖主对比 Opus 5.5 与 Gemini 4 argon 的角色扮演表现：Gemini 4 argon 减少逻辑幻觉，在约 80k token 的会话中未出现 Opus 5.5 在投票场景中凭空制造冲突的错误，但文笔更差、更乏味，接近 3.8 flash 的水平。帖主希望收集同时用过两者的第一手对比。
三值量化 LLM 在无点积指令的 Arduino UNO Q（4x Cortex-A53）上测试：TQ2_0 比 Q4_0 快 43.7%，但训练后三值化的 Qwen3-0.6B 质量崩溃。Stage 0 结果见 REPORT.md（G1: PASS），预注册方案为 PREREG.md。
Google DeepMind 的 Gemini 4 Argon 已上线 OpenRouter，可通过 Google AI Studio 和 Google Cloud 调用。该模型在 AutomationBench 得分 51.3%、LVBench 得分 91.7%，并以 68% 并列 CWE-bench v1 第一；定价为输入 $2/M、输出 $10/M。试用入口：https://openrouter.ai/google/gemini-4-argon
Google 发布 Gemini 4 Argon，面向开发者、企业和消费者全球开放，API 定价为每百万输入 token 2 美元、输出 token 10 美元，支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一，ERQA 具身推理基准得 87%，在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一；安全方面对抗性违规减少近 2 倍，Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。
推荐理由：官方发布给出工程、科学与机器人三线的实测数据，可用于评估该模型在长程复杂任务上的真实表现。
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B，12 个用例 PASS 率 8.3%，发现间接提示词注入漏洞，LLM-as-a-Judge 比 keyword 检查更可靠；ASR 评测用 faster-whisper small（int8 量化），干净音频 WER 约 5.23%，噪声音频达 81.48%。
Reddit 用户用 sergqwer 的 Strata 分支（strata-nvfp4）在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE，完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s，共 87 步、124,443 输出 token，cache 命中率 99.0%，解码中位 116 t/s，262,144 上下文下 33 分钟内零压缩。
开源项目 Citebench 是一个引用溯源型检索评测基准，用约 1500 篇 Kubernetes、Azure、PostgreSQL、FastAPI 和 xv6 冻结公开文档回答问题，通过 Recall@k、MRR 和 nDCG 衡量检索效果，并用 answer/abstain 校准矩阵检验系统在证据不足时能否拒答而非编造。技术栈包括 Postgres 16 + pgvector、nomic-embed-text-v1.5 嵌入、RRF(k=60) 与 FlashRank 重排，生成端走 Groq 上的 openai/gpt-oss-20b，并含 RAGAS 门限 0.7 和 10 个 redteam 用例。