新闻、仓库与研究，按时间排列。
一项 arXiv 研究构建了含 423 段对话、1,661 个标注 turn-states 的多轮基准，用六个数据集和六个开源权重 LLM 检验「不可回答性」探测信号。数学与阅读理解（SQuAD 2.0、MuSiQue）间探测迁移稳健（AUROC 0.77-0.97 与 0.77-0.90），但单轮探测零样本无法识别对话何时变得可回答。基于校准探测的门控无需微调即可远超随机水平地识别欠规范回合，端到端成功率距真实标签门控仅差 0.08，但并未稳定优于普通生成，主要差距在模型如何利用澄清而非检测本身。
arXiv 论文（2610.08463）提出 UNREAL 框架，直接从冻结 LLM 的内部表示生成检索查询和编码文本块，仅新增不到 500K 可训练参数且不改动主干。在 3B token、21M chunk 的 Wikipedia 索引上，四种 dense 和 hybrid 主干均超越现有 retriever-reranker 系统，HotpotQA 召回率从 49.1% 提到 73.2%，2WikiMultiHopQA 从 31.7% 到 60.1%，MuSiQue 从 8.8% 到 14.4%。
推荐理由：论文用不到500K可训练参数统一语料检索与长上下文证据选择，并给出多基准召回率对比数据，方法与结果都可复用参考。
Wiki-Talkie 是一个源自五种语言 Wikipedia Talk 页面真实对话的多语言数据集，涵盖德语、英语、西班牙语、法语、意大利语，并配有来自真实用户社群、含社会人口属性与行为特征的 persona。基于下一轮生成任务评估显示，以用户评论历史示例行为的效果持续优于显式 persona 信息，且各模型系统性少生成负面或极端情绪、过多生成引用与建议，呈现讨好与正向偏差。这些模式跨语言稳健成立，跨语言差异很小。
研究提出 InterCorrect，一种用于公平 ASR 的人口统计感知模型合并方法：基于 SLAM-ASR 模型仅微调 connector，并将针对特定人群适配的 connector 合并为全局模型，再施加交叉群体特定校正向量。在 Fair-Speech 上，TIES 结合基于 WER 的校正取得最佳整体 WER，从 7.38% 降至 5.13%，但平均 WER 降低并不总意味着子群体差异缩小。
一项研究用“同数引用交换”评估 Jev 作为 GPT-4.1-mini 计算痕迹的来源支持验证器，测试财务报告中数值相同但角色不同的引用问题。实验固定操作数与算术，在相同数字单元格间移动引用，发现既存在能通过检查的错误角色引用，也存在被扣留的有效替代引用；显式列标签改善部分错误角色判断，却降低部分等价证据的支持度。在 36 个新来源页面上的扩展评估揭示了检测角色错误与保留有效引用之间的同样权衡。
一项 arXiv 研究指出，用单对对比句的 log-likelihood 差评测大语言模型偏见往往不可靠，改写属性可能导致逻辑不一致的偏好。作者提出双重最小对设置与数据增强框架，为英语、俄语、西班牙语和中文刻板印象数据集生成改写和替代属性，并引入基于互信息（MI）的新指标，支持跨语言、跨模型更稳健的刻板印象强度比较。代码已开源。
研究者推出 RAG-PIBench，一个针对 RAG 系统提示词注入检测的基准，包含 4,876 条上下文样本，采用泄漏感知的构建流程与严格的评估协议。对比实验中，DistilBERT 取得最佳受保护测试集表现（F1 = 0.896，PR-AUC = 0.968），TF-IDF SVM 和逻辑回归也保持竞争力。结果凸显了泄漏感知基准设计与强稀疏基线对可靠提示词注入检测的价值。
Sujato Dutta 在 arXiv 发布 MINDSET，一种将对话存为不可变 episode 并通过最小能量状态迁移组织成版本化 schema 的记忆控制器。在 850 题（700 LoCoMo + 150 MemoryAgentBench）上对比 5 个记忆系统，取得最高 LoCoMo F1，检索指标显著优于第二名 LightMem（Holm 校正后 p<0.01）；消融显示受控碎片化与 schema 感知分配贡献最大，700 题跨模型评测（GLM-4.7、Gemma-4-31B）支持模型无关性。
推荐理由：论文将长期对话记忆建模为受约束的状态管理，给出了与5个记忆系统的对比数据和消融结果，可迁移到记忆系统设计。
研究者推出 HygieneRoboBench 基准，包含 134 个任务族共 624 个实例，用于评估家庭机器人从接触历史中识别卫生风险并安全继续规划的能力。对基于 LLM 的规划器和符号规划器的评测显示，安全完成任务并不等于在用户优先级下执行成本最低。为此提出的 Hygiene-NSP 结合 LLM grounding、接触历史重建和 CP-SAT，安全解决率与最优安全解决率分别达 94.4% 和 90.4%，均高于基线规划器。
研究者推出 ParanoiaEval，首个统一评估编码智能体风险处理能力的 benchmark，基于 Avoidance-Transfer-Mitigation-Acceptance 框架构建 200 组证据受控的仓库级任务对。对 8 个代表性模型的实验显示，即便有明确证据，11.2%-58.7% 的运行仍出现不必要风险处理；更强的任务能力并不带来更恰当的风险处理，风险处理是独立的能力维度。
一项 arXiv 研究（arXiv:2610.08670）构建了覆盖五类压力的248个预注册场景，将模型作为行动者与第三人称判断对照，测量模型是否执行自己认定错误的行为。OLMo-3-7B-Instruct 约五分之一的施压场景会这么做；该差距取决于后训练方案，OLMo-3 与 Llama-3.1-8B-Instruct 存在此差距，Tulu 3 整体无差距，且行动前进行道德权衡推理可将选择拉回自身判断。
WorldSolver 是一个评测 LLM 智能体物理模拟求解器生成能力的 benchmark，包含源自 61 篇经典图形学论文、覆盖 7 个物理领域的 168 个模拟任务，从 Execution Checks、Visual Fidelity、Physical Plausibility 三个维度评测。结果显示，GPT-5.6-Sol 与 Claude-Opus-5 表现相对更好，但总分仅分别为 48.7% 和 46.7%，生成可执行求解器本身已很困难，视觉与物理正确性更难满足。
针对长程 Agent 按全局 token 预算压缩上下文的做法，一项研究在 TRACE 公开语料的 590 个 AppWorld 压缩边界上重放压缩前后表现，检验 Agent 压缩前的行为历史能否预测压缩危害。结果显示预测能力仅微弱：最佳扩展协议触发器 held-out AUROC 为 0.66，同边界重放基线为 0.72；最佳冻结可解释触发器可避开 21% 有害边界，同时保留 84% 压缩机会，但在 burden mass 上未超过随机规则。在同等保留率下能否胜过 token 预算规则，现有数据无法评估。
论文提出强化学习方法 RLCP（Reinforcement Learning with Calibrated Pruning），利用 critic 分数和在线阈值自适应调整序列推荐中的保留动作集大小，并给出 proxy miss rate 的确定性界及价值损失的精确分解。在 KuaiRand-Pure 和 MovieLens 1M 上对比两个 RLCP 实现与四个 RL 基线：全部 19 个配置中至少一个 RLCP 变体取得最高目录多样性，达最强基线的 1.11× 到 5.21×，同时保持有竞争力的 session depth 且保留集合不更大。
arXiv 论文提出“bottling”概念与 BOTTLED 基准，让 LLM 智能体在固定时间、算力和 API 预算内将大规模任务转化为廉价方案（如训练小模型或写可复用程序）。跨 10 个模型、3 个任务显示：60 次运行中 48 次低于零样本 95% 置信区间下界，31 次不敌同 token 预算的小模型蒸馏基线；但 Opus 5 在查询-商品相关性分类上以约 657 倍更低的成本保留约 82% 零样本 macro-F1，并以四分之一成本达到专用廉价模型 Jev 约 94% 的 macro-F1。
开发者 alice-kroi 发布 cultist-llm 项目，用《密教模拟器》和《司辰之书》的本地游戏文本微调 Qwen3，让模型学会游戏晦涩书卷气的写法，可生成卡牌描述、事件叙事、结局文本并做中英互译。语料由脚本从本地安装的游戏抽取，共 20,110 个文本单元、59,018 条训练样本，经 LLaMA-Factory LoRA/QLoRA 在 16GB 显存 GPU 上训练，已发布 0.6B 和 4B 两个合并模型到 Hugging Face，实测 4B 语感和格式遵循度更好，代码 MIT 协议开源。
Redaction Lab 是一个以文档为中心的研究平台，用于比较各 AI 模型预测被遮蔽（redacted）文本的能力，并在有可靠公开参考文本时进行对照评分。该仓库目前为 documentation-first 状态，仅包含规划与操作文档，未实现应用、未验证评分方法、未部署服务；评分需按每个 redaction、每份文档和每个模型给出，公式与阈值尚未获批，产品与研究决策仍由人工完成。
GitHub 仓库 hehee9/CSAT-benchmark 记录并统计了各 LLM 解答 2026 韩国大学入学考试（수능）及模拟考题目的大量测试结果。测试覆盖国語、数学、英语、韩国史及物理1、化学1、生命科学1、社会文化四个探究科目（总分450），通过官方 API 进行，不提供系统提示词和搜索、计算器等外部工具，分普通模式（按科目整卷作答）和简单模式（逐题作答），成绩在仪表盘公开。评测对象包括 OpenAI GPT 系列（GPT-6.1 Sol、GPT-5.5 Pro 等）、Gemini、Claude、Grok、DeepSeek、Qwen、GLM、Kimi 等数十款模型的不同推理档位，另含图像题与纯文本题得分对比、API 成本与成绩相关性分析。
研究者提出多模态知识蒸馏（MKD）框架，用 Low-Rank Multimodal Fusion（LMF）融合预训练 WSI 图像编码器与临床文本编码器，由教师模型学习图像-文本融合表征，学生模型蒸馏后仅凭图像即可推理。在 PatchGastric 基准上，该方法平均准确率比 SOTA 至少高 3.35%，且不依赖 transformer 融合、多任务学习或大语言模型，源代码已开源。
一项 arXiv 研究提出可重复运行评估框架，用主题流失率和数量分歧两个指标测量 AI 智能体分析非结构化数据的稳定性。在 8 个前沿模型、100 到 5,000 条记录的语料测试中，使用 Claude Opus 4.8 时，基于分类体系的智能体（TGA）相比原始生成和层级分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架也适用于财务报告、法律文档等重复性知识工作。
一篇 arXiv 论文针对语义查询引擎给出成本-准确率优化的形式化问题定义：利用决策模型（如 Jev）的校准置信度，在无标注数据下估计查询计划的期望输出质量。论文定义了含语义算子的关系代数的 oracle 语义与计划等价层级，证明选择下推在升级带基于计划自身候选校准时并不保证质量可靠；期望质量可在 bag 语义下多项式时间计算，而选择丢弃元组是 NP 难的。真实引擎上的评测留待后续工作。
arXiv 论文提出多智能体系统中的“执行一致性”定义，指出相同的共享记忆记录可能对应合规或违规的执行。移除凭证等执行证据后 82.4% 的相反标签对不可区分，恢复后可区分 97.9%。其 CAVERT 诊断恢复框架在全部 12 个 benchmark-executor 设置的诊断和 4 个环境的恢复中均优于契约提示 LLM 和规则基线。
Jike Zhong 等发布 DSV-Mem 基准，用于评测多模态大模型 Agent 在专业工作流中的稠密有状态视觉记忆，含 1,000 道题和五类问题，覆盖 27 种模型与记忆管理配置。最强基线得分低于 45%，分析显示状态演进尤其是主导更新次数是主要难点，而对话长度、OCR 和算术并非瓶颈，状态感知设计比增加推理量更有效。基准与代码将公开，论文链接 https://arxiv.org/abs/2610.08102v1。
推荐理由：论文分析了 27 种配置下的失败模式，指出状态更新追踪而非对话长度才是主要瓶颈，对记忆系统设计有参考价值。
论文提出 ChartBmkAgent，可从稀疏的错误分类学规范出发，由中央 harness 治理多个专用智能体自动构建完整的 Chart QA 诊断样本，保留英文原名。在 300 个分类学样本上，多模态大模型准确率介于 32.7% 到 84.3%；定向跟进样本得分 50.0%，对照样本为 82.2%（p=8.96×10⁻⁶）。多个评估模型判定 86.4% 的样本确实测试了指定的错误类别。
一项 arXiv 研究（arXiv:2610.08138）提出免训练的测试时智能体自适应方法，通过 Test-Time Memory Evolution 检索并复用以往案件经验，并用 Rubric-Aligned Collaboration 按行为与程序要求校验和修正角色行动。在 J1-EVAL 与 LegalWorld 上对五个 backbone 模型的实验显示，该方法在合理交互与计算成本下持续优于代表性推理和 Agent 基线，提升了长程法律推理的可靠性与效率。
GitHub 开源项目 dataflow 提供用于准备大语言模型训练数据的流式、分片、可恢复流水线。流水线由 reader、extractor、filters、dedup、tokenizer、writer 等步骤组成，文档逐条流过使内存占用保持恒定；任务按文件分片独立处理，同一流水线可在单机或多机运行，崩溃后可从未完成任务恢复。
SanSi 将预训练循环语言模型转化为类型化决策模型，通过多次递归循环在不生成 token 的情况下修正隐状态，称为 System 1.5 思考。在来自 59 个来源的 10,027 个测试决策上，SanSi 达到 72.0% 准确率，比同形状非循环模型高 13.5 个百分点，比参数量三倍的模型仅低 1.8 个百分点。用作无金标准答案的 RL 策略优化裁判时，可将生成器 F1 提升 7.7 个百分点。
研究提出 SafeActBench 基准，包含 6 个操作领域、5 种协议共 656 个案例，分析工具使用型智能体从证据到行动链条的失效点。在十种模型-框架配置中，静态动作评估表现强不代表交互执行同样可靠；智能体常在执行前就停止不完整的调查或未等证据确立便行动。单动作执行在证据到位后通常可靠，而多动作工作流还会暴露未解决的前置条件与执行不完整问题。
在英国国家儿童发展研究出生队列中，研究者用 11 岁作文预测 23 岁的抑郁症状：仅基于六个童年协变量的逻辑回归基线 AUC-ROC 达 0.737，优于最优 transformer 的 0.670，且击败了七个微调 transformer、词袋模型、冻结嵌入和四个 zero-shot LLM。五个领域预训练 transformer 经 Bonferroni 校正后无一显著优于通用领域对照，加入文本得分也无法提升基线，表明长时程预测任务上基线仍是待超越的标杆。
研究者提出 OMIT 基准，用基于 LLM 的五视角哲学角色面板构建 218 个成对框架场景、覆盖 10 类冲突，评估 8 个 LLM 的不作为偏差。结果显示该偏差普遍存在，但在同一模型家族内与模型规模呈负相关。测试的 4 种推理时干预中，鼓励模型先思考道德原则再作答可降低不作为偏差并提升框架一致响应，但低偏差也可能伴随向行动偏置的偏移。
研究者提出统一多模态模型的“视觉拒绝”问题，并发布含 1050 对可行-不可行请求、覆盖 7 类任务的 Draw-or-Decline 基准。评测 8 个 UMM 发现编辑与拒绝能力相互独立：最强编辑器编辑准确率 68.4%，但普通指令下仅拒绝 0.4% 的不可行请求。所提 VisTA 训练方法训练的 VisTA-BAGEL 无需提示即可拒绝 93.0% 的不可行请求、误拒仅 0.8%，并以 74.3% 的可行编辑完成率超过全部 8 个被测模型。
研究者提出成对忠实性基准 PFaithBench，评估模型能否在同一问题上根据上下文是否支持在回答与拒答之间切换，覆盖 7 个模型族的 39 个模型。结果显示大多数模型强烈偏向回答，忠实性错误主要来自上下文不足时仍编造答案的过度回答。进一步的忠实性训练研究发现，增加回答监督数据会加剧过度回答，增加拒答数据则会减少幻觉但导致过度拒答。
论文提出 ARIA，一个两阶段的音频驱动粤语歌词创作框架，可从带字级时间戳的演唱录音中生成符合声调的粤语歌词。该方法先用 TRATE 估计器从音频预测 0243 声调序列，再通过 DRA-TCLG 结合检索增强生成流畅歌词，并构建了大规模音频-Jyutping-0243 对齐数据集。实验表明 ARIA 在 0243 预测和声调一致的歌词生成上均表现优异，论文已被 EMNLP 2026 Findings 接收。
一项 NeurIPS 2026 评测与数据集赛道研究指出，LLM 幻觉检测基准存在“参考忠实性”与“事实正确性”两类标准的标注歧义。研究基于 900 个人工标注的问答对，测试词面相似度指标、NLI 基线和七个 LLM judge，发现各自动标注策略之间及其与人工标注存在显著分歧，且多呈现方向性误差偏置；将忠实性导向提示词换为事实正确性提示词通常能提升与人工标注的一致性并减少误报。
SAGE（Semantic Anchor-Guided Evolution）是一种医学 QA 数据合成框架，利用 MeSH 等轻量级公开分类体系作语义锚，迭代交替原子级与关联级合成，让小规模本地部署模型在无需大规模医学文档或外部 API 的情况下生成训练数据。多项医学 QA 基准实验显示，用 SAGE 合成数据微调的模型一致优于自生成或常规文档范式训练的模型，代码已开源。
研究者提出 DyaFDB 框架，让两个全双工语音对话模型在指定角色和合作或冲突目标下直接对话，并由外部裁判离线对双方打分，以替代单向评测。该框架包含 4 个任务、140 个场景，记录了 7,560 段对话，覆盖六种自对弈与交叉对弈配对。实验发现模型行为会持续塑造对方，因此每个模型须同时充当考官与考生，相关场景与协议将开源发布。
Benadict-Git 开源 codegraph-loc，为研究小型本地 LLM Agent 的图引导 bug 定位提供仓库代码图与函数级 gold 位置，全部流程可在 CPU 上运行，Agent 实验可跑在免费 Kaggle T4。项目含 tree-sitter 图构建器、CodeGraph 查询 API、BM25 与个性化 PageRank 基线、JSON 工具调用 Agent（文件工具 vs 文件加图工具），覆盖 SWE-bench Lite 全部 300 个实例，数据集与复现 notebook 见 https://www.kaggle.com/datasets/benadictinfanta/codegraph-loc-swebench-lite ，Apache-2.0 许可。
GitHub 上的开源 Python 流水线针对 RAG 系统中的社会偏见，分三步处理：用 OpenAI API 分解并改写查询、以 BM25 与嵌入向量相似度检索上下文、再用基于 LLM 的分类器对子查询标注偏见或中性。项目支持 Wikipedia、BBQ、BibleQA 等多数据集，覆盖性别、种族、年龄等人口统计偏见维度。
dattasid 在 GitHub 发布 TS-SynthDesigner，一个基于 schema 的 TypeScript 合成数据生成器，每行数据都是完整类型化对象，编译期类型检查配合运行时校验。字段依赖以 DAG 追踪并按正确顺序生成，LLM 调用返回带类型的结构化结果，无效回复会带着错误说明重试；同一 seed 可复现任意批次的数据。项目受 NVIDIA NeMo Data Designer 启发并移植其两个教程，为独立项目、与 NVIDIA 无隶属关系。
这是 ICS 499 毕业设计项目 sjasthi/llm-rag-evals，用于对比 RAG 配置与评测方法，研究如何最好地评估 RAG 响应。项目基于 27 份 Metro State 文档、77 个 chunk、50 道经审阅的 v2.0 Gold Standard 问题，结合 8 个本地指标、1 个 LLM judge、4 个 RAGAS 指标和人工评审，在 6 个受控条件下保存了 30 条响应。流程采用本地检查做初筛、LLM-as-judge 与 RAGAS 做针对性诊断、人工评审校准分歧，并通过 70 个无 provider 测试和 GitHub Actions 保证质量。