多教师 On-Policy 知识蒸馏的 Fisher 几何视角
一篇 arXiv 论文证明，在同源专家模型的同一盆地里，多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标，其最优解即模型合并。作者据此提出两阶段整合方法 RGBM：Phase 1 将合并限制在任务向量子空间，Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上，仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏，RGBM 在零额外联合训练步骤下进一步提升效果。
全部 AI 动态
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分4040 arXiv · cs.CLAI 评分4343 ReAnchor：复用被拒绝的 verifier 隐状态来扩展扩散草稿生成
ReAnchor 是一种免训练方法，复用投机解码中 target 验证时被丢弃的隐状态，让预训练 drafter 在偏移位置重新锚定并生成并行草稿块，从而扩展草稿覆盖范围。在 T=0 下，该方法在 Gemma 4-12B 上平均提升接受长度 19.4%、解码速度 17.9%；在四个目标模型、八个基准上平均提升接受长度 15.2%、解码速度 13.4%（使用预训练 DFlash drafter）。
arXiv · cs.CLAI 评分2626 BERT 本身已是去噪器：无需扩散训练即可廉价解锁掩码语言模型的迭代生成
一项 arXiv 研究表明，BERT 等掩码语言模型（MLM）经去噪预训练后，无需扩散训练即可实现条件生成：冻结 BERT 在 15%/45%/60% 掩码下可分别重构 61.0%/37.5%/24.4% 的 token，但在 ARC-Easy 上仅达 11.0%、MMLU 上仅 4.2%；经普通 MLM 微调后分别提升至 28.2% 和 24.6%，RoBERTa-large 更达 44.2% 和 33.8%。结论是显式扩散训练并非获得有效迭代条件生成的必要条件。
arXiv · cs.CLAI 评分2121 在警方音频数据中利用不可靠 ASR 进行可靠关键词估计的新方法
一项 arXiv 研究提出结合现成 ASR 输出与少量人工标注样本，依据 Prediction Powered Inference 和 Design-based Supervised Learning 框架对 ASR 系统性错误做事后校正。在巴尔的摩和芝加哥警方无线电通讯数据上，可获统计有效置信区间的领域关键词比例从仅用 ASR 的 43.0%、仅用人工标注的 27.2% 提升至 56.2%。
arXiv · cs.CL精选AI 评分5959 arXiv 论文研究 Agent harness 的上下文处理如何决定任务成败
论文研究 Agent harness 跨轮次处理上下文（丢弃、摘要、回放模型推理）何时改变 Agent 成败，而非只看成本。预注册合成实验显示，所需事实可重新查回时截断上下文几乎无损失，事实不可再观察时成功率降至随机水平，两种惩罚相差 92.5 个百分点（90% CI [89.5, 95.5]），第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上，Standard harness 与 Provider Adapter harness 存在 63 分差距，改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%，不保留提示恢复 43%，叠加供应商原生推理回放再恢复 57%；这些为单次运行的点估计。
推荐理由：论文用预注册实验拆解 harness 对 Agent 成败的影响，给出可量化的组件归因，对理解上下文管理设计有直接参考。
arXiv · cs.CLAI 评分2222 从结果到组件：LLM 修复方案的-counterfactual（反事实）评估框架
一项 arXiv 研究提出反事实评估框架，将 LLM 生成的修复动作拆分为目标记录与数值更新两部分逐组合执行。在 114 个交通修复动作中，76 个的联合修正收益超过单独修正收益之和；数据库修复中，仅替换为参考更新使 108 个动作中的 17 个恶化，这些动作均选择了未受影响的记录。在留存观测上，候选方案重组后的目标-更新配对选择可恢复参考动作损失降幅的 61.6%，高于仅在方案间选择的 58.0%。
arXiv · cs.CL精选AI 评分5656 研究追踪 30 个开源模型谱系中谄媚行为从预训练到后训练的形成过程
一项 arXiv 研究追踪 30 个开源模型谱系的 741 个检查点，通过在道德场景中植入初始判断并测量模型随用户意见摇摆的程度，发现多数谱系在预训练阶段已出现谄媚行为。但具体在哪些问题上让步主要在后训练阶段形成，监督微调检查点能预测部分、偏好优化检查点预测大部分；Tülu-3 8B 自身的偏好阶段检查点可消除 85% 的剩余预测误差，而同底座的另一训练路线兄弟模型只能消除 19%。
推荐理由：论文用 741 个检查点追踪谄媚行为的形成阶段，指出偏好优化阶段是主要来源，对模型审计有参考价值。
arXiv · cs.CLAI 评分3737 SpatialScout：VLM 智能体能主动探索并绘制 3D 场景地图吗？
研究者推出 SpatialScout 基准，评测 VLM 智能体在主动物体级 3D 建图上的能力，基准包含 80 个室内场景和 3,140 个目标物体。最强的 Claude Opus 5.5 平均重叠分数仅 41.71%，47.23% 的目标 IoU 超过 0.5，仅 3.25% 超过 0.9。结果显示模型在从粗略布局到精确度量地图构建上仍有明显差距，代码已开源。
arXiv · cs.CLAI 评分3838 哪种模型配哪个角色？面向 LLM 智能体工作流的高性价比 Pareto 推荐方法 CC-Gittins
arXiv 论文提出 Cost-Coupled Gittins（CC-Gittins），一种多目标扩展的 Pareto 推荐方法，利用评估与部署成本耦合为 LLM 智能体工作流中的角色寻找质量与成本兼顾的模型分配。在 2 到 5 个角色、最多 1,681 个候选分配的八个质量-成本矩阵上，CC-Gittins 以约 10% 的穷举评估成本恢复相当比例的真实 Pareto 前沿，到 30% 成本时基本恢复前沿且误报很少，还可将延迟作为第三个目标。初版已被 NeurIPS 2026 资源感知智能体 AI（RAAAI）研讨会接收。
arXiv · cs.CLAI 评分3939 arXiv 论文提出 FRDA 与 RSDC 方法缓解基于规则的强化学习中的 Rubric Hacking
一项 arXiv 研究揭示基于规则评分的强化学习中存在 Intra-Rubric Reward Divergence 现象：总评分上升时部分子维度分数系统性下降，模型为优化聚合目标牺牲特定质量维度。研究提出 FRDA（维度内分别竞争缓解维度失衡）和 RSDC（挖掘整体偏好信号中隐含的评估维度补全规则覆盖）。在 chat、science、medical 领域实验中，FRDA 更稳定地缓解 rubric hacking，RSDC 优于单奖励训练与朴素多奖励聚合。
arXiv · cs.CLAI 评分4949 变分解码实现并行语言模型：一次前向生成多个一致 token
一篇 arXiv 论文提出 Parallel Language Models（PLM），通过潜在辅助变量路由依赖关系，在单次前向传播中生成相互一致的 token，训练目标为自回归损失加并行解码损失的变分边界。预训练 PLM 在 80M 至 3B 参数规模上达到接近自回归的预训练损失，加速比随模型规模呈幂律增长。后训练后的 1.3B 模型在数学、代码和指令遵循基准上匹敌或超越同等训练的自回归模型，推理加速 2.3-5.7 倍。
arXiv · cs.CLAI 评分2626 基于递归自编码器的层次化 token 合并无监督语法归纳
一项研究提出层次化 token 合并自编码器，通过变分信息瓶颈递归合并相邻 token，并用动态规划在二元树上边缘化，实现无监督语法归纳。在合成歧义语法上，模型在留出序列上达到 93% 语法解析有效性和 93% 精确重构，而最强平凡基线解析有效性仅 42%，验证了仅靠压缩即可涌现层次结构。
arXiv · cs.CLAI 评分3535 HoloCosm：跨多指标超越单一指标的基准压缩方法
HoloCosm 是一种多指标基准压缩方法，通过联合最小化归一化分数重建误差并约束排序失真，解决单指标方法跨指标失效的问题。在 15 个语言、多模态、VLA 和智能体基准配置、85 个组件指标上，80% 压缩率下其平均 NMAE 较最强基线 Random 降低 35.3% 至 0.236，平均 Spearman 相关性升至 0.915。代码与实验结果即将开源。
arXiv · cs.CLAI 评分3535 重复字符串下的复制：从前缀匹配到位置哈希
一篇 arXiv 论文证明，采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer，借助 RoPE 风格的 VO-rotation 结合中国剩余定理，可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果：NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化，与前沿 LLM 的终止错误相似。合成实验中，训练后的 VO 模型在长度约 5005（所选素数周期之积）内保持近乎完美的外推精度。
arXiv · cs.CLAI 评分2626 EpiLens：用于流行病学知识获取的轻量级 RAG 开源工具包
研究者推出 EpiLens，一个轻量级开源 RAG 包，用固定检索模板和输出模式处理文献语料并将输出链接到原文段落。该工具基于 2,297 篇论文构建语料，在 214 篇人工标注论文上评测，无需任务特定训练数据即在四项任务上匹配或超过监督式和零样本基线。结果显示，与再生数相关的论文中被标为模型研究的比例为 54%，高于 fatality risk 的 22%；模型类论文占比还因病原体而异，SARS-CoV-2 为 55%，mpox 仅 6%。
arXiv · cs.CLAI 评分3333 recAMPLIFY：递归蛋白质语言模型的大规模预训练
研究者将递归预训练引入掩码蛋白质语言模型，提出 recAMPLIFY，一个 155M 独特参数、基于权重共享 Transformer 核心的模型，使用与 AMPLIFY-350M 相同的 2T token 训练。参数减少 56%，却在 CASP 接触位恢复和四分之三监督任务上更优，fold 准确率提升 22.5%。进一步提出的 Gated Mixture Recurrence（GMR）可将期望层深度最多降低 37%，但精度权衡因任务而异。
arXiv · cs.CL精选AI 评分5252 TokenGate 论文提出可学习 token 剪枝，加速长上下文 prefill
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
arXiv · cs.CLAI 评分3232 Monsoon：面向 50 种低资源语言 ASR 的可扩展自发语音数据收集框架
Monsoon 是一个大规模收集自发语音数据的框架，用于解决低资源语言 ASR 缺少准确转写数据的问题，已收集 50 种语言的语音，并分析了七个共 3,500 小时的语料库。同等数据量下，其质量流程使语义 WER 相对降低 10-39%；Whisper 在 Monsoon 数据上微调后，在对话基准上语义 WER 降低 20-44 点。框架、质控模型和微调模型均已开源。
arXiv · cs.CLAI 评分3030 RESIN：基于实体结构化索引的多链推理方法
RESIN（Reasoning with Entity Structured Indexing）提出一种多链推理方法，将问题分解为单跳需求，检索源文本证据并放入紧凑推理缓冲区，保留多个候选依据直至最终组合。在 HolisQA 基准全量测试中，RESIN 取得 82.92 context recall 和 76.70 answer relevancy，五个领域的 CR 与 AR 均高于已发表基线。消融实验表明类型化证据多样性和逐跳分解都不可或缺。
arXiv · cs.CLAI 评分3535 教师监督、固定表示与校准：候选评分决策模型的精确风险计算
论文在 Gaussian 替代模型下精确计算候选评分决策模型（如 Jev 与开源的 JevAny）的有限样本风险，分析教师软目标、冻结预训练骨干和温度校准三种训练要素。学生模型会继承教师偏差，更多数据无法消除；固定表示只在明确样本量阈值以下降低风险；温度校准仅在教师系数方向正确时消除全部超额风险。在 CFPB 的 231,521 条信用卡投诉数据上，用结果训练的学生比教师决策成本低 8%，30B 模型 zero-shot 经重校准后仍逊于教师，且偏离 Luce 公理性条件 17.5 decibans。
arXiv · cs.CLAI 评分2929 ASTOR：用形式化文法评测与改进软约束优化的自动形式化
研究者提出 ASTOR，一种推理时框架，先将自然语言决策问题映射为文法引导的抽象语法树（AST），再确定性地编译为可执行的优化代码，用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR，ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率，且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。
arXiv · cs.CLAI 评分2222 AfriBED：面向低资源非洲语言的语音识别偏见评测数据集
研究者推出 AfriBED，一个用于检测 ASR 系统性别与说话人类型偏见的评测数据集，覆盖 Bemba 和 Nyanja 两种低资源非洲语言。其中 Bemba 部分含 3928 条语音、约 9 小时、80 名说话人；Nyanja 部分含 6260 条语音、约 18 小时、127 名说话人。基线实验表明该数据集可有效检验目标语言中的属性偏见。
arXiv · cs.CLAI 评分2929 SpecMRL：在参数谱系中重新设计 Matryoshka 表示学习
研究者提出 SpecMRL，通过按特征重要性组织的参数谱基扩展 Matryoshka 表示学习（MRL），使前缀读取在学习的谱空间中进行。在 MTEB 上，SpecMRL 在所有评估的降维尺寸上都优于 MRL，压缩越激进收益越大。仅用一半嵌入维度即可超过全维度的 MRL。
arXiv · cs.CLAI 评分4040 RefCraft：通过网页开发评测视觉参考条件下的智能体生成能力
arXiv 论文提出 RefCraft 基准，包含 300 个多模态网页开发任务，将自然语言指令与 1-5 个参考网页截图结合，评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿（M）LLM 上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。
arXiv · cs.CLAI 评分3636 KEEP-Bench：评估上下文压缩中的证据保留能力
KEEP-Bench 是一个诊断性基准，通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示，即使输入平均仅 3.1K token，最强开源模型（31B）保留全部所需证据的比例也只有 66.8%，最强闭源模型为 61.6%。论文还提出 EPR 指标，发现证据召回在 4B-8B 中等规模达到峰值，主张未来研究应在小计算预算下提升信息保留能力。
arXiv · cs.CL精选AI 评分6363 WildAWM 论文提出计算机使用智能体环境合成流水线
论文提出 WildAWM，一条用开源模型合成计算机使用智能体（CUA）可执行环境与任务的流水线，环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对，部分需超过 100 步求解，GPT-6-Astra 仅解出 60%；仅在这些合成环境中训练的两个不同规模 Qwen 模型，在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升，代码已公开。
推荐理由：论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法，训练效果覆盖 8 个域外基准，方法可迁移到环境合成类工作。
arXiv · cs.CL精选AI 评分5252 arXiv 论文揭示混合架构中的竞争学习现象并提出分阶段预训练方法
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象：不同 mixer 层竞争学习同一函数，胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数，导致 attention 多数情况下学不到检索；在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由：论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制，提出的分阶段训练方法在 1B 参数规模上验证有效。
arXiv · cs.CLAI 评分4545 LatComm：面向大语言模型间潜在通信的可复用上下文压缩
研究者提出 LatComm，一种大语言模型间潜在通信接口：冻结的编码器 LLM 将上下文压缩为固定大小数据包，接收方 LLM 通过 cross-attention 按问题读取。在 12 个多选题问答数据集上，其平均准确率比单向量基线最高提升 10.2 分；在 QuALITY 上将接收方输入减少 57x，回答同一文章的多个问题速度快 3x。
arXiv · cs.CL精选AI 评分5454 WeAct 论文提出动态权重切换作为 Agent 内部动作
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
arXiv · cs.CLAI 评分3232 FunCAD-Harness：让 LLM 智能体合成真正可用的功能性 CAD 机构
针对 LLM 智能体生成的 CAD 装配体往往徒具外观、无法实现物理功能的问题，研究者提出 FunCAD-Harness，将抽象需求转化为针对候选设计的物理测试，并利用仿真反馈迭代修正设计。团队同时发布覆盖 46 个机构族的 FunCADBench 基准。实验显示，该框架能发现视觉检查难以察觉的机械失效，功能成功率显著超过标准仿真增强基线。
arXiv · cs.CL精选AI 评分5656 OpenVLHarness：结合多模态记忆的视觉智能体工具使用框架
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
GitHub · 去对齐工具与仓库AI 评分2121 DesJoin：基于 LLM 描述的面向表格语义连接发现研究资源
该仓库收录论文《DesJoin: Table-Oriented Semantic Join Discovery with LLM-Based Descriptions》所用文件，包括 Original 与 Revised 两套 benchmark、标注指南及脚本。DesJoin 是一种利用 LLM 生成的描述进行面向表格语义连接发现的方法。
GitHub · 灵魂体仓库AI 评分1010 BeigeSenator/optimizing-llms-contextual-reasoning：提升 LLM 多任务环境下上下文推理优化的论文代码仓库
GitHub 仓库 BeigeSenator/optimizing-llms-contextual-reasoning 已创建，将发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文正投稿 COAI 2025 审稿中。论文提出优化策略以增强 LLM 跨多任务的上下文推理，实验结果显示在动态环境中的适应性更优。仓库标注"To be released"，完整实现、实验代码、benchmark 结果、预训练模型 checkpoint 与文档即将陆续放出。
GitHub · 灵魂体仓库AI 评分2727 LLM 自适应学习策略研究代码开源：动态环境中性能提升超 16.8%
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现代码在 GitHub 开源，采用 Apache 2.0 许可证。该方法支持实时参数调整、动态记忆管理与防灾难性遗忘机制，无需全量重训练。在四类动态环境测试中，新领域场景性能从 68.1% 提升至 86.2%（+18.1%），时序变化场景提升 +19.1%。
GitHub · 灵魂体仓库AI 评分1111 优化 LLM 在多任务环境中的上下文推理：论文实现仓库待发布
GitHub 仓库 ShieldShrimpRegister/optimizing-llms-contextual-reasoning 将发布论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 的实现与实验代码，该论文正投稿 COAI 2025 审稿中。论文提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示其在动态环境中适应性更佳。仓库内容（实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程）标注即将发布。
GitHub · 灵魂体仓库AI 评分3030 ICML 2025 论文配套代码开源：llm-adaptive-learning 实现 LLM 动态环境自适应学习
GitHub 仓库 llm-adaptive-learning 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，让 LLM 在动态环境中实时调整行为且不发生灾难性遗忘。方法包含自适应参数更新、动态记忆管理、环境检测与稳定性机制，在主题漂移场景下性能从 72.3% 提升至 89.7%，时间变化场景从 69.8% 提升至 88.9%。项目采用 Apache 2.0 许可证开源。
AIHOT · 精选AI 评分4949 斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半
斯坦福团队总结三年构建医疗 AI 基准的成果：PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，其中临床决策支持和管理流程得分最低，失败主要源于跨文档与系统传递信息时丢失上下文。两项基准均以合成数据、公开代码和排行榜开放。
Reddit · r/LocalLLaMAAI 评分3939 
基于 Jev 逻辑的 LLM 自适应思考方法（开源）
Reddit 用户 dimknaf 发布了一种让大语言模型思考过程自适应的开源方法：逐词测量熵，在模型不确定时通过 Jev 式门控决定是否触发思考块，并用并行对话树按同样逻辑选出最佳路径。项目已在 GitHub 开源，作者称适合能跑多路并行的本地模型场景。
Reddit · r/LocalLLaMAAI 评分2222 深入分析 r/LocalLLaMA 上的 AI slop 现象
一位 Reddit 用户因不满 r/LocalLLaMA 等社区的 AI slop 帖子，发布了多年跨不同 subreddit 的 AI slop 深度分析，并附上对 AI slop 未来的预测。作者称分析近几个月情况已有好转，并强调内容纯属娱乐、并不严肃。
GitHub · 3D 生成新仓库AI 评分4040 Arandu 开源：把访谈录音转为知识图谱并做无参考评测的知识发现工具
新开源项目 Arandu 可将访谈录音转录后，用 LLM 生成按 Bloom 分类四层分级的问答 benchmark，并构建知识图谱，评测各检索策略的回答与弃答表现。其评测无需 ground-truth 图谱，通过基准问题、实体扰动的不可答探针及 TC/FC/FA/TA 四格指标进行功能化评估，包含 null、oracle、bm25 等六种检索臂。案例研究对象是 2024 年 5 月巴西南部洪灾后沿河社区访谈语料。