ELLSA 2：支持语音、表情与手势的全双工端到端对话模型
研究者提出 ELLSA 2，一个端到端全双工对话模型，联合优化语音交互与流式手势表情生成，在语言沉默时仍可持续生成非语言行为。模型通过上下文语义调用与模板引导实现语义手势生成，并建立对话感知的共语手势数据与评测管线。实验显示其与开源全双工语音交互模型相当，在手势与表情指标上超越级联基线，语义模板引导显著提升语义手势质量。
#论文/研究
新闻、仓库与研究，按时间排列。
arXiv · cs.AIAI 评分4343 arXiv · cs.AIAI 评分3737 视觉生成能否扩展统一多模态模型的知识？arXiv 提出 KTP 探测协议
arXiv 论文提出 Knowledge Transfer Probing（KTP）协议，检验图像生成训练能否为预训练模型带来新知识。在 7 个知识类别和 3 个统一多模态模型上，视觉监督可向语言迁移知识，但迁移不均衡；作者进一步提出 Textual Alignment 与 Interleaved Image–Text Alignment，无需 QA 监督即可提升知识访问能力，且图像中正确再现的知识往往更易通过文本访问。
arXiv · cs.AIAI 评分4545 SpecAgent：用语义验证实现工具调用智能体的轨迹级投机
SpecAgent 是一种智能体协作协议，将强模型从逐步生成者变为弱模型草稿的审查者：弱模型执行只读工具调用起草步骤，强模型通过单次 prefill 语义验证并提交最长有效前缀。在 τ²-Bench 上其成功率与强模型相差不到 1 个点，同时将内存流量和墙钟时间约减半；在 AutomationBench、VitaBench 上可挽回 44-75% 的质量差距，在 MCP-Atlas 端云部署中缩小 53-75% 差距且强模型 token 生成量最多减半。
arXiv · cs.AIAI 评分2020 用嵌入模型与 LLM 精炼本体：CASTON 铸造领域案例研究
研究者提出一种结合微调本体嵌入模型与 LLM 的轻量级本体精炼流程，用于修复 CASTON 铸造领域本体中的类层级 subsumption 错误。嵌入模型提取待修正候选公理及替换候选，再由 LLM 给出修复建议。在专家评估中，使用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置产生的六个高置信度替换全部被两位领域专家接受，实现代码已开源。
arXiv · cs.AI精选AI 评分5858 arXiv 论文提出非线性叙事生成基准：19个模型平均更偏线性讲述
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准，每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性，被要求特定结构时约一半情况落在人类范围内；自动化裁判与71位人类读者都更偏好模型默认的线性故事，非线性版本在81%的关键判断中被认为更难跟上，读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由：论文用83部作品语料和71位人类读者对比模型非线性叙事能力，给出了具体差距数据而非泛泛结论。
arXiv · cs.AIAI 评分3131 工具增强大语言模型实现患者病历的可靠医学计算
研究者提出一种工具增强 LLM 框架，将计算器规则与算术执行分离为确定性工具，并用受限提取器把病历映射为可计算输入。在 MedCalc-Bench 上达到 86.73% 最终答案准确率，分别比 one-shot 提示和监督微调基线高 24.0 和 17.27 个百分点。消融显示增益主要来自基于规则的工具合成与 schema 约束提取，该方法可缓解算术幻觉。
arXiv · cs.AIAI 评分1616 AI 驱动的灾害响应与流离失所监测
arXiv 论文探讨 AI 在人道主义任务中的应用，重点涵盖灾害响应与流离失所监测。文中列举 AI 用于全球天气预报、可再生能源控制与设计、森林砍伐监测，以及结合卫星影像与社会经济数据预测贫困。AI 还被用于评估灾害损失、紧急需求和追踪流离失所。
arXiv · cs.AIAI 评分4242 FlashAttention with Statistics：面向紧凑幻觉检测器的低开销注意力特征
研究者提出在 FlashAttention 前向传播中直接累积注意力统计量，无需显式构建注意力矩阵，用于训练紧凑幻觉检测器。在 H100 上，五个已发表检测器所需统计量对 Qwen3-8B 前向（2K token）仅增加 16% 延迟，35K 时降至 1.4%，每 response token 存储 22.5 KiB。基于 0.6B–8B 冻结 Qwen3 代理模型训练的探针表现强劲：4B 代理在三个 benchmark 中的两个上 F1 超过九个最强零样本 4-9B LLM 评判，注意力特征在 12 组 benchmark-代理配对的一半中显著提升 F1。
arXiv · cs.AI精选AI 评分5252 MetaExp 论文提出通过可验证跨任务环境扩展训练智能体自我改进能力
论文提出 MetaExp 框架，通过带跨任务结构的可验证任务族训练语言模型智能体把交互反馈变成可迁移的经验学习能力，设计了 Shared-Tool 和 Shared-Workflow 两种任务族。团队在 1,000 个任务族上收集并过滤得到 4,956 条轨迹，微调 Qwen3.5-122B-A10B，参数冻结后在 SpreadsheetBench 提升 +8.5、APEX-Agents 峰值 +2.3、AutomationBench 提升 +14.8，领域排除训练下增益仍保持。论文地址 https://arxiv.org/abs/2610.21492v1
推荐理由：论文用可验证跨任务环境训练经验学习能力，并在三个基准上给出领域排除训练下的迁移增益数据，可参考其环境构造思路。
arXiv · cs.AIAI 评分3535 ISW-Agent：结合 LLM 对话与 n8n 工作流的内孤立波遥感图像处理系统
研究者提出 ISW-Agent，将 LLM 解释与 n8n 工作流及独立科学模型结合，用于内孤立波（ISW）遥感图像处理。在每种后端各 120 条中文指令测试中，GPT-5.6 Sol 和 DeepSeek 均达到 94.2% 的严格任务匹配率；50 个定时场景中 39 个完成检测、条带提取与传播预测，中位耗时 48.04 s。3,408 次故障注入测试中，重试恢复 234 次瞬态故障，输出验证拦截 234 个结构缺陷。
arXiv · cs.AIAI 评分2424 用可解释语义表征分解 LLaMA2-7B 与大脑对齐
研究用 SCRIBE——一个覆盖 65 个神经认知语义属性的可解释语义表征——分解 LLaMA2-7B 与大脑对齐的构成。对 7 名受试者听叙事故事的自然主义 fMRI 数据做方差分解发现，共享方差在全脑及语言相关脑区占主导，具体语义属性比抽象属性的共享方差更大。结果表明相当一部分脑-LLM 对齐与可解释语义信息相关，同时存在超出 LLaMA2-7B 表征的互补语义信息。
arXiv · cs.AI精选AI 评分5252 QREF：通过查询改写与证据过滤提升 DeepSearch 智能体
研究者提出 QREF，一个即插即用的查询改写器与证据过滤器，通过 SFT 初始化并用强化学习在真实网络搜索环境中优化，缓解 DeepSearch 智能体检索意图错位与噪声累积问题。方法在四个基准上平均将 WebSailor 的 Pass@1 相对提升 33.55%、TongyiDeepResearch 提升 11.04%，无需修改架构或重训推理策略；RL 训练的改写器比原始骨干减少 95% 缺乏判别性检索锚点的查询批次。论文地址 https://arxiv.org/abs/2610.21512
推荐理由：论文给出即插即用的查询改写与证据过滤方案，不改架构即可提升 DeepSearch 智能体表现，数字与对比数据齐全。
arXiv · cs.AIAI 评分4343 Poison Valleys：诊断 LLM 代码修复中的路径依赖式失败
Poison Valleys 方法在两个合成 Python 案例的 1,844 次模型请求中，追踪代码修复智能体失败时上游错误机制与失败形式的关联。研究发现，将错误机制从假设阶段移到实现计划阶段，使 PersistQueue 失败率增加 32.2%，Dijkstra 增加 28.9%。不同错误机制产生了不同的、依赖模型的义务违反模式。
arXiv · cs.AIAI 评分2222 SCRIBE：基于开源大语言模型集成的大脑语义可解释表征框架
研究者提出 SCRIBE 框架，利用开源大语言模型集成构建神经科学启发的语义空间，为任意文本生成可解释的词级语义表征。在 921 人参与的行为研究中，SCRIBE 能捕捉语义特征随语境的系统性变化，达到估计人类噪声上限的 75-81%。基于自然故事听力任务的脑活动数据，它显著优于非语境语义表征，并解释了句法特征之外的独特脑预测信息。
arXiv · cs.AIAI 评分1515 层次化可解释多任务音频表示学习：基于信息瓶颈的事件-场景关系分析
一项研究提出层次化（顺序）条件范式，从中间事件概率直接预测声学场景类别，替代传统多任务多输出头架构。研究在 PaSST、PANNs 和 BEATs 三种骨干上完成 66 次完整训练，发现 beta 在 0.6–0.9 时可实现双任务同步学习，且层次化条件化带来更低的条件熵、更高的互信息和更好的潜在聚类可分性。
arXiv · cs.AIAI 评分3636 CriticaLLM：用 LLM 自主担任桌面角色扮演游戏的游戏主持人
研究者推出 CriticaLLM 框架，一个可全自动化运行 TTRPG（如 Dungeons & Dragons）的 Game Master，涵盖故事创作、探索与战斗阶段管理。团队总结了 LLM 在 TTRPG 中的关键能力要求，并邀请真实 TTRPG 玩家评测，比较了四款不同参数规模的 LLM 在剧情与反派多样性上的表现。
arXiv · cs.AIAI 评分4444 LLM 功能子网络定位：CiMEO 框架实现高效持续学习
研究者提出 Function-isolated Memory-Efficient Optimization（CiMEO）持续学习框架，通过梯度归因分析定位 LLM 中认知相关的功能子网络，将训练样本路由至对应子网络，把参数更新和优化器状态限制在选定区域。在 140 万条顺序指令上，CiMEO 在覆盖编程、考试型任务和数学推理的五个生成式 benchmark 中取得对比方法的最高平均性能，同时缓解灾难性遗忘。子空间重叠与主角度分析表明局部化更新有助于保留预训练表征。
arXiv · cs.AIAI 评分2525 Agent Status Protocol (ASP)：多智能体系统状态报告的轻量级规范
论文提出 Agent Status Protocol (ASP) 0.1 版提案，定义异构 AI 智能体向状态服务器上报运行状态的轻量级规范：智能体通过 HTTP POST 推送小型 JSON 事件，服务器经 Server-Sent Events (SSE) 向观察者（如仪表盘）推送状态变化。ASP 不依赖自报告，可从缺失心跳推断存活、检测仍存活但不再推进任务的智能体，并接受 supervisor、guardrail 等外部观察，状态沿 lifecycle、health、task、floor、governance 等独立维度建模。
arXiv · cs.AIAI 评分3232 强化学习驱动的扩散模型：语言、视觉与更多领域的综述
一篇被 TPAMI 接收的综述首次系统梳理了强化学习驱动的扩散模型（RL-driven DMs），涵盖扩散式语言、多模态、机器人和科学模型，重点分析扩散轨迹优化与奖励工程。作者通过多任务 benchmark 实验对比了不同 RL 后训练策略的优势，并指出三大瓶颈：奖励设计脆弱、高维生成空间中的探索-利用权衡，以及稀疏奖励下的训练不稳定。团队还建立了公开仓库持续追踪该领域进展。
arXiv · cs.AIAI 评分3030 何时 Muon 最优？径向脆弱性与极小极大几何
一项 arXiv 理论研究考察了 Isotropic Curvature Model（ICM）对 Muon 优化器极分解更新解释的稳定性，提出 Random-Radius ICM（RR-ICM）与 Polar-Factor Admissibility Set。结果证明所有非标量可容许响应仅来自与曲率折点对齐的径向原子，任何无原子径向律下都呈现零容量刚性，精确缩放极分解最优只在梯度本身为缩放列等距时成立。研究进一步引入 Minimax RR-ICM，证明非零全局极小值点必位于梯度极射线上，其尺度由一维凸问题确定，揭示了平均曲率解释的径向脆弱性。
arXiv · cs.AIAI 评分2525 分类任务中成对差分学习的不确定性量化方法
研究者提出一种面向分类任务的成对差分学习（PDL）版本，通过元学习技术让模型以两个实例为输入预测结果差异，并对查询实例的各训练样本预测取平均。他们进一步基于总不确定性分解为偶然不确定性与认知不确定性的近期工作，提出多种将相应度量扩展到 PDL 场景的方法。大规模实证研究分析了该 PDL 分类器的预测精度与不确定性感知能力。
arXiv · cs.AIAI 评分4747 Muon 究竟何时胜出？一项数据、时间与调参预算配对基准研究
一项 arXiv 基准研究在单张 A100 GPU 上，以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%，20 组主要配对全部降低测试损失；但 Muon 优化器调用耗时占训练时间 56.1–69.6%，AdamW 仅 6.1–9.1%，时间归一后 Muon 在视觉任务上领先 19.68–22.31%，语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现，不能推广到更大模型或优化实现。
arXiv · cs.AIAI 评分4343 DialFork：超越事实性，评估对话智能体的程序性幻觉
研究者提出 DialFork，首个在原始对话文本上衡量“程序性幻觉”的 benchmark，即智能体语句流畅且事实合理但偏离预期对话流程。该基准通过在受控轮次分叉对话并注入四类幻觉，构建了覆盖 12 个领域 24 个任务的 36,278 段对话，由 30 名人类标注者验证；并提出 FlowKL 与 FlowScore 两个对话流感知指标，其中 FlowScore 在七个编码器上均显著超越基线。DialFork 以 MIT 许可证开源发布。
arXiv · cs.AIAI 评分4747 BiShield-TEE：揭示端侧 TEE 保护 LLM 分区中单向权重混淆的安全漏洞并提出双向防御框架
论文提出 BiShield-TEE，针对端侧 TEE 部署 LLM 中仅混淆输出维度的权重保护方法发现 Solution Determinacy Property（SDP）漏洞，使 GroupCover 和 ArrowCloak 等代表性方法的攻击准确率超过完全防护黑盒基线 2.4 倍并近乎完整恢复模型。BiShield-TEE 通过输入输出双向联合混淆引入 Ambiguous Solutions，将攻击准确率压回黑盒基线水平，同时在真实设备上推理效率高于已有方法，代码已开源。
arXiv · cs.AIAI 评分2828 硬件设计中 LLM 驱动功能覆盖率收敛的独立数据完整性验证
arXiv 论文提出一个 LLM 覆盖率收敛 agent，用 cocotb-coverage YAML 从仿真报告读取覆盖率，并由独立于模型的 scoreboard 检查数据完整性。在异步 FIFO、UART 发射器和 AHB2APB bridge 三种 RTL 设计上，该 agent 在 8 次迭代预算内将覆盖率从 91.7%、88.9% 和 67.4% 提升至 100%。作者承认证据存在局限：仅三种设计、无基线、无消融实验，且 LLM 生成测试的数据完整性尚未经独立校验。
arXiv · cs.AIAI 评分5050 研究重新审视多轮工具使用中工具图记忆的作用
arXiv 论文 2610.21571 在九个模型和两个基准上评估工具图记忆（tool graph memory），发现其很少显著优于基线，且有限收益需付出两倍以上的 LLM 调用成本。其引导往往不正确，随机或无引导也能保留大部分收益，表明收益源于额外计算而非记忆本身；将同样经验存为文本洞察几乎不增加调用且效果更好，作者据此建议记忆宜作为软先验而非规定下一步工具。
arXiv · cs.AIAI 评分2626 SemDraft：从已认证程序中学习搜索可执行的服装打版程序
SemDraft 是首个能从成对“前后”服装打版样片中学习搜索可执行打版程序的框架，无需记录的编辑步骤。其通过有界搜索恢复编辑动作程序，并经重编译、动作顺序分类、独立重放三项检查后才认证；认证程序再训练模型对候选动作排序。在 80 个顺序敏感案例中，学习排序器在 1,000 次搜索内认证 63 和 64 例，优于非学习排序器的最多 53 和 52 例。
arXiv · cs.AIAI 评分2929 ClaimScope：面向数学命题审计的标签盲见证验证基准
arXiv 论文提出 ClaimScope，一个包含 72 个任务的基准，通过裁决、范围、反例和修复审计数学智能体提出的命题，并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示，验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39，安全完成数从 20/72 提升至 25/72，而严格完成保持 17/72，裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop（Mathematical Reasoning and AI）接收。
arXiv · cs.AIAI 评分4444 AVALON：基于人类先验拓扑记忆的零样本室内导航框架
AVALON 是一个面向"人类熟悉但机器人未见过"场景的零样本室内导航框架，无需预先建图或场地训练，仅需楼层平面图、地点线索和初始拓扑-里程计对齐即可部署，并通过人机记忆协同更新融合人类指定的任务约束与机器人实地验证证据。在 Unitree Go2 上的实验显示，AVALON 结合 X-NavDP 完成 12.81 m 的Intersection-to-Dining任务仅用时 46.4 s（5/5 成功），比 DimOS-Go2（78.5 s，4/5）节省 40.9% 机器人时间，而仅用策略的 X-NavDP 在 5 次运行中全部超时。
arXiv · cs.AIAI 评分1313 LOADBench：面向模拟 IC 设计机器学习的大型开源数据集与基准
研究者推出 LOADBench，一个基于 SkyWater130 PDK 的大型开源模拟 IC 设计数据集与标准化基准，包含超过 100 种运算放大器拓扑（1、2、3 级），每拓扑附结构/功能标注、尺寸约束、Ngspice testbench 及 NSGA-II 优化产生的约 10³ 个 Pareto 最优与 10⁶ 个中间尺寸-性能数据对。数据集定义了六项基准任务，涵盖逆向尺寸设计、拓扑选择、多目标优化等，全部以开放许可发布，以解决模拟设计 ML 研究缺乏可比较评测的问题。
arXiv · cs.AIAI 评分3434 LoopAhead：通过提前推测加速循环语言模型解码
LoopAhead 是一个面向 Looped Transformer 的推测解码框架，用轻量级 lookahead drafter（LAD）基于 early-loop 状态提前起草多个未来 token，并结合 deeper-loop 反馈决定草稿分支的继续或暂停，由全深度模型做最终决定。该框架相比自回归解码最高实现 7.82x 解码加速，同时保持目标模型的输出分布。
arXiv · cs.AIAI 评分5050 LLM 逆向分析 iPhone 定位服务数据不可靠但可造工具：解码 iOS 向 Apple 发送了什么
一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema，发现多数结果含严重错误且难以察觉，不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor，可从 Apple 二进制文件可靠恢复 protobuf schema，并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8（iOS 16.7.11）的定位服务网络流量。
arXiv · cs.AIAI 评分4040 评估 LLM 智能体的探究学习能力：假设、推理与探索
一项发表于 EMNLP 2026 (Findings) 的工作提出统一交互式评估框架，将 Countdown 任务扩展为数学环境，让 LLM 智能体通过操纵变量、收集观测来推断变量间关系。跨 7 个 LLM 和多种提示策略的实验显示，模型内在探究能力有限，发现底层表达式的成功率低；借鉴教育脚手架的结构化指导可显著提升表现。
arXiv · cs.AIAI 评分4242 潜在世界模型如何学习内在动力学：Concat IDM 用动作可预测性保留控制相关信息
一项 arXiv 研究（cs.AI）提出动作可预测性（从连续 latent 状态重建动作）能防止世界模型表征丢弃内在动力学信息，并用 Concat IDM 从拼接的 latent 状态预测动作、利用离线轨迹中已有的动作标签更新共享编码器。在 Push-T 的 24 种外观设置下，Concat IDM 经三次独立训练将规划成功率从 9.1% 提升至 77.2%，配对改进比单一外观条件下高 52.9 个百分点，且不改变测试时规划器。
arXiv · cs.AIAI 评分3838 Qwen-Audio-Jev：用于音频决策的统一接口
研究者在 Qwen-Audio-3.1-ASR-Flash-Next 基础上加入专用 Jev 决策头，推出 Qwen-Audio-Jev，通过 CHOICE、NOUL、SCORE 三种决策原语统一音频选择、二值判断与评分。模型在 MMAU-mini 上达到 78.70% 准确率、MMSU 上 84.06%，VoxCeleb1-O 等错误率 6.50%，NISQA 归一化平均绝对误差 0.1062。相比原模型推理速度提升约 20 倍，适用于大规模音频筛选、说话人验证和自动质量评估等高吞吐场景。
arXiv · cs.AIAI 评分3434 Read-Parse-Describe：统一文档解析与视觉元素描述生成数据集发布
研究者推出 Read-Parse-Describe 统一文档解析数据集，要求模型对页面图像输出含边界框、语义标签、阅读顺序、识别文本及视觉元素替代描述的布局元素列表。数据集基于 2,402 份文档，含 18,163 页、125,218 个布局元素和 11,338 个视觉实例，并提出可插拔的空间感知增强器。实验显示现有端到端 VLM 与流水线解析器仍难以同时恢复阅读顺序与视觉语义，增强模型取得较强联合表现，数据集与代码将公开。
arXiv · cs.AIAI 评分4848 Doc2Harness：评测编码智能体长程 harness 工程能力的基准
中科院研究团队提出 Doc2Harness，首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建，GPT-6 Astra 以 53.05% 通过率居首，最弱模型为 27.44%；即使最强模型也失败近半数用例，失败集中在跨模块功能划分上。
arXiv · cs.AIAI 评分2727 平均奖励下带 Options 的 Q-learning 非渐近收敛性分析
一篇 arXiv 论文研究了强化学习中平均奖励形式下带 options 的 Q-learning 算法的有限样本收敛性，覆盖 inter-option 与 intra-option 两种设定。作者证明两类多步 option Bellman 算子在 unichain 假设下满足 span 收缩，并提出同步估计器得到两种算法变体，首次给出均方意义下 $\tilde{O}(1/\text{iterations})$ 的收敛速率保证。
arXiv · cs.AIAI 评分4747 LSPO：通过转移几何内化自我纠正的状态策略优化方法
研究者提出 Lifted State Policy Optimization（LSPO），将有限、成本调整后的状态转移作为学习基本单元，为文本答案学习连续坐标并用能量函数排序，通过塑形奖励与内化损失把低能量答案吸收进直接生成器。在 Qwen3.5-27B 上，单次推理策略在数学、科学、代码与逻辑基准上达到 71.8% 总准确率，接近测试时反思的 71.9%，同时延迟降低 28%、token 减少 25.8%。该模式在稠密与 MoE 骨干上均成立，代码已开源。
arXiv · cs.AIAI 评分4343 人类演示作为任意机器人本体的后训练数据：重定向物体而非手部
arXiv 论文提出一种方法，让手机等设备录制的人类演示可作为结构不同机器人的后训练数据，核心是重定向物体运动而非手部动作。采集生成无本体记录（物体位姿、接触区间与重建 3D 物体），机器人以 URDF 和简短描述文件在仿真中求解并评分。在 8 台机器人、42 次采集共 157 对样本中，31.2% 通过、52.2% 失败、14.0% 被拒；被拒的 13 对实际运行全部失败。