跳到正文

内容形态

论文与研究 最新动态

论文与技术报告:对齐机制、人格可控性、评测方法与能力边界的新发现。

403 条精选近 30 天 403 条共收录 2,997 条

更新

精选归档 · 第 6 页

10月18日周日第 101–120 条
  1. arXiv · cs.CL62

    Bellman Language Models 论文提出 Discretize, Then Decide 方法复用 LLM Agent 决策

    论文提出把有界 Agent 工作流中的决策当作优化问题,先离散化状态、求解马尔可夫决策过程再复用解,称为 Bellman language model(BLM)。在 τ²-bench telecom 上,无模型控制器解决 79% 任务;Qwen3.8-27B 作为 BLM 从 29% 升至 96%,模型调用减少 93%;Claude Opus 5.5 作为 BLM 时每任务调用与成本约降 98%,并多解决 2 个任务;在 InventoryBench 上无模型求解策略胜过所有已发表方法。但内容生成为主的场景(如解决 SymPy 问题)收益很小。

    推荐理由:论文把有界工作流中的重复决策先求解再复用,给出多个基准上降低调用成本与提升成功率的具体数据,方法可迁移。

  2. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统,训练图、适配器和优化器留在 CPU,并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护,支持可恢复执行和热节流以作为后台任务运行,在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由:论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法,涉及输入梯度实现、精度选择和端侧个性化工作负载,思路可迁移。

  3. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

10月17日周六
  1. arXiv · cs.AI52

    MetaSkill 论文提出用 DAG 运行时让 Agent Skills 可组合执行

    arXiv 论文 2610.24723 提出 MetaSkill,一种混合表示,在保留完整 Skill 包与本地自然语言指令的同时,通过有向无环图(DAG)运行时让调用依赖和前驱文本绑定变为可执行。在 20 项多 Skill 工件任务和 DeepSeek-V4-Flash、GLM-5.2 两个 LLM 上,与自然语言流程、Prompt Graph 及 AgentSkillOS 对比,盲评偏好点估计均占优,且 95% 任务 bootstrap 区间排除了与 Prompt Graph(DeepSeek-V4-Flash)和 OpenClaw(GLM-5.2)的持平;GLM-5.2 审计轨迹中所有计划节点完成、声明的先后约束全部满足。

    推荐理由:论文把 Skill 间协调关系形式化为可执行 DAG,同时保留 Skill 内自然语言灵活性,给出 20 项任务与两个 LLM 的对照实验结果。

  2. arXiv · cs.CL55

    arXiv 论文提出抑制式消息传递,提升多智能体推理准确率并降低 token 消耗

    arXiv 论文提出受皮层抑制回路启发的 inhibitory message passing,一种免训练通信路由器,按证据句逐条消除冗余、每条证据至多向需要它的接收者转发一次。对比标准消息传递,对等组的准确率在三个基准上提升 39-77 个百分点,每次运行的 token 消耗下降 10-46%;结论在 7 个 4B-32B 开源模型与 2 个商业模型、最多 64 个智能体,以及点对点、编排者-工作者和多层层级等架构上均成立。

    推荐理由:论文提出免训练的抑制式消息路由机制,并给出多组基准与 token 开销数据,方法可直接迁移到多智能体系统设计。

  3. arXiv · cs.CL67

    显式记忆系统是否必要?研究在 LongMemEval-S 和 BEAM-100K 上与原始历史检索对照

    一项 arXiv 研究(arXiv:2610.24671)在 LongMemEval-S 和 BEAM-100K 上对比六个 SOTA 显式记忆系统与原始历史 RAG,发现后者并无一致劣势,显式记忆只在特定问题类型和紧凑运行时上下文预算下有局部收益。Oracle 检索显示部分系统在记忆构建时丢失答案支撑信息,另一些则保存了却检索不出,尽管构建成本可达每段对话数小时;作者指出改进对已有信息的检索可能比构建更精细的显式记忆更重要。

    推荐理由:原文用受控检索设置对比六种显式记忆系统与原始历史 RAG,指出检索环节被低估,方法结论可迁移到记忆系统设计。

  4. arXiv · cs.CL61

    arXiv 论文:RL 给推理带来的是 base 模型原本不会做的少数关键决策

    一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预,分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token,就能恢复 90.5% 的 pass@1 增益;强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益,开头之后的后续替换再增加 5.2 个百分点,而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题,高于 RL 模型的 61.4%,同时保留较多 base 模型多样性;比较基于相同尝试次数而非相同算力。

    推荐理由:论文用生成时干预把 RLVR 增益拆到具体 token 决策层面,结论对理解 RL 训练到底改变了什么有参考价值。

  5. arXiv · cs.AI61

    arXiv 论文发现决策模型控制器使 Claude Sonnet 5.5 终端 Agent 成本升 19% 而成功率不变

    arXiv 论文(arXiv:2610.24649)在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中,Jev 使单次尝试成本上升 19%(几何均值比 1.19,95% CI 1.02-1.36),通过率不变(73.0% vs 73.0%);比小模型 Claude Haiku 5.5 控制器便宜(比值 0.81),但比安慰剂贵 22%。离线评估中 Jev 排序优于规则(AUROC 0.78 vs 0.62)但校准差:判为未完成的运行中 87% 实际通过,导致要求验证本已正确的工作;所有控制器都从未选择放弃运行。

    推荐理由:论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响,数据具体,结论对脚手架设计有参考价值。

  6. arXiv · cs.CL52

    arXiv 论文:用 2M 合成故事扩展概念向量以研究 AI 对齐与可解释性

    论文提出用合成概念—对抗故事对的激活均值差构造特征向量,覆盖 1,036 个对齐相关概念、2M 条多语言多题材合成故事并公开发布。在三个模型家族的六个模型上,这些向量可泛化到聊天对话与网页文本的概念检测,形成跨模型可解释的几何结构,注入激活后可因果地引导模型行为,并被用于分析越狱攻击与数学及智能体推理过程中的模型表征。

    推荐理由:这项工作用合成故事对构造特征向量,给出了跨六模型的可验证泛化和因果操控结果,是研究模型概念表征的可迁移路线。

  7. arXiv · cs.CL53

    Write Once, Check Many:用可复用账本对智能体轨迹做事后策略合规审计

    Ashwin Nagarajan 在 arXiv 发布论文,提出 write once, check many 框架,由 writer 模型把智能体轨迹转成与策略无关的账本,reader 只凭账本检查未预先知晓的策略。在 SHADE-Arena、τ-bench 和 τ²-bench 的 900 条轨迹上,12B 模型读叙事账本的 AUC 匹配甚至超过同一模型读完整轨迹;在 SHADE-Arena 多事实策略上达 .777 对 .713,超过 31B 模型读轨迹,且八项策略合计省约 5 倍 token。论文也指出规则化抽取在部分单动作策略上更好,账本可能漏掉长工具输出和消息内容中的证据。

    推荐理由:论文给出复用账本审计智能体轨迹的实测对比,12B 模型在部分策略上优于 31B 读全轨迹,还省约 5 倍 token。

  8. Reddit · r/LocalLLaMA70

    ORL 扩散语言模型加速方法开源:单张 RTX 5090 跑出 2,788 tokens/s

    团队发布 ORL(On-Policy Residual Learning)研究并全量开源,用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt,LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s(NVFP4),DiffusionGemma 26B MoE 达 7,708 tokens/s(8× B200);QwenDLM-4B 端到端吞吐提升约 6.9×,HumanEval pass@1 从 82.9% 升至 89.6%,单 H100 上 1,298 tokens/s,快于 DFlash 的 746 和 EAGLE3 的 405。

    推荐理由:原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照,可复现的代码和权重也已开放。

  9. Reddit · r/LocalLLaMA69

    Nick Cammarata 长文挑战神经网络超position叙事:Qwen3 32B 约90%神经元有单一主职

    Reddit 用户转述 Nick Cammarata(前 OpenAI)的长文,称神经网络并非纠缠的概念混合体,早期混乱源于弱架构和有缺陷的可视化工具。文中估计 Qwen3 32B 约90%神经元有单一主职,类似结论延伸至 Kimi K3 万亿参数规模,且规模越大特征分离越清晰;若成立,可直接研究模型内部而非先造解码器,对对齐研究意义重大。文章含交互可视化,研究 Qwen3 32B、Qwen3.6-35B-A3B、Kimi K3 及卷积视觉模型。

    推荐理由:转述者点出了这篇可解释性长文与主流超position叙事的分歧所在,并提示文中的交互可视化可直接浏览。

  10. arXiv · cs.AI65

    arXiv 论文提出行为耦合:微调一个行为会连带引出另一个行为

    arXiv 论文(arXiv:2610.23847)提出行为耦合概念,即在文档上同时描述两种行为后训练,再微调引出其中一种行为会导致另一种行为同步出现。实验显示耦合还能跨文档集组合传递,使突发不良行为难以溯源,作者认为防范后续微调的意外影响可能需要超越模型当前行为的评估。

    推荐理由:论文给出微调意外行为的形成机制和耦合可以跨文档组合的证据,解释了为什么突发不良行为难以溯源。

  11. arXiv · cs.AI58

    arXiv 论文提出 SEER-Repro 基准,LLM 智能体复现 77.4% 的医学研究论断

    arXiv 论文 arXiv:2610.23845 提出 SEER-Repro 基准,收录 20 篇基于美国 SEER 癌症数据库的已发表论文及其复现所需数据资源。作者构建的 AI 智能体成功复现 2,190 条原子论断中的 77.4%,并通过智能体分析管线识别分析选择、提出替代方案后重跑分析,在 9.5% 的完全复现发现中标记出可能有实质影响的分析选择,交由专家复核。

    推荐理由:论文给出了基于 SEER 的复现基准和 77.4% 原子论断复现率等具体数据,可用于评估 LLM 智能体做科学复现的现阶段水平。

  12. arXiv · cs.CL58

    DiscoveryRSI 提出递归自改进框架学习发现有价值假设并发布 DFM-Bench

    研究团队提出 DiscoveryRSI 框架,通过多智能体进化搜索构建假设树,用假设信用优化、harness replay 和 rediscovery 三种机制递归学习,并配套发布 DFM-Bench 评测假设质量与累计研究进展。四个生命科学领域中,两轮自改进后假设质量从基线 4.86 升至 5.39,可证伪性和数据可解性提升最大;专家评审中 DiscoveryRSI-27B 在假设重要性与论断合理性上高于 GPT-6 Luna,与模型截止日期后发表研究的对应率为 6.3%,高于 GPT-6 的 2.5% 和 Claude Opus 5 的 2.3%。

    推荐理由:论文给出假设树自改进框架和假设质量的量化指标,可看到自动评测与专家评审两层验证结果。

  13. arXiv · cs.AI52

    arXiv 论文提出自建实验室 SBL,可按科学目标自主搭建实验室配置

    论文 arXiv:2610.23826 提出自建实验室(SBL),给定高层次科学目标即可自主设计、配置并运行实验室设置,补建实验布局、数字孪生、机器人技能和实验流程。系统已在不同机器人和 setups 上演示,从单一工作站扩展到多机器人协作实验室,并通过真实世界量子点合成实验完成端到端验证。

    推荐理由:论文提出自建实验室概念,把人类角色从配置自动化设备转为只给科学目标,实验灵活性问题有了新解法。

  14. arXiv · cs.AI54

    FUTRANSFORMER 论文:在 Hopper 上用 FP8 prefill 与 INT4 decode 加速 Llama 风格推理

    Wei Wang 在 arXiv 发布 FUTRANSFORMER,一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现,prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache,并采用块对角 Hadamard 变换降低缓存量化误差。

    推荐理由:论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价,数字可核对、方法可参考。

10月16日周五
  1. arXiv · cs.AI55

    CDSE 论文提出技能认知分化方法,提升自改进 Agent 表现

    论文提出技能演化中的认知分化方法 CDSE,把统一技能拆为 Meta、Experience、Tool、Script 四个功能组件,从成败轨迹中提取语义梯度并按功能角色做组件级更新与协调调用。对 500 个高分技能包的分析显示 96.8% 包含至少两种功能角色的知识;在六个基准、三个 Agent 模型、两种执行框架共 36 个设置中全部取得最高分,比 Base Agent 平均高 7.6 个百分点,比各设置最强对照方法平均高 2.6 个百分点。论文 22 页,编号 arXiv:2610.23599。

    推荐理由:论文用功能分化思路改造 Agent 技能演化,并在 36 个实验设置中给出对比数据,方法对技能库维护有参考价值。

  2. arXiv · cs.AI52

    TIDER:RL 引导的时间定位双通道检索框架提升 LLM 智能体长期记忆

    Dabin Sheng 提出 TIDER,一个时间感知的智能体检索框架,用强化学习训练的 1.7B 时间区间定位器推断证据所在时间窗口,与语义通道结果合并后按窗口邻近度重排。在 LifeBench 上取得 61.52%(+8.82%)、LoCoMo 上取得 78.96%(+3.66%)的 SOTA 准确率,论文已被 NeurIPS 2026 接收。

    推荐理由:论文把时间约束放进检索阶段本身,用 RL 训练轻量定位器解决语义相似记忆挤掉目标记忆的问题,并给出基准数据。

  3. arXiv · cs.CL54

    MARS:面向会话级 LLM 助手的记忆感知路由框架

    论文提出 MARS,一种记忆感知路由框架,通过 Query and Topic Manager(QTM)估计会话状态,统一指导记忆构建策略和在线模型选择。在 RealMem 上,MARS 以 14.5% 的生成 API 成本保留了全上下文 GPT-4o QA 性能的 98.2%,并在对比系统中取得最强的记忆召回和检索分数;在 MultiChallenge 上整体略逊于最强静态系统,但在机制导向子集上以更低成本接近其表现。

    推荐理由:论文给出记忆构建与模型路由的统一框架,并报告了在质量与成本间的具体权衡数据,可作为长程助手系统设计的参考。