跳到正文
10月20日周二
  1. Reddit · r/LocalLLaMA53

    DLite 论文提出面向 Agentic AI 的免历史投机解码框架

    一篇论文提出 DLite,一种面向 agentic 工作负载的免历史投机解码框架,直接复用目标模型的上下文隐藏状态做局部投机预测,不维护历史 KV cache。论文指出智能体场景下现有 draft 模型接受长度最多下降 80%,DLite 达到 2-6 的接受长度,最高超越 DSpark 70%,并配套两阶段训练策略;arXiv 链接 https://arxiv.org/abs/2610.23787,代码见 GitHub 和 HuggingFace。

  2. Reddit · r/LocalLLaMA58

    REMEMORY 论文提出残差记忆 token 用于上下文压缩

    REMEMORY 论文提出一种神经记忆网络,在文本摘要之外生成有界的软记忆 token,帮助冻结的 LLM 近似使用完整历史时的续写效果,相当于沿序列维度的残差连接。在 SummHay 上仅用 5.2% 的输入位置即接近全上下文联合分数,Qwen3.8-27B 与 GLM-5.3-Flash 在长程 Agent 基准上一致提升,并在 BrowseComp 和 Terminal-Bench 2.1 上显著减少重复工具输出与工具错误。arXiv: https://arxiv.org/abs/2610.11287,GitHub: https://github.com/fudan-generative-vision/Remory

    推荐理由:论文给出用软记忆 token 补充文本摘要的上下文压缩方法,并附 SummHay 与长程 Agent 基准数据,可复现。

  3. Reddit · r/LocalLLaMA59

    FlashMask-3 论文发布:掩码感知分布式注意力在 H100 上较 FlashMask 提速 45–141%

    FlashMask-3 论文发布,提出掩码感知的 Hopper 内核与分布式注意力扩展,基于 FlashAttention-3 的 TMA/WGMMA 流水线实现三角色 warp specialization,并支持零通信掩码定位、稀疏感知负载均衡与计算通信重叠。单张 H100 在 12 种掩码、4K–128K 上下文下,achieved TFLOPs 较 FlashMask、FlexAttention、MagiAttention 提升 45–141%、34–71%、2–44%;上下文并行度 4–32 时吞吐较 Megatron-Core CP ring 等基线提升 1.80×–3.71×;在 128 张 H100 上训练 118B-A14B MoE 的 128K 端到端场景中吞吐提升 7.3–11.0%。

    推荐理由:论文给出了跨 12 种掩码和 4K 到 128K 上下文的实测对比数据,读者可以据此评估该分布式注意力方案的实际收益。

  4. Reddit · r/LocalLLaMA47

    论文解读:COUNT 通过统计 n-gram 计数在主机内存上实现扩展与免训练适配

    论文提出 COUNT(Counting Offline Unlocks N-gram Transformers),将预计算的 n-gram 计数存于主机内存,无需新增可学习参数即可构建 n-gram 嵌入。在固定算力预算下,为 1B 参数 LM 添加 COUNT 预训练,验证损失提升相当于多花 57% 算力;还可在推理时换用领域语料的 n-gram 计数表,免训练适配新任务。

  5. GitHub · 灵魂体仓库36

    Matlab2PythonLLMBenchmarker:用本地 LLM 评测 MATLAB 转 Python 代码的基准项目

    一个基于 Inspect (inspect-ai) 的个人基准项目,测试小型本地 LLM 将 MATLAB 代码翻译为 Python 的能力,在作者自己机器上运行,模型由 llama.cpp 的 llama-server 提供。主模型为 OLMo 3 7B Instruct,对比模型为 OLMo 3 7B Think(均为 Q8_0 GGUF),答案键由 GNU Octave 生成,评测指标包括通过率、失败模式、校准度(Brier 分数)和歧义处理。五个试点任务、评测框架和 Inspect 集成已构建并测试完成,尚未在模型上正式运行。

  6. GitHub · 3D 生成新仓库46

    Spatial-Intelligence-Handbook:跨 embodiment 空间智能手册开源仓库

    GitHub 新仓库 Spatial-Intelligence-Handbook 把 manipulation、driving、aerial、marine 等不同 embodiment 下的 3D 空间表示、传感器与部署取舍做横向对照。仓库含 foundations/、crossing/ 等 9 个目录,153 篇 foundations 文章、133 个 dissection 文件,Atlas 索引 3,665 条记录,按 problem/representation/sensor/paradigm/time 五轴组织,并以 CC BY 4.0 开放,生成与核验沿用 DeepSeek。

  7. GitHub · 去对齐工具与仓库18

    DDI-334:334 药物药物相互作用预测基准的代码与结果仓库

    GitHub 开源 DDI-334 基准的代码与结果,该基准基于 TWOSIDES 与 DrugBank 重叠构建,含 334 种药物,用于比较 Molecule/Relation/Document 信息源及 LLM 零样本与微调预测在 transductive(S0)和 inductive(S1、S2)划分下的药物相互作用预测表现。仓库提供复现论文全部数字、表格和图表所需的汇总指标、运行配置、loss 曲线及 S0/S1/S2 划分文件,涵盖 GAT、SchNet、ChemBERTa、BioBERT 等编码器、QLoRA 微调(6 模型 x 3 epochs)、KGE 对比与商业 LLM 对比实验。

  8. GitHub · 去对齐工具与仓库42

    EUROPA Alignment:面向 OpenEuroLLM 36 种语言的开源 AI 对齐与安全评测协议

    EUROPA Alignment 是一个可检查的开源评测框架,用相同的 16 个安全场景在 OpenEuroLLM 优先的 36 种语言上共生成 576 个测试项,支持 hosted API、Ollama 和 Hugging Face Transformers 推理。它采用确定性评分加独立命名 LLM judge(0–4 分),关键安全失败会封顶该项得分,并覆盖拒绝校准、隐私、公平性、prompt injection 和 Agentic 控制等维度。v0.1 为翻译审查试点,35 个语言包仍待母语者审核,不构成安全认证。

  9. GitHub · 去对齐工具与仓库25

    enhancing-llms:用高级微调技术增强大语言模型(LLM)的实验仓库

    该 GitHub 仓库实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的微调方法与实验,面向领域特定任务改进 LLM。其高级微调策略在 GLUE 上取得 92.5%(较基线 84.2% 提升 +8.3%)、在 SuperGLUE 上取得 89.3%(较基线 76.8% 提升 +12.5%),并包含领域适配与加速收敛的训练管线,采用 MIT 许可证开源。

  10. arXiv · cs.AI51

    BetaMem:面向具身智能体的可追溯长期记忆框架

    论文提出 BetaMem,一个通过工作、空间、实体、情节、经验、程序六层记忆构建可追溯长期记忆的具身智能体框架,用监督微调与强化学习结合教师验证来训练记忆操作。以 Qwen3.5-9B 生成记忆,在 M3-Bench-robot 得 48.08%、LoCoMo 得 92.08%、OpenEQA EM-EQA 得 72.6%、EgoLifeQA 得 62.4%;训练使写入契约通过率从 50.9% 升至 86.2%,每条存储动作的输出 token 减少 47.3%。

  11. arXiv · cs.AI23

    鲁棒 (PO)MDP 的奖励目标:与(部分可观测)博弈的保律等价性

    该 arXiv 论文研究鲁棒部分可观测马尔可夫决策过程(RPOMDP)在四种奖励目标(折扣和、长期平均、有限与无限时域累计奖励)下的求解问题,涵盖期望值、mean-variance、CVaR 和 entropic risk 四种风险度量。作者提出统一框架,证明 (s,a)-rectangular RPOMDP 与部分可观测随机博弈(POSG)在保律风险度量下可通过 logspace 归约相互等价,并由此推出新的计算复杂度结果:求解 (s,a)-rectangular RMDP 与求解 simple stochastic games 一样难。

  12. arXiv · cs.AI19

    WhatIf-Bench:评测时间序列基础模型对干预场景的预测能力

    WhatIf-Bench 是一个半合成 benchmark,基于数据中心、电网、道路交通和水网络的机制模拟器生成共 37,665 个任务,衡量预测模型利用协变量预测目标对未来事件响应的能力。评测显示 frontier LLM 技能最高、优于最好的 TSFM;各模型在 Replay 任务上达 48-85% skill,但在 Novel 任务上跌至 -7 至 50%,回归基线跌幅最大。对 Novel 场景的泛化是核心挑战。

  13. arXiv · cs.AI28

    VaDar:基于价值分解的隐式目标条件化方法

    研究者提出 Value Disaggregation(VaDar),训练单一不依赖子目标的策略来最大化各子目标 critic 值的线性组合,从而在部署时免去子目标选择。实验显示 VaDar 始终与 goal-conditioning 等基线相当且常更优,并能处理非顺序目标和多优化目标。它是首个解决 RoboCasa 中长程任务难题的算法,即使从行为克隆预训练、初始成功率近零的策略出发也能成功。

  14. arXiv · cs.AI31

    RELIEF:基于交互体验与反馈修订的代码生成模型微调方法

    研究者提出 RELIEF 方法,用编码 Agent 修订代码生成模型产出的交互界面,并将改进融入原始生成轨迹作为微调监督数据。评测基于 200 个合成网站、355 段交互记录和 24 名用户的反馈,对两款代码生成模型变体做了微调。结果显示反馈效果随基座模型能力而异,其中从人类交互记录推断的 critique 带来最大的可用性提升。

  15. arXiv · cs.AI39

    面向大语言模型的推理感知多校准可靠性预测器研究

    arXiv 论文提出“推理感知多校准”框架,在按提示词话题分组的基础上,加入基于链式推理(CoT)可观测属性派生的分组,用于改进大语言模型响应可靠性的预测。在幻觉预测和不安全响应检测任务上,加入 CoT 分组均降低了 Brier score;且仅用 CoT 分组(不含话题信息)也能提升跨话题校准,表明预测误差取决于模型的推理方式而非提问内容。

  16. arXiv · cs.AI38

    Tandem:在移动 NPU 上服务混合线性注意力 GUI 智能体

    研究者提出 Tandem,一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时,通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上,Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%,文本每步能耗降低 33%,模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。

  17. arXiv · cs.AI42

    AllPath:面向部署中的自我修订 LLM 交易智能体的分层验证框架

    AllPath 是一个接入真实模拟券商账户的个人 LLM 交易智能体,采用三层验证架构:确定性代码规则引擎执行风险限制和完整性检查、智能体在有迭代上限且无行动工具的前提下夜间自我复盘、人类通过审批界面验证判断。系统先运行两周半的全部自我修订人工把关,再运行五周让反思修订在代码门控下自动生效;期间人类否决了 2 个通过全部代码检查的提案,并删除了智能体自行添加的 19 条规则中的 11 条。

  18. arXiv · cs.AI51

    Jan Wehner 提出用蜜罐检测组织内部 AI 智能体的内部威胁

    Jan Wehner 在 arXiv:2610.26664 提出将蜜罐作为 AI 控制方法,在组织内部智能体生产环境中布置诱饵机会,以检测、指认和威慑行为失当或被攻击的智能体。论文指出蜜罐可在真实部署条件下诱发失当行为、在思维链可监控性退化时仍识别恶意智能体,并低成本扩展到大量智能体实例,同时讨论了局限性和蜜罐鲁棒性、与其他监控方法效果对比等关键研究问题。

  19. arXiv · cs.AI45

    StepBench:诊断 AI 智能体的真实世界程序性理解能力

    StepBench 基准从 wikiHow 抓取 6,885 条经核验的程序性步骤,覆盖 81 个开放域类别,并派生出 5 项诊断任务。对 12 个模型的 14 种配置测试显示,步骤排序最难:最强模型正确排序率仅 63.0%,步骤数达 9 步及以上时降至 33.1%。研究还发现错误步骤检测可预测生成计划的有效性,可作为更低成本的评估替代方案。

  20. arXiv · cs.AI53

    arXiv 论文提出面向 ELK 的鲁棒模型有机体,训练模型在漏洞检测任务中隐瞒解法

    Lennart Finke 在 arXiv:2610.26698 发布论文,训练模型有机体在漏洞检测任务中隐瞒解法以模拟 ELK(引导潜在知识)研究场景。方法结合 transcript 蒸馏、counter-prompting 与防篡改训练,使模型具备选择性、抗引导鲁棒性和知识保留三种性质,最强模型在鲁棒性上大幅超越先前模型且保持另两种性质。代码、模型与数据集已开源。

    推荐理由:论文提出了带选择性、鲁棒性和知识保留三性质的 sandbagging 模型有机体,可作为 ELK 研究的可复用测试床。

  21. arXiv · cs.AI25

    LG-Bench:面向生命科学的图结构评测基准

    研究者推出首个面向生命科学的图结构评测基准 LG-Bench,涵盖医学、生物学和化学领域超过 10,000 道高质量选择题。该基准通过双向匹配和语义相似度算法构建加权评测图,并设计全局一致性分数(GCS)和知识平衡分数(KBS)两项新指标,分别衡量模型在语义相关邻域内的一致性,以及错误分布揭示的概念盲区。该框架将大语言模型评测从平面的准确率指标转向结构感知分析。

  22. arXiv · cs.AI46

    SOMA:用 System One 模型持续监控并干预 System Two 推理

    SOMA(System One Metacognitive Awareness)提出用 Jev 这类 S1 决策模型持续监控 S2 推理模型并在需要时干预,含场景、感知、控制三层,无需训练即可跨任务共享同一 S1 模型。在两个推理模型上,SOMA 将过度思考场景的推理 token 削减最多 36% 且平均准确率提升,并把不可回答问题的弃答率从 70.5% 提高到 87.2%。

  23. arXiv · cs.AI37

    Mise-en-Video:面向多镜头视频生成的细粒度 3D 控制框架

    研究者提出 Mise-en-Video(MeV),一个高可控的多镜头视频生成框架,允许创作者在 3D 空间中进行场面调度并生成对应的多镜头视频。该框架结合层次化注意力机制实现多级叙事一致性,并通过 3D 感知布局引导实现逐镜头的精确空间控制。团队还构建了包含 160K 视频的数据集,实验显示 MeV 在视频质量、镜头间一致性和主体级可控性上均优于强基线。

  24. arXiv · cs.AI26

    Next Best Action:用因果约束离线 RL 优化商业行动定向

    研究者将 Next Best Action 系统建模为约束马尔可夫决策过程(CMDP),并在其线性规划形式中融合对客户动态估计的离策略因果校正,使策略在最大化长期价值的同时显式执行业务约束,影子价格还可量化公平性等约束的经济权衡。在网约车优惠券定向案例中,以 RFM 阶段定义客户状态,基于离策略评估,优化后的策略比估计行为策略提升客户生命周期价值(LTV)19%,比短视基线提升 8%。该框架与具体动作无关,可扩展至多种干预措施。

  25. arXiv · cs.AI36

    ProteinGeoBench:前沿结构生物学智能体擅长查询但几何计算薄弱

    ProteinGeoBench 是一套包含 131 项蛋白质结构任务的评测套件,基于 4 个前沿模型的 4,249 次 rollouts 和 26 个模型的 4,486 次额外试验。结果显示前沿智能体擅长结构元数据查询但几何计算较弱:131 项任务中数值任务占 28 项,却在四个模型全部失败的 12 项任务中占一半;三个前沿模型得分在 0.785 至 0.816 之间难以区分,第四个为 0.707。研究还发现评测排名受评测预算影响显著,单次运行时 23.9% 的 bootstrap 复现会得出不同的第一名,建议评测应按任务族报告结果并注明运行次数、harness 和访问条件。

  26. arXiv · cs.AI39

    KronLSTM:基于 Kronecker Delta Rule 的长上下文线性注意力架构

    研究者提出 KronLSTM,一种基于 Kronecker Delta Rule 的线性注意力架构,扩展 xLSTM 家族并引入记忆修正机制,仅沿矩阵空间单一方向修改记忆,减少对已存信息的干扰。其记忆动态可描述为收敛到稳态分布的 Markov chain,记忆矩阵范数全程一致有界,无需额外归一化机制。实验显示其性能与(Gated)DeltaNet 相当甚至更优,长上下文基准表现尤为突出,代码和模型已开源。

  27. arXiv · cs.AI49

    同样的模拟结果,不同的证据:检索工具输出如何损害 LLM 智能体的准确率

    一项基于 USGS 地球化学模拟器 PHREEQC 的研究测量了 LLM 智能体用检索代替上下文读取工具输出时的精度损失。GPT-5.1 和 GPT-5.2 分别下降 11.3 和 7.9 个百分点,Claude Opus 4.6 与 Claude Sonnet 4.6 无明显损失;GPT 模型在检索模式下常跳过报告、改用自身高精度输出文件并错误取整,即“证据替代”失败。指明权威输出可提升 6.3-7.9 个百分点。

  28. arXiv · cs.AI41

    AnyGoal:衡量世界模型超越专家轨迹泛化能力的新基准

    研究者推出 AnyGoal,一个由常用世界模型环境构建的目标偏移任务变体基准,并配有开源库,用于研究数据覆盖、动力学泛化与规划性能的关系。在多个环境和世界模型家族上,当前模型在重组熟悉状态与动作因子的组合泛化场景下持续失败,该框架为评估面向新规划任务的泛化能力提供了基础。

  29. arXiv · cs.AI51

    Agima 训练先想象后行动的智能体框架

    研究者提出 Agentic Imagination(Agima)训练框架,让单一 omni 模型先提出动作、生成结果图像,再基于想象未来推理并决定真实执行。用 SFT 统一策略与世界建模后,再用智能体强化学习训练其规划能力;在 Maze2D、Sokoban、Pacman、PushT 四个环境中可泛化到未见过的更难设置,仅用 SFT 在两箱 Sokoban 训练即解出 40% 的四箱谜题(纯动作规划器仅 2%),RL 后还学会按需前瞻并在关键决策点更频繁分支。论文地址 https://arxiv.org/abs/2610.26845v1。

  30. arXiv · cs.AI37

    CoopUQ:基于不确定性感知协作预测的多机器人社交导航框架

    研究者提出多机器人社交导航框架 CoopUQ,通过跨机器人时空特征融合预测未来占用网格地图,并利用预测及其不确定性,以约束多智能体强化学习引导策略,惩罚穿越预测被占用或高不确定性区域的动作。在基于 Unity3D 的多种仿真环境(含 OOD 场景)及真机实验中,该方法在预测性能和安全性上优于代表性基线,代码已开源。

  31. arXiv · cs.AI21

    基于视觉可归因同策略自蒸馏的强化学习方法 VAG 提出

    论文提出视觉可归因的同策略自蒸馏强化学习范式,解决特权教师 token 级纠错中“特权纠错污染”问题。其核心组件 Visual-Attribution Gating(VAG)以 verifier 优势为优化锚点,仅保留能被视觉证据对比方向性支持的纠错。在六项视觉推理 benchmark 上,VAG 平均性能超越 GRPO 和 OPSD 方法,创下新的 SOTA 平均成绩。

  32. arXiv · cs.CL34

    AfriGuard:面向非洲语言的安全与稳健拒答数据集

    研究者推出 AfriGuard,一个覆盖 10 种非洲语言和英语、用于研究有害意图、安全类别理解与拒答行为的多语言数据集。实验发现护栏模型在安全意图与类别分类上落后于开源和闭源 LLM,模型 F1 普遍低于 60%,且对不安全提示常因语言表达不当造成偶然不协助而非真正拒答。基于 AfriGuard 训练的护栏模型性能可比肩最高 30 倍规模的模型,其拒答检测器平均性能提升 43.9%,监督微调也能显著提升安全表现。

  33. arXiv · cs.CL26

    强度控制决定稀疏自编码器(SAE)干预比较结果——基于 Gemma 与 Llama 的分析

    这项 arXiv 研究指出,改变稀疏自编码器(SAE)codes 会同时影响干预方向与幅度,比较干预效果需要指定强度控制。在 Gemma 和 Llama 上的实验显示:whole-patch scaling 下 full-output KL 校准比 total-norm matching 更接近参考干预,新 Llama 输入上后者丢失 11 次参考迁移而前者全部保留;但 positionwise scaling 下 norm matching 的平均差距更小,answer-excluded 校准在主谓一致比较中缩小差距、在 gender refits 中反而扩大。

  34. arXiv · cs.CL37

    Dynalize:用动态惩罚缓解偏好奖励模型的 reward hacking

    研究者提出 Dynalize,在策略训练过程中在线缓解偏好奖励模型的 reward hacking:一个语言模型定期异步分析训练 rollout 并为不良行为写入惩罚,由 judge 应用于每次 rollout。在临床咨询和创意写作任务中,仅用奖励模型训练会导致外部 benchmark 下降,而 Dynalize 延长了可训练时长并提升下游性能,且收益在多轮训练及重训奖励模型后依然成立。

  35. arXiv · cs.CL43

    RouterWorld:面向延迟感知 LLM 路由的对话式 AI 基准发布

    arXiv 论文提出 LLM 路由基准 RouterWorld,统一 371k 单轮响应与 76k 多轮智能体轨迹,采用 LLM-as-a-judge 协议和基于硬件的延迟标注,并设计 Cold-Start 与 Voyager 两种部分可观测路由设定。对 13 个路由基线的评估发现,多数路由器在部分可观测条件下过于重视准确率而忽视延迟。代码与基准数据已公开。

  36. arXiv · cs.CL40

    多教师 On-Policy 知识蒸馏的 Fisher 几何视角

    一篇 arXiv 论文证明,在同源专家模型的同一盆地里,多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标,其最优解即模型合并。作者据此提出两阶段整合方法 RGBM:Phase 1 将合并限制在任务向量子空间,Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上,仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏,RGBM 在零额外联合训练步骤下进一步提升效果。

  37. arXiv · cs.CL43

    ReAnchor:复用被拒绝的 verifier 隐状态来扩展扩散草稿生成

    ReAnchor 是一种免训练方法,复用投机解码中 target 验证时被丢弃的隐状态,让预训练 drafter 在偏移位置重新锚定并生成并行草稿块,从而扩展草稿覆盖范围。在 T=0 下,该方法在 Gemma 4-12B 上平均提升接受长度 19.4%、解码速度 17.9%;在四个目标模型、八个基准上平均提升接受长度 15.2%、解码速度 13.4%(使用预训练 DFlash drafter)。