新闻、仓库与研究，按时间排列。
Yupeng Su 等人在 arXiv 发布论文 ReFold（arXiv:2610.07863），提出一种免训练的渲染层，在不改动底层交互历史的前提下压缩长程 LLM 智能体每步重发的上下文。方法通过替换已展示内容为占位符、把智能体报告已完成的轮次折叠成一行摘要来消除跨轮冗余，删除均可逆，并采用分块渲染每隔几步才重写缓存前缀。在五个长程基准和两个前沿 LLM 上，ReFold 将 token 消耗最多降低 2.5 倍，每会话 KV-cache 内存减半且不损害任务成功率；在受限上下文预算下避免最多 92% 的强制压缩，并发服务下推理加速最多 1.7 倍、推理成本最多降低 3.4 倍。
推荐理由：论文提出无需训练的上下文压缩层 ReFold，长程智能体的成本与缓存数据都有可复用的量化参考。
研究者提出成对忠实性基准 PFaithBench，评估模型能否在同一问题上根据上下文是否支持在回答与拒答之间切换，覆盖 7 个模型族的 39 个模型。结果显示大多数模型强烈偏向回答，忠实性错误主要来自上下文不足时仍编造答案的过度回答。进一步的忠实性训练研究发现，增加回答监督数据会加剧过度回答，增加拒答数据则会减少幻觉但导致过度拒答。
研究提出 Hybrid Latent Attention（HLA），对 Looped 语言模型（Ouro，T=4）在滑动窗口 W 内保留精确 keys/values，更早 token 则存为紧凑 latent，供每轮循环的 query 直接读取。在 1.4B 和 2.6B 参数模型上冻结预训练权重并仅训练新增参数后，KV cache 每 token 缩小 10.7x，每 GPU 可并发序列增加 4.0-8.8x，1K 上下文解码吞吐提升 2.5x、16K 时最高 7.4x。HLA 在数学、知识与推理 benchmark 上保留原模型 97% 以上准确率，16K 长文本检索达 96-100%。
论文提出 VisionWeave，让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器，通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B，训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B，该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能，优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线；部署于 SGLang 时吞吐提升 2.3x，平均 TTFT 降低 54.4%，平均 TPOT 降低 60.6%。
推荐理由：论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据，读者可对比 token 剪枝基线评估其取舍。
一项被 AACL-IJCNLP 2026 Findings 接收的研究提出 TACIT 框架，将外部工具需求分解为 Source、Transformation、World Effect 三个轴，共 8 类能力。研究者用 1,600 条平衡训练查询在 4 个开源权重 LLM 系列上训练线性探针，发现生成前的隐状态可高精度线性解码细粒度能力结构。但同一批模型用自然语言显式分类时可靠性显著下降，研究者将这种“结构化但沉默”现象定义为表征到言语化的鸿沟。
arXiv 论文 2610.08077 提出 prospective learning 与 Self-Retrospection Distillation（SRD），将智能体事后获得的轨迹经验蒸馏为同一策略在交互前的预测目标，且推理时无需显式生成 foresight。在 10 个工具集成推理和长程智能体任务上，SRD 相比 RLVR 和自蒸馏基线最高提升 24.2 pp；在 98% rollout 组全失败的 2B 设定下，RLVR 成功率为 0.0%，叠加 SRD 后在相同 rollout 预算下达到 60.6%。
QRAKEN 是一种免训练、本体无关的神经符号化 pipeline，以经验图证据而非 schema 预期来驱动 LLM 进行 Text-to-SPARQL。在 CK25 基准上，其 strict F1 达 0.643±0.026（GPT-4.1 mini）和 0.652±0.012（GPT-5.4），较最强复算参赛系统相对提升 30% 和 32%；离线蒸馏的 TTQL 模式是主要贡献（较 shape-only 基线 +0.31），用两个本地 35B 4-bit 开源模型也达到与最强参赛者相当的水平。
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF（llama.cpp）量化版，原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体，官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样，成为首个可无损流畅端侧运行的开源 MoE 模型，在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s；Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：官方说明了 LES 预取、分层量化与投机采样如何配合，让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
arXiv 论文 arXiv:2610.06597 提出 HEAR，一个面向 agentic LLM 服务的 Harness-Engine 双向配对协议，让 agent harness 传递工作流意图与执行需求，推理引擎返回运行时状态与能力。
推荐理由：论文给出 HEAR 协议在多个 agent 基准上的加速数据，读者可以据此评估 harness 与推理引擎双向协调的实际收益。
研究提出 activation alignment 方法，用轻量线性变换在合成无标签数据上训练，让仅用部分上下文的“学生”表格基础模型对齐全上下文“教师”的中间激活，从而降低每次前向传播处理全部训练样本的推理成本。
BRANCH-MoE 是一种将 E 个专家置于深度 log₂E 二叉决策树叶节点的 MoE 路由架构，通过指数移动平均估计的到达加权均值中心化分支概率，无需辅助负载均衡损失即可促进两个子树的均衡利用。
研究提出免训练的稀疏注意力框架 MC-Sparse，通过缓存查询分组、基于精确注意力概率选取的 KV 索引及稠密-稀疏输出残差，并在后续去噪步骤中复用，解决高稀疏度下生成质量下降问题。相比稠密注意力，MC-Sparse 在 Minimax-H3-Base 上实现 1.80× 去噪加速，在 3D 资产生成上实现 2.32× 加速，且质量损失可忽略。
论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。
推荐理由：论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。
一篇 arXiv 论文（arXiv:2610.06479，EMNLP 2026 主会）提出 Behavior-Preserving KV Cache Compression，一种免训练的 KV cache 压缩框架。
研究者提出 Bayesian Cheatsheet，一种在行为嵌入上构建 HDP-GMM 的结构化记忆模块，可在在线测试时训练（TTT）中低成本更新混合统计量并自动创建新组件。该模块通过一步 collapsed Gibbs 采样实现行为的自适应重组，在 AIME'25、Omni-MATH 和 PhysReason 等推理基准上优于现有记忆模块，冷启动设置下同样有效。
arXiv 论文研究异步执行（通信延迟、丢包、乱序、执行器缓冲）如何改变世界模型控制器中的动作语义。分析发现 TD-MPC2 在 latent dynamics rollout 中需要正确的未来动作序列，DreamerV3 则需要将每个状态转移及时归因到实际动作。
该研究在七项政治科学复现任务中对比商业模型 JEV 与 GPT-6 Luna、开源 Qwen3.8-27B 及人工编码员。JEV 的准确率接近两款 LLM，单次提问时概率校准优于 GPT-6 Luna 的 token 概率，但不稳定优于 Qwen3.8-27B；在 OpenAI batch 价格下 JEV 无成本优势，主要优点是解析选择概率更方便。
一项 arXiv 研究提出将多步转移的内部演化转化为对文本世界状态的结构化推理，用稀疏状态变化推理、预测增益目标和中间预测奖励缓解长程预测中的误差累积与弱信用分配问题。在 ScienceWorld、Jericho 和 CEO-Bench 上，该方法平均长程性能超过递归与非递归基线，且视野越长优势越大；反事实研究中其模型是唯一对未来动作具有统计显著敏感性的模型。
论文提出 LoGRA，一种通过低秩梯度草图保留学习信号的 RL 后训练方法，可将平均训练内存最多降低 45.7% 且不损失性能。该方法配合 predicted-KL 步长控制防止更新过大，并支持在单个八 GPU 节点上稳定训练 27B 参数模型超过 1,100 步，而 dense Adam 在此场景下会内存溢出。代码开源于 Molt 库。
推荐理由：原文给出了 LoGRA 的内存压缩幅度和 27B 模型单节点训练步数等具体数据，可据此评估该方法对 RL 训练内存瓶颈的缓解程度。
Ilya Drobyshevskiy 在 arXiv 发布技术报告，提出一种扩散语言模型（DLM）后训练方法，在冻结的预训练 DLM 特征空间中最小化生成分布与参考分布之间的 Maximum Mean Discrepancy（MMD）。
arXiv 论文 2610.06666 提出 FLaRe（Flow-based Latent Reasoning），一种基于流匹配在习得潜空间中进行推理的训练配方，涵盖潜空间编码内容与塑形方式、流的训练位置、答案读出方式，以及在模型自身经验证思维上的最终训练阶段。
推荐理由：论文提出 FLaRe 训练配方，用流匹配在潜空间做推理，给出五项要求的逐项探针验证和与显式 CoT 的精度延迟对比。
arXiv 论文（arXiv:2610.06668）测试了 14 个模型在 30 对力学问题上的表现，每对含一个有效版本和一个因改动给定值或假设而变得不可能的缺陷版本，两个独立求解器验证了答案并证明缺陷问题物理上不可能。
研究训练 300M 与 1B 的 top-2 MoE 语言模型，比较 softmax、1.5-entmax、sparsemax 与 2-normmax 四种概率映射的路由行为。
论文提出 MM-KG 多模态知识图谱，将 EHR 文本、影像、基因组和生物标本数据映射到 UMLS 概念，并通过显式对齐边接入生物医学知识图谱。在 MIMIC-IV 和 ADNI 上，双源结合带来 +0.194 与 +0.299 的 AUROC 交互增益，五选一排序上 Hits@1 超出 MindMap +0.131。查询条件检索以 6.8 倍更少上下文达到 0.731 AUROC。
arXiv 论文（https://arxiv.org/abs/2610.06750v1）发现循环-注意力混合语言模型虽同时具备注意力与循环两条记忆通路，但实际明显更依赖注意力而非循环状态，标准监督微调也无法改善这种失衡。
CLIFT 是一种基于保形自验证的 Web Agent 训练与测试时扩展方法，训练时用 Compositional Conformal Certifier 过滤验证问题并生成带符号信任权重，融入每步奖励；测试时通过 Conformal Trajectory Selection（CTS）以多数投票切换 rollout，无需调用外部 judge。
arXiv 论文（arXiv:2610.06851）研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联，发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。
推荐理由：论文用因果数据干预把推理行为追溯到训练数据，并给出固定起始 token 即可逼近 RL 版本性能的具体数字。
论文提出 BudgetAPO，一种面向紧预算场景的单阶段自动提示词优化方法，解决 GEPA、OPRO 等方法依赖数百到数千次模型调用、难以用于付费限流 API 的问题。
推荐理由：论文针对付费限流 API 下提示词优化预算受限的场景，给出了按任务噪声自适应分配评估调用的具体方法与跨基准对比数据。
一项 arXiv 研究提出，将 token 消耗当作生产性努力的 token-max 目标会导致智能体过度消耗算力，而以单位成本内经独立验证的任务完成为奖励的 outcome-max 能带来有原则的停止规则。三层模拟框架显示 outcome-max 在基本保持验证任务表现的同时提升 AI 辅助生产效率，配套的 OutcomeShare 激励机制可为员工、企业和 LLM 提供方创造共享收益。
论文提出 SO-RSI 框架，将递归自我提升（RSI）从一阶参数修补升级为二阶诊断，先调查失败原因再进行结构性修改。该框架通过监控执行轨迹中的复现、反向编辑和预期不匹配三类结构异常触发诊断，并在多轮间维护持久 inquiry memory。
推荐理由：论文给出 SO-RSI 在 Lean 4 与 Verus 上相对 Naive RSI 的提升幅度和失败复发分析，方法可迁移到工作流自优化场景。
研究者提出频率感知框架 FreSia，通过 FGPrompt 将时间序列频域结构投影为适配 LLM 语义空间的提示词，并用 Global-driven Context Learning 生成全局上下文以弥合时频域差距。在八个预测基准上，FreSia 的 MSE 和 MAE 平均分别提升 13.48% 和 8.06%，论文已被 Pattern Recognition 接收。
HLA-WM 是一个免训练的混合线性注意力框架，针对 Gated DeltaNet（GDN）的长程遗忘问题，结合几何引导检索与循环线性状态计算。在 60 秒 SANA-WM-Bench 上，PSNR 提升 0.74 dB、旋转误差降低 28.5%；60 秒上下文下历史状态内存较完整 KV 缓存减少 12 倍，推理吞吐最多仅降 1.6%。
CIPHER-MoE 在保持 router 的 token 侧 Top-K 选择不变的前提下，通过亲和度感知的 Expert-to-Token 过滤与显式容量控制缓解 MoE 训练中的专家负载不均。
arXiv 论文发现，长时运行 Agent 在滚动更新文档窗口时，非前缀 KV-cache 复用具有历史敏感性：相同提示词可能因此前处理的请求顺序不同而产生不同答案。
一项研究提出分层强化学习（HRL）框架，让每腿四个驱动关节、无髋踝侧摆的欠驱动双足机器人在避障时保持平衡。高层策略每十个控制步输出机体速度指令，低层策略用 SAC 联合训练跟踪指令。在 PyBullet 随机环境每方法 100 次评估中，静态场景成功率 98.0%、动态 88.0%，高于 SAC+A* 等规划器混合基线的 78.0% 和 68.0%，路径长度与 A* 参考相差在 4% 以内。
一篇 NeuRIPS MATH-AI Workshop 2026 论文提出 Discovery–Execution（DE）框架，用短预算运行预测数学推理随算力扩展的曲线。
Zaiquan Yang 等在 arXiv 发布论文（arXiv:2610.05373），提出 Un-OPD 框架，解决块扩散语言模型（BDLM）在线蒸馏中的两类优化偏差：师生块边界不匹配导致的上下文错位，以及高支持度信号被快速吸收引发的过度自信坍缩。
论文提出 Harness-Search，一个多智能体搜索 harness，将提出检索动作、更新持久状态和决定停止三个职责拆分给 Retrieval Policy、Memory Operator 和 Summary Auditor，构成 Propose-Commit-Audit 循环，以减少单智能体在长程搜索中丢失未解决问题或过早终止的问题。
一项基于 Llama-3.2-1B-Instruct 的消融研究通过 360 组受控实验，在 BANKING77 和 CLINC150 数据集上比较了 mean、max、last-token、attention 及 FFT 增强等池化策略在干净与噪声条件下的意图分类表现。
论文提出 Universal Test-Time Training（uTTT），让所有层读写同一份在线更新的共享记忆，使记忆在时间与深度两个维度上循环，并给出 uTTT-MoE 与 uTTT-Dense 两种实现。
推荐理由：论文提出让各层共享同一测试时记忆的 uTTT 架构，并给出 RULER 与新视角合成数据，可对照层私有记忆方案评估收益。