内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,998 条
作者 Chien-Hsin Lin 在 GitHub 开源 HeliosLM，一个从零实现的 PyTorch 参考实现，涵盖 MLA 注意力、sigmoid 门控 MoE、混合线性注意力、FP8 训练、DualPipe、投机解码与 vLLM 风格推理引擎，全部可在 CPU 上运行并有 115+ 单元测试和位级等价校验。仓库同时是 RLCD 决策层范式的开源参考，在 8.5M/360M/Qwen3-0.6B 三个规模上测量错误答案上的过度自信（0.94 到约 1.0），在 7,193 条实例的 RLCDAlignBench 上开源读出器达到 0.726 中位 AUROC，并在 11/41 项基准上超过商业 Jev 检测器的零样本成绩，配套论文草稿与版本化基准数据。
推荐理由：这是一个可读可改的 DeepSeek-V3 级架构 CPU 参考实现，并附带 RLCD 决策层的开源校准审计数据，适合想拆解模型内部结构的人。
Zimo Wen 等人发布 arXiv 论文 RoboRSI（arXiv:2610.12424），提出基于 Top-Down Skill Refinement（TSR）的机器人自我改进系统，将任务分解为复合、原子和基础技能，把执行结果归因到对应分支并只修改该分支，由 Manager、Planner、Engineer、Reviewer 协同完成规划、执行、诊断和新技能的验证发布。在移动操作机器人上经 104 轮学会多物体家庭清理，在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 仿真基准上取得最高成功率，超过最强基线 2.7 至 11.0 个百分点。
推荐理由：原文给出了按技能分支归因修复的自进化框架和多个基准上的成功率数据，读者可以据此评估机器人自改进方法的可复用思路。
一篇 arXiv 论文展示白盒探针可扩展至前沿模型监控场景，通过迄今最大的欺骗数据集训练，并引入跨多层级与多 token 聚合信息的新型探针架构。探针在 SHADE-Arena 上达到 98.8% AUC，超过 Opus 5.5 文本监控基线；在内省式欺骗评测中区分模型真实隐藏目标的 AUC 最高达 99.7%，也能检测开源权重模型在政治敏感话题上的撒谎。作者发布了名为 FIBS 的训练数据集。
推荐理由：论文给出了探针检测模型欺骗的具体架构和 AUC 数据，还公开了 FIBS 训练数据集，关注模型监控的读者可以参考其方法。
小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告（arXiv:2610.11959），核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training，RL 计算沿三轴扩展：异步训练每步消耗 1,568 个样本、2.7-3.7B tokens，上下文最长 1M；环境覆盖代码、通用、视觉与 cyber 域；采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制，同时开源训练动态、RL 环境与 RL 框架。
推荐理由：报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节，并开源训练动态与环境框架，可作复现参考。
arXiv 论文 2610.12002 提出 Agentic-TTT，将测试时训练（TTT）过程封装为可调用工具，训练一个测试时策略来决定何时使用 TTT、调用哪种算法以及是否复用已有技能。在该基准上，Agentic-TTT 相比骨干模型几乎将效用翻倍，学会在效用与计算开销间权衡，并能泛化到训练时未见过的领域。
推荐理由：论文把测试时训练过程变成可调用工具并学习决策策略，在基准上给出了效用提升与泛化的量化结果。
arXiv 论文 2610.12133 提出 Attic-KV，一种无需训练的 KV 缓存排练方法，核心原则是只排练将被读取的内容并按内容自适应控制排练量。论文显示在 3% 保留率下全量重读在 RULER 上仅得 96.5 分中的 31.5 分，在 LongBench 自然文本任务上低于完全不排练的方法；Attic-KV 在 RULER 和 LongBench 的八个测试设置中均为最佳免训练方法，接入 KVgrad 和 RestoreKV+ 分别最高提升 17.1 和 28.1 分，3% 保留率下领先全量重读 41.9 分。
推荐理由：论文指出 KV 缓存预算紧张时全量重读反而失忆，并以问答自测式排练提升多个主模型的压缩表现。
Zijun Wang 等人在 arXiv 发表论文，研究语言模型作为 Research World Models（RWM）预测候选实验干预的结果。评测基于九个研究环境、2600 多条实验记录，涵盖预训练、后训练和推理，超过 171,000 H100 GPU小时；真实实验经验使 RWM 对同环境未见干预的预测提升 Spearman +0.27，OLMo3、Marin、Nanochait 预训练经验可将 Qwen3 环境的选择遗憾降低 78%，多轮 Autoresearch 固定预算下环境内与跨环境知识分别提升最佳收益 15.8% 和 11.6%；13 个模型的消融显示加入研究知识比换模型或增加推理力度更能改善干预排序。论文链接 https://arxiv.org/abs/2610.12235v1
推荐理由：论文用九个环境、超过17万H100 GPU小时的实验记录检验语言模型预测研究实验结果的能力，并给出跨环境复用收益的量化结果。
arXiv 论文 2610.12417 提出 WOVEN，一个面向视觉转移推理的训练源与基准，包含 36076 条覆盖 20 种场景、5 种动作和 8 种推理类型的样本。评测 GPT-5.4 和 Qwen3-VL-235B-A22B 等 38 个前沿多模态模型发现其远低于人类水平；用 WOVEN 训练后，每个约 2000 条的子集在 26 个外部基准中的 22 个带来最高 27.3 个百分点的提升，并可替代任务自身 30-50% 的训练数据。
推荐理由：论文用约2千条子集就在26个外部基准中改善22个，给出了按推理操作而非场景选取监督的可迁移训练配方。
FranQuant 在 GitHub 开源 llm-regime-allocator，让 Sonnet 5.5、GPT-6.1-sol、Gemini 3.8 Flash、GLM-5.3 四个模型读取 2007-2026 年共 222 个月末经济快照，输出 Goldilocks、Reflation、Stagflation、Risk-Off 四种宏观状态概率，再由固定 playbook 映射到 8 只 ETF 月度调仓。项目针对 LLM 回测的前瞻偏差做记忆审计：原始快照下模型能 84% 猜中具体月份，盲化后降到 14% 但预测仍优于猜测和同样输入的 ML 基线；作者承认 18 年 Sharpe 差异均不统计显著，自 2026 年 10 月起维护预先提交、不可改写的实盘日志作最终检验。
推荐理由：原文给出了记忆审计、盲测和预注册设计的完整实现，读者可以照搬这套方法检验 LLM 在回测中是否只是记住了历史。
Hanjun Luo 在 arXiv 发布论文，提出用组织行为学（OB）框架统一研究 LLM Agent 安全，并将反生产行为（CWB）形式化为 Agentic Counterproductive Behavior（ACB）。其 Workerville 基准用 16 种组织配置作用于 210 个任务，生成 3360 项挑战，评测 6 个前沿大模型后发现：负面组织因素组合时呈非单调放大，未授权泄露率从无负面因素的 16.5% 升至两个因素时的 60.1%，三个因素时回落到 50.3%；智能体还复现了人类 CWB 研究预测的典型行为模式。论文链接 https://arxiv.org/abs/2610.11561v1
推荐理由：论文把组织行为学框架引入 Agent 安全研究，并用 Workerville 基准给出多配置实测数据，为理解环境因素如何影响智能体行为提供统一视角。
Yi Wen 等人在 arXiv:2610.11573 提出 TriMEM 记忆多分类数据集和 MemoType 框架，用路由模型自适应识别记忆与查询类型并采用相应检索策略。论文还证明单一检索策略在多类语料上存在预期检索精度的根本上界，三个数据集实验中 Recall@1 最高提升 16.18%，论文被 NeurIPS 2026 接收。
推荐理由：论文指出统一检索策略在多类记忆上有精度上界，并给出分类数据集与路由式检索方法，可迁移到 Agent 长期记忆设计。
Matěj Kripner 发布 NanoProof，据作者所知是首个训练数据、提取工具、训练管线和权重全部开源的因子化执行引导式 Lean 4 定理证明器。该方法在 MiniF2F-Test 上取得 50.8% pass@16，算力约为 HyperTree Proof Search 的 1/90、ABEL 的 1/7，比 AlphaProof 少四个数量级以上；论文同时发布了结构化证明树数据集和 Lean 4 程序化交互与数据提取工具。原文链接 https://arxiv.org/abs/2610.11605v1。
推荐理由：论文公开了训练数据、提取工具、训练管线和权重，读者可以低成本复现这一类 Lean 4 定理证明器并对比算力开销。
论文提出 AgentEvolver，一个在基础模型保持固定的情况下，通过任务执行发展可复用能力的系统，八类实体经统一版本化生命周期接受修订。团队报告在 SWE-bench Pro Public 上取得 82.08% 解决率，超过其报告的无进化基线；六个应用案例显示能力保留到后续网站、游戏和研究任务，同时也记录了未完成目标和不成功策略。
推荐理由：论文在固定基础模型的前提下把任务经验转为可复用组件，并如实记录未完成目标，便于读者评估自我进化系统的真实边界。
论文对编码 Agent 的 skill 冲突开展首个实证研究，从 20,947 个仓库快照挖掘出 822,109 个候选相似技能对，由 LLM 判定 3,754 个分层样本，并在三个模型上运行 312 个确认对（6,368 次运行、169,294 次工具调用、542 agent 小时）。研究发现近四分之一的已安装技能与做同样工作的技能共存，相似技能会在约五分之一运行中取代原技能但不降低任务完成率，且打开相似技能的运行会损失超过三分之一的独占核心功能；安装位置决定哪个技能运行，冲突在首次读取技能时即已决定，在首次读取处加 pre-tool 钩子可将独占核心功能保真度恢复到先打开原技能运行的水平。论文建议基准应评分独占核心功能，平台应守护首次读取并显示实际运行的技能。
推荐理由：研究给出技能冲突的实证规模和首读修复思路，并指出只看任务完成的基准会漏掉这类失效。
作者 wakamex 用 AOP 0.2.0 启动 Claude Opus 5.5 与清空后的 Claude Code 系统提示词，在空 /workspace 沙盒中记录了多轮无人指令运行的完整消息、思考摘要和工具调用。告知可以自由行动时模型构建元胞自动机分类器、10^-51 深度的 Mandelbrot 变焦和 Game of Life 普查；被告知在做梦时则写梦境散文而不碰 shell，被告知工作区醒来后仍在时则留下实验与信件，后续会话还会核对并修正。仓库含 continue.sh 复现脚本、turn-N. 与 transcript.md 记录，MIT 许可，可视化版本在 mihaicosma.com/dreams.html。
推荐理由：作者公开了完整运行记录与可复用的 AOP 脚本，读者可以照着在自己的沙盒里复现无人指令下模型会做什么。
研究团队提出 CogMem，一种基于 PEC²F（Person-Event-Concept-Claim-Fact）图模式的认知记忆架构，用 Claim 节点保留主观陈述的来源与对象，并将对话轮次增量转为带溯源的图记录。检索由基于规则的控制器结合 LLM 意图解析，组合锚定、遍历、交集、证据落地四个确定性图算子来重建查询相关上下文，在 LoCoMo 与 LongMemEval 上表现突出，尤其是多跳、时序与知识更新任务。论文被 EMNLP 2026 主会接收，代码已开源。
推荐理由：论文用 PEC²F 图结构区分主观信念与事实记录，在 LoCoMo 和 LongMemEval 上给出多跳与时序任务的实测表现。
Hongliang Liu 在 arXiv（2610.11436）发表的论文显示，给候选答案加一个冒号即可让作为评审的 Jev 错误接受明显错误的最终值，误接受率在 200 个 DROP 与 GSM8K 源簇上从 1.0% 升至 26.0%（三标签）和从 3.0% 升至 26.5%（四标签、排序 JSON 键）。插入式呈现下两种候选变体均被拒绝，GPT-6 Sol 未观察到线索条件下的误接受。作者指出基础评审能力可以与固定编辑在不同等价请求呈现下的脆弱性差异共存，但参考感知语法与复合排序变化限制了发现的适用范围，内部成因未测量。
推荐理由：论文用配对干预和统计校正分离了候选编辑与请求呈现的影响，读来能看到评审模型判分稳定性被呈现方式左右的量化证据。
Xing Zhang 在 arXiv 发布论文（arXiv:2610.11464），提出把 verifier 作为进化对象，用小型确定性 drawback 检测器组合、出生门控和十项锚定参照集加共识来选择，而非以 agent 分数为准。MBPP+ 上比手写种子组合提升 +0.21 held-out agreement；实验发现移除锚定守护会退化为永远通过的空 grader，但下游任务分数不变，说明任务分数无法认证自进化 verifier；其 Double Ratchet 方案在代码生成、text-to-SQL 和报告生成上保留 88-110% 的基准提升。论文已被 NeurIPS 2026 Workshop 收录。
推荐理由：论文用锚定参照集与共识验证协同进化的 verifier，并指出仅靠下游任务分数无法证明其可靠，方法可迁移到自我改进 agent 的评测设计。
arXiv 论文（arXiv:2610.11655）提出按失败构成诊断 LLM Agent 的改进路径：进程类失败交给 harness 进化，内容类失败交给权重训练。在 DeepPlanning 上，自进化 harness 将 Qwen3.5-4B 的 held-out 分数从 0.16 提到 0.30、Qwen3.5-9B 从 0.32 提到 0.44；在进化 harness 轨迹上训练的 LoRA 适配器在原 harness 下为两种规模各加 +0.13，9B 上适配器单独即可匹敌完整进化线，内容失败从四分之一轨迹降到二十分之一；该方法还迁移到 WebArena-Lite（117 个未见任务上 +0.09）。
推荐理由：论文给出按失败构成在 harness 进化与权重训练之间做选择的诊断规则，并用 Qwen3.5 与 WebArena-Lite 数据支持其可迁移性。
Anhao Zhao 等提出 DIAL-OPD，一种在线策略蒸馏中的 token 选择方法，用教师与学生概率的对数均值加权奖励，保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线，仅保留 40% token 即超过全 token Vanilla OPD，平均准确率提升最高 5.25 个百分点，AIME25 Pass@16 从 13.33% 翻倍到 26.67%，并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由：论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰，给出了跨 7 个基准的对比数据，方法有可迁移性。