内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
arXiv 论文（2610.10049，被 IEEE CogMI 2026 接收）用 30 个情境、6 种偏差和 0/1024/4096/8192 token 思考上限在 4 个模型家族做了剂量反应研究，共 12,350 次 API 调用。结果发现推理模型并不比匹配的非推理模型更少偏差，偏差幅度也不随实际消耗的推理 token 增加而可靠下降；锚定是唯一沿人类方向的偏差（d = 1.89），其余偏差多反向；一条让模型先复述锚点的简单指令降低了全部锚定题目的偏差。作者据此主张不应把测试时推理当作理性保证，应对部署模型逐项审计偏差。
推荐理由：研究用 12,350 次 API 调用检验推理预算与决策偏差的关系，结论可迁移到对部署模型的偏差审计思路上。
arXiv 论文 2610.10114 提出 Mechanics of Long-Context Hybrid Models 系列的 Part 1.1，研究全注意力与滑动窗口注意力（SWA）或门控线性注意力（GLA、GDN）混合架构的工作原理。作者发现上下文扩展中的 Seesaw Effect：LA 混合更受益于长上下文持续预训练，SWA 混合在长度外推上表现更好，并归纳了 SWA 混合的 Short-Context Learning Trap、Short-Window Weariness 和 Long-Window Laziness，以及 LA 混合的 Matthew Effect。
推荐理由：论文解释了混合注意力架构为何在长上下文上有效，并给出可复用的 Sliding-Window Linear Attention 设计与外推结果。
Huishan Ji 在 arXiv 发布 YANchor-4B，一种以 Anchor 保存关键记忆的通用循环模型，实现 O(N) 时间生成与 O(1) 内存。该模型在 AIME 2024–2026 上平均 pass@1 达 82.93%，HMMT 达 63.64%，优于线性时间常数状态的同类模型包括更大的模型；在 H100 上批量长生成吞吐比 Transformer 与混合基线高数倍，并在数十个基准上展示通用能力。论文 24 页 8 图，代码与模型已开放。
推荐理由：论文给出了循环架构在长程推理基准上的具体成绩和吞吐对比，读者可以据此评估 O(N) 时间加 O(1) 内存的实用性。
论文发布 PatchBench，指出安全补丁可能通过基准测试却压制无关行为，提出 PatchBench-Local 协议评测补丁的行为精确性。该协议从 27,870 个提示中筛选出 400 个高置信越狱失败案例，为每个有害源提示生成有害变体与两类良性邻居提示；对四种 activation steering 方法的评测显示全局能力几乎不变时局部良性回归可能很严重。论文已被 NeurIPS 2026 Datasets and Benchmarks Track 接收，地址 https://arxiv.org/abs/2610.10276v1。
推荐理由：提出用局部邻居提示区分选择性修复与局部压制的评测协议，可迁移到越狱修复方法的对比评估中。
论文提出 SemanticFold，一种在可学习边界折叠前缀隐藏状态的压缩方案，并在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五个规模上评测。固定目标协议下，压缩对各端点的影响非单调且不共享同一阈值，Qwen3-1.7B 在 R=1.7 时 NLL 降低 0.135，而 Pythia 两个模型的 NLL 基本不变；线性探针与推理指标变化小于 0.03。作者结论是潜在压缩下的能力保持没有单一标量证书，语言建模拟合、可解码性与推理在同一压缩操作下可能朝不同方向变化。
推荐理由：原文用固定目标协议把语言建模、可解码性与推理拆开评测，读者可以了解潜在压缩下各能力为何不同步。
论文提出 CoTrace，一种 harness 感知的终端 Agent 训练数据配方，通过交替式 harness 搜索与策略训练的协同演化框架，管理轨迹路由、来源匹配和课程刷新。在 Tmax promotion split 上，CoTrace 使 Qwen3.5-9B 在 SFT 下从 78 提升到 88 个解决任务，在线 RL 变体达到 90；小规模 harness 匹配语料以更低算力取得稳定收益，Terminal-Bench 2.1 和 SWE-bench Lite 评测显示分布外迁移依赖训练与评测 runtime 的一致性。论文 32 页，预印本地址 https://arxiv.org/abs/2610.10426v1。
推荐理由：论文给出轨迹按 harness 匹配路由的数据配方，用对比数字说明小而匹配的语料胜过混合大语料，方法可迁移。
Hongru Cai 等人提出 EngramEdit，通过条件记忆架构（如 DeepSeek Engram）实现解耦的 LLM 事实知识更新，保持 Transformer 主干固定。方法先计算使模型在多种表达下都能预测更新事实的目标记忆表示，再联合更新共享 n-gram 嵌入，并对频繁复用的嵌入施加更强惩罚以保护无关知识。实验显示编辑成功率接近完美，更新后的知识可用于未见表达和多跳推理，CoT 提示下准确率接近最强基线的三倍，且无关知识与通用能力在事实更新累积时基本保持不变。论文地址 https://arxiv.org/abs/2610.10533v1
推荐理由：论文给出了一种在固定 Transformer 主干上编辑条件记忆事实知识的方法，CoT 场景准确率约为最强基线的三倍。
arXiv 论文 2610.10536 提出 Exploration-Distillation（ExpDis）框架，将 RLVR 中的探索与优化解耦：训练带新颖性奖励的 explorer 策略，过滤轨迹后蒸馏进独立的 student 策略，student 训练时不带新颖性奖励，并多轮交替进行。在七个数学推理基准和两个模型家族上，ExpDis 在相同 wall-clock 预算下超过 DAPO，且 pass@$k$ 扩展更佳，表明生成的正确解更多样。代码与 checkpoints 已开放。
推荐理由：论文提出把探索与优化解耦的 ExpDis 框架，在七个数学推理基准和两个模型家族上与 DAPO 对比，方法描述完整可复现。
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model，用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示，泛化窄度与训练情境人格和默认人格的相似度正相关（Pearson's r = 0.72）；在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization（PPR），在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%，同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由：论文用 120 个微调模型的数据解释行为为何跨情境泛化，并给出能将 reward hacking 压到 0.2% 的正则化方法。
研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话，其中 33% 有至少三条用户消息，发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法，在保留已验证任务与测试的同时，通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow，并用 TFAS 分数筛选生成的轨迹；在 700 个 SWE-Bench Pro 任务上的试点显示，将任务拆成多步顺序执行大约使智能体成本翻倍，而 resolve rate 无稳定变化。
推荐理由：论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布，指出基准交互协议本身影响评测结果，方法可迁移。
arXiv 论文 2610.09639 通过受控合成框架测量发现，reverse-KL 在线蒸馏（OPD）能在三个模型家族的四个模型上稳定迁移跨未见推理结构的组合性技能，但几乎不迁移事实知识。消融显示换用 forward KL 可恢复事实迁移，学生 rollout 则专门提升多步推理执行；在事实问答与竞赛数学实验中呈现同样的不对称。结论是 OPD 不扩充模型参数化知识，而是教会模型组织与组合已有知识。
推荐理由：论文用受控合成框架区分知识与技能两类能力，说明了 reverse-KL 在线蒸馏为何只迁移推理技能而不扩充事实记忆。
论文提出 Bolzano，一个使用并行 prover 智能体加 verifier 智能体并维护人类可读研究状态的开源多智能体系统。专家选定问题的早期人工使用产出8个经领域专家核验证明的结果；随后在从四组论文提取的约3800个开放问题上无问题特定人工引导运行，解出约200个。在 STOC 2026 论文的实验中，系统回答了论文中提出的四个问题，经论文作者确认。论文被 NeurIPS 2026 第六届 MATH-AI workshop 接收。
推荐理由：论文给出了多智能体证明搜索系统在约3800个开放问题上的无人工引导实测结果，可了解其解题规模和验证方式。
Masaaki Nakatsu 在 arXiv:2610.09772 提出 Decoupling Architecture（AO-DA），在单个 INT4 基座模型上用热插拔 LoRA 将逻辑推理（What）与人设表达（How）分成两条推理路径，逻辑路径只接收核心回合并输出可验证的 Micro-State。
推荐理由：论文用 480 次同模型消融给出分离架构抗上下文污染的量化证据，并诚实地指出 4B 模型上分离同样失效。
Jonghyun Han 在 arXiv 发布论文，发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入，由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预，在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习，与 replay 叠加后在 Qwen/Korean 上达到 79.8%，但事后编辑漂移行只能恢复不到 5%，因此必须在训练期间施加干预。
推荐理由：论文把灾难性遗忘定位于低频词的输出嵌入，并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。
Sergei Polezhaev 在 arXiv 论文 arXiv:2610.09858 中提出 Caddie，通过强化学习训练批评模型，依据 Agent 接收反馈后最终是否成功来优化，不依赖步骤级标注，且基础模型保持冻结。基于 Qwen3-4B 训练的批评模型提升了四个不同规模与架构基础模型的成功率；在 MuSiQue 上使 Qwen3-4B 成功率提高超过 25 个百分点，超过无批评模型的 Kimi K3，并在 τ³、DeepDive 等域外交互基准上无需额外训练即有增益。
推荐理由：论文用任务最终成败而非步骤标注训练批评模型，读者可以了解一种可跨模型迁移的 Agent 反馈训练方法。
AndrewSmigaj 发布开源研究平台 Open LLMRI，用于研究 MoE 大语言模型如何组织内部表征，当前处于 pre-alpha 阶段。平台捕获 gpt-oss-20b 的残差流激活与专家路由，用 UMAP 投影和聚类分析词义、友敌判断等结构，并通过 Evennia MUD 中的 YAML 场景做多轮智能体轨迹捕获。配套 2026 年 9 月预印本研究语义亚稳态，发现累积上下文切换后模型内部读数仅部分跟随偏移，缺口最高达 109%，自杀信请求的真假框架与拒答行为共变（Cramér's V = 0.554）。项目以 Claude Code 作为分析运行时，采用 Apache 2.0 许可，附论文、脚本与数据。
推荐理由：开源的 MoE 内部表征研究平台，用 gpt-oss-20b 给出从激活捕获到 UMAP 聚类与转向实验的完整可复现流程。
MIT Media Lab 等机构在 EMNLP 2026 发布 HugAgent 基准，评估大语言模型能否仅凭本人访谈话语模拟具体个体的推理与信念更新，含信念状态推断（BSI）和信念动态更新（BDU）两个任务。基准基于 54 名参与者、3 个争议领域共 1,742 个条目，已以 gated、CC BY-NC 4.0 协议发布在 Hugging Face（social-atoms/hugagent）。结果显示模型较能恢复个体信念（最佳模型比人类上限低 7 至 9 分），但预测个体如何改变立场明显偏弱，最佳模型 68.6% 对人类的 85.7%，且该差距在所有被测模型家族中都存在。
推荐理由：基准测出模型能推断个体信念却难以预测其转变，榜单和评测脚本都开放，结果可直接复跑。
一个 GitHub 仓库基于 2026年3月31日 npm source map 泄漏事件，对 Claude Code v2.1.88 的 512,000 行 TypeScript 源码做了完整技术分析。泄漏源于 59.8 MB 的 cli.js.map 被打包进 npm 包，含 1,906 个未混淆源文件，Anthropic 随后移除文件并发起 DMCA。
推荐理由：原文基于泄漏源码梳理了 Claude Code 的架构、工具治理与上下文工程实践，其中多数做法可迁移到读者自己的 Agent 开发中。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
kifu-bench 让 Claude Opus 5.5（Claude Code）和 GPT-6.1 Sol（Codex）在 9×9 围棋上对战 KataGo 人类段位档案，每位玩家各下 200 局，记忆仅存于工作目录文件中。结果显示没有玩家变强：Opus medium 前 50 局胜 14 场、后 50 局胜 13 场，Sol medium 4 胜变 6 胜且几乎只对 20k 最弱档案；CLAUDE.md 从 35 行增长到 3820 行，但每局失误数未下降，审计未发现任何使用引擎或搜索走法的作弊行为。
推荐理由：这是作者自建的 Agent 自学围棋基准，给出 Elo、笔记增长和审计数据，可用来观察 Agent 通过文件自我改进的实际效果。