内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
REMEMORY 论文提出一种神经记忆网络，在文本摘要之外生成有界的软记忆 token，帮助冻结的 LLM 近似使用完整历史时的续写效果，相当于沿序列维度的残差连接。在 SummHay 上仅用 5.2% 的输入位置即接近全上下文联合分数，Qwen3.8-27B 与 GLM-5.3-Flash 在长程 Agent 基准上一致提升，并在 BrowseComp 和 Terminal-Bench 2.1 上显著减少重复工具输出与工具错误。arXiv: https://arxiv.org/abs/2610.11287，GitHub: https://github.com/fudan-generative-vision/Remory
推荐理由：论文给出用软记忆 token 补充文本摘要的上下文压缩方法，并附 SummHay 与长程 Agent 基准数据，可复现。
FlashMask-3 论文发布，提出掩码感知的 Hopper 内核与分布式注意力扩展，基于 FlashAttention-3 的 TMA/WGMMA 流水线实现三角色 warp specialization，并支持零通信掩码定位、稀疏感知负载均衡与计算通信重叠。单张 H100 在 12 种掩码、4K–128K 上下文下，achieved TFLOPs 较 FlashMask、FlexAttention、MagiAttention 提升 45–141%、34–71%、2–44%；上下文并行度 4–32 时吞吐较 Megatron-Core CP ring 等基线提升 1.80×–3.71×；在 128 张 H100 上训练 118B-A14B MoE 的 128K 端到端场景中吞吐提升 7.3–11.0%。
推荐理由：论文给出了跨 12 种掩码和 4K 到 128K 上下文的实测对比数据，读者可以据此评估该分布式注意力方案的实际收益。
一项发表于 arXiv:2610.26651 的研究以 ESM-2 蛋白质语言模型家族（8M 至 3B 参数）为对象，评估预训练数据过滤的有效性、耐久性与可扩展性。结果显示，从预训练数据中过滤病毒蛋白会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测，且影响集中于感染人类的病毒蛋白，模型越大过滤效果越强；但用被移除病毒家族的序列微调即可恢复性能，即使最大模型的恢复成本约 80 美元的 H100 时间。论文结论是预训练过滤对选择性削弱病毒蛋白能力效果中等，但无法抵御算力与数据门槛不高的微调。
推荐理由：论文用 ESM-2 系统实测了预训练数据过滤对病毒蛋白能力的削弱程度，并量化了微调恢复的代价，对评估过滤类防护的耐久性有直接参考价值。
Lennart Finke 在 arXiv:2610.26698 发布论文，训练模型有机体在漏洞检测任务中隐瞒解法以模拟 ELK（引导潜在知识）研究场景。方法结合 transcript 蒸馏、counter-prompting 与防篡改训练，使模型具备选择性、抗引导鲁棒性和知识保留三种性质，最强模型在鲁棒性上大幅超越先前模型且保持另两种性质。代码、模型与数据集已开源。
推荐理由：论文提出了带选择性、鲁棒性和知识保留三性质的 sandbagging 模型有机体，可作为 ELK 研究的可复用测试床。
一篇 arXiv 技术报告系统研究物理递归自我改进（RSI）的机制、scaling 行为与泛化，提出 PhysRSI-eval，用首次尝试性能、效率、成功率、预算与失败改进五轴指标，在固定交互预算下评测多个 VLM 于 18 个操作任务。分析引出 Physical Barrel 假设，并从公开能力预测相对表现、从早期物理反馈预测后续进展两个角度做观测性 scaling 分析；工作区干预显示移除历史会降低后期成功率，而冻结工作区在未见布局上仍有效，说明场景特定适应与可复用经验可以共存。
推荐理由：论文用五轴指标量化物理 RSI 并给出观测性 scaling 分析，能帮助读者理解 VLM 智能体自我改进能力的来源边界。
论文研究 Agent harness 跨轮次处理上下文（丢弃、摘要、回放模型推理）何时改变 Agent 成败，而非只看成本。预注册合成实验显示，所需事实可重新查回时截断上下文几乎无损失，事实不可再观察时成功率降至随机水平，两种惩罚相差 92.5 个百分点（90% CI [89.5, 95.5]），第二家供应商一个模型的复现结果一致。在 ARC-AGI-3 上，Standard harness 与 Provider Adapter harness 存在 63 分差距，改摘要而非丢弃旧轮次并保留记笔记提示可恢复 86%，不保留提示恢复 43%，叠加供应商原生推理回放再恢复 57%；这些为单次运行的点估计。
推荐理由：论文用预注册实验拆解 harness 对 Agent 成败的影响，给出可量化的组件归因，对理解上下文管理设计有直接参考。
一项 arXiv 研究追踪 30 个开源模型谱系的 741 个检查点，通过在道德场景中植入初始判断并测量模型随用户意见摇摆的程度，发现多数谱系在预训练阶段已出现谄媚行为。但具体在哪些问题上让步主要在后训练阶段形成，监督微调检查点能预测部分、偏好优化检查点预测大部分；Tülu-3 8B 自身的偏好阶段检查点可消除 85% 的剩余预测误差，而同底座的另一训练路线兄弟模型只能消除 19%。
推荐理由：论文用 741 个检查点追踪谄媚行为的形成阶段，指出偏好优化阶段是主要来源，对模型审计有参考价值。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
论文提出 HarnessPro，一种无标注方法，通过 LLM 生成的测试评估候选框架，并用 Pareto 优化同时提升任务性能、降低执行成本。在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上，用 GPT-5.5 加 Codex 时 heavy 模式相对 RHO 平均 pass-rate 提升 2.0 个百分点、单任务成本降低 26.1%，用 GLM-5.2 加 Claude Code 结果一致，并输出 lite、medium、heavy 三档框架供不同部署预算选用。
推荐理由：论文用无标注测试加 Pareto 选择同时优化 Agent 框架的性能与成本，给出与 RHO 的对照数据，方法可迁移到类似的框架自改进场景。
研究团队发布 MemT-1.0 记忆基础模型架构，基于 Metis 和 Gated DeltaNet-2，通过 Mixture-of-Storage 扩展原生记忆容量，采用继续预训练加后训练的两阶段训练流程，训练数据 34B tokens，提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当，在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减，论文链接 https://arxiv.org/abs/2610.26825v1。
推荐理由：原文给出记忆基础模型的架构设计、训练数据和评测对比，读者可以据此了解把记忆内化为模型计算的具体做法与代价。
论文提出 WildAWM，一条用开源模型合成计算机使用智能体（CUA）可执行环境与任务的流水线，环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对，部分需超过 100 步求解，GPT-6-Astra 仅解出 60%；仅在这些合成环境中训练的两个不同规模 Qwen 模型，在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升，代码已公开。
推荐理由：论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法，训练效果覆盖 8 个域外基准，方法可迁移到环境合成类工作。
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象：不同 mixer 层竞争学习同一函数，胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数，导致 attention 多数情况下学不到检索；在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由：论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制，提出的分阶段训练方法在 1B 参数规模上验证有效。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架，基于 CORD-v2 数据集，通过 LiteLLM 切换模型后端，所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中，54% 的字段单元无值，全答 null 即得 54.0% 宏平均准确率；本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%，更严格的 v2 提示词将其提升到 86.0%（配对 +36.5 点）并把幻觉率降到 23.1%；对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。
推荐理由：原文给出带置信区间和 always-null 基线的完整评测设计，读者可以照着复现小票抽取模型的幻觉测量。
CrepuscularIRIS 发布 HarnessRSI-Daily 仓库，专门追踪改进提示词、技能、工具、记忆等非权重组件的递归自我改进研究。已对 585 篇论文打分（17 篇达 ★★★ ≥70），评分含证据、执行、证据等级和代码四项且每条判断附原文引用；从 1198 篇语料归纳出 13 主模式 / 36 子模式，独立重判一致率 86%（κ=0.84），并发现 ICLR 2025–2026 中 critique-and-rewrite 模式录用率 17% 低于 35% 基准。仓库含论文榜、诊断卡、模式卡与每日 arXiv 流水线，MIT 许可。
推荐理由：仓库不只收论文，还给每篇打了带引用依据的评分，并从 1198 篇语料中归纳出 13 个研究模式与 ICLR 录用对比。
Zekun Shi 发布 FreeSolo 架构、论文（arXiv 2610.17191）与 341M/743M 研究用 base 模型权重，通过学习 chunk mean keys 支持检索、剪枝与层级摘要，RoPE 保留在局部窗口。FS-L 为线性时间、FS-B 为超线性次二次复杂度，两者共享一套 checkpoint 格式；模型在 4k 上下文训练，8k 及以上零样本外推，可在 262k（64 倍训练长度）检索单针而无需长上下文微调。
推荐理由：作者同时给出 RULER 准确率与 A100 实测吞吐显存表，读者可按复杂度和长度逐项对比各稀疏注意力方案。
vibrunazo 在 GitHub 发布 RotomArena，一个让大语言模型自组宝可梦队伍并在 Pokémon Showdown 上逐回合对战的竞技基准，网站 rotomarena.org 公开评分、每局回放和各模型推理记录。主基准 Rotom Champ Bench 采用 c5 规则集（50 级、6 选 3、每回合 8192 token 预算、隐藏思考上限 4096 token），评分用 Bradley-Terry 拟合 Elo 并给出 bootstrap 95% 置信区间，参与者包括经 OpenRouter 接入的模型、本地 llama.cpp 模型、决策模型、去掉了语言模型的 PokéChamp 规则实现和随机 AI；代码采用 MIT-0，数据采用 CC0 1.0。
推荐理由：原文写明了评分方法、隐藏思考 token 上限和幻觉判定规则，读者可以据此判断这个基准的公平性设计。
论文提出 one-relation attack（ORA），通过定位证据到结论之间的隐式论证关系，用一句有来源依据的话将其扭曲，使智能体转向错误信念。在 18 个模型的生物医学推理与漏洞检测任务上，best-of-10 攻击使专有模型初始正确答案平均翻转率 54.9%，开放权重模型 80.0%；攻击无需受害者反馈即可迁移，多智能体辩论在平衡压力测试中将团队错误率从 50.0% 提高到 59.5%。论文指出隐式论证关系构成操纵智能体信念的认知攻击面。
推荐理由：论文量化了单句攻击隐式论证关系如何误导智能体，并给出 18 个模型的翻转率和多智能体辩论的对照数据。
Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872，指出在目标模型、提示与回复固定时仅更换评分器，多个 8B/9B 评分器会把合规回复归入相邻的规避类，其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上，合规率相差 22 到 25 倍，去除三个坍缩评分器后差距降为 1.7 到 2.8 倍；作者提出报告最低标准，要求附上各分类标签计数与具名评分器，并同时报告非拒答率。
推荐理由：论文指出 LLM 评分器会把合规误判为规避导致类坍缩，并给出零成本检测方法与报告最低标准，可直接用于越狱评测设计。