内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
arXiv 论文提出 Memory Consolidation 框架，将上下文带来的增益内化为参数记忆，同时保持非目标能力，并统一了上下文编辑、技能学习与行为引导三类任务。配套提出 Cortex 方法，通过生成前瞻性查询预测上下文用途，并将上下文条件输出蒸馏为可合并的低秩或结构化前馈网络更新。在 4B 至 120B 的稠密与 MoE 骨干（含纯文本与多模态模型）上，Cortex 在多数评测设置中处于巩固-保留 Pareto 前沿；对 14B 模型做 50 次连续事实编辑后，Cortex-Structural 恢复 88.9% 的上下文增益，同时保留 99.8% 的原始非目标性能。
推荐理由：论文给出了跨 4B 到 120B 多种骨干的实测数据，包括 50 次连续编辑后 88.9% 增益恢复与 99.8% 非目标保留率。
arXiv 论文（arXiv:2610.20417）对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测，发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94，旗舰模型也未消除差距。主要失败不是幻觉：抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口，仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛，但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断，结论是置信度分层只能用于排定复核优先级，不能当真值。
推荐理由：论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成，发现主要问题不是幻觉而是背景提及，并给出置信度分层的部署边界。
arXiv 论文（arXiv:2610.20456）提出 COUNT（Counting Offline Unlocks N-gram Transformers），通过在主机内存存储预计算的 n-gram 计数构建 n-gram 嵌入，不增加可学习参数。在固定算力预算下，将 COUNT 作为额外输入嵌入用于预训练 1B 参数语言模型，验证损失的改善相当于多花 57% 算力；GPU 内存受限时，让骨干参数占满 GPU 的效果优于与可学习 n-gram 嵌入分摊内存。推理时还可换用领域语料的 n-gram 计数表，无需训练即可适配新任务。
推荐理由：论文给出把 n-gram 计数存到主机内存的免训练适配方案，并量化了固定算力下的验证损失收益。
论文提出 AdaRSI，一种具身智能体的按需递归自我改进（RSI）框架，解决 VLA 在未见长程任务中途中失败的问题。编码 agent 先改进技能与 harness，再通过从保存状态重试失败子步骤来归因持续失败，仅对仍不可靠的子步骤用自采演示和先前任务经验做微调。在 RoboCasa365 全部 50 个目标任务上，以 GR00T N1.5 为执行器且无人类演示，AdaRSI 在三个套件上均提升 VLA，将未见复合任务成功率从 4.6% 提至 13.8%；相比微调每个子步骤，成功率略高而仅用 28% 的 GPU 时间和 22% 的自采演示。论文链接 https://arxiv.org/abs/2610.20474v1
推荐理由：论文给出按需微调与全量微调的对照数据，GPU 时间和自采演示用量都大幅降低，方法细节可直接参考。
Qiushi Sun 等人在 arXiv 发布论文，提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准，同一 rubric 既筛选监督语料又驱动强化学习；据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集，两个模型在开源中大幅领先并接近闭源系统，代码与数据已开放。
推荐理由：论文把渲染正确性拆成可核查的评分标准，同一套 rubric 既筛数据又当强化学习奖励，方法可迁移到其他多模态任务。
arXiv 论文《Scaling Discovery Requires Forgetting》提出，LLM 智能体自动科研的三种扩展策略（单智能体长迭代、并行、并行通信）都会因历史累积而停滞，智能体被自身过往尝试锚定，编辑越来越少且越来越小。论文的方法是周期性丢弃搜索状态（包括各智能体会话与候选历史），从当前最优候选重启搜索。在启发式编程、kernel 优化和模型训练四类任务上，相比并行智能体最高提升 15%，相比单智能体最高提升 39%。论文链接：https://arxiv.org/abs/2610.20563v1
推荐理由：论文指出 LLM 智能体自动科研随历史累积而停滞，提出定期丢弃搜索状态重启，在四类任务上给出量化对比。
Bruno Menezes 在 arXiv 发布 Manacá-1B-Instruct-2，对从零训练的 1.72B 参数巴西葡萄牙语模型 Manacá-1B 做第二代后训练对齐，SFT 语料含 291,223 条样本。论文记录三次 DPO 尝试均为负结果，包括训练 reward margin 达 1.0 但自由生成毫无变化的情况；安全性来自经三轮迭代的安全 SFT，安全 SFT 中通用数据占比从 10% 到 60% 的受控扫描显示过度拒绝曲线非单调，拐点在 40-50%。最终模型与四个外部 PT-BR 模型对比，采用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验，其安全区间下界 94.1% 高于全部四个基线的上界。
推荐理由：论文完整记录了三次失败的 DPO 和安全 SFT 数据配比扫描，还披露了 LLM 评审静默拒打分的方法学问题，可复现细节齐全。
Yingfa Chen 在 arXiv 发布 Latent Compaction 方法，通过测试时训练学习文档级紧凑 KV cache，模型权重全程冻结，训练只用关于文档的通用提示词、不接触下游问题与答案。在 RULER 上 32 倍压缩达到 96.7% 准确率，对比 KVZip+ 的 40.0%；在 RULER、LongBench 和 Phonebook Lookup 上均超过预算匹配的压缩基线，并在 Qwen3 与 MiniCPM5 两个模型上取得检索提升。代码已开源。
推荐理由：论文给出在 RULER 上 32 倍压缩下 96.7% 对 40.0% 的对照数据，可据此评估 KV cache 压缩方法的实际保留能力。
arXiv 论文提出基于道德基础理论（MFT）的多智能体越狱框架，将被拒的有害请求改写为符合某种道德基础的表述并辅以先例强化。在三个越狱数据集、五个开源与闭源模型上测试，单次尝试即有较高成功率，重复尝试后进一步提升；分析还发现现有安全基准所违反的道德基础分布不均，集中在模型已有偏见的维度上。
推荐理由：论文用道德重写框架在五个模型上实测越狱成功率，并指出安全基准在道德维度上的分布偏差。
arXiv 论文（arXiv:2610.19614）提出将 LLM Agent 轨迹视为动作与环境观测共享嵌入空间中的路径，同一任务的成功与失败 rollout 在该空间中可分离，简单判别器在三个 Agent 基准和三个策略模型上预测 held-out rollout 结果最高达 0.95 AUROC。作者进一步推出基于 transformer 的 Precog-RM，通过元学习使结果预测可在 few-shot 设定下泛化到未见任务和模型，并在轨迹终止前给出置信预测。部署为 GRPO 在 Tau2-Bench 上的早停控制器时，最多削减 47.3% 训练 FLOPs 且性能与基线 GRPO 相当。
推荐理由：论文给出跨三个基准和三个策略模型的 AUROC 数据，并量化了 GRPO 训练最多省 47.3% FLOPs 的收益。
论文提出 Selective Rank-Preserving SFT（SRP-SFT），用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系，并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中，三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT；种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%，四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。
推荐理由：论文给出 SRP-SFT 的可行域刻画与多种子实验数据，读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。
Xin Li 在 arXiv 发布 SYNC（Symbol-Indexed Neural Communication），一种免微调、免学习翻译器的词索引接口，让异构语言模型通过共享词表索引交换事实。发送方仅凭描述从共享词表选词并发送索引，接收方用自己的词方向向量将事实写入隐藏状态；在 3 个发送方与来自 5 个模型族的 9 个接收方上，新场景四问成功率 72.0-98.3%，最高比中层写入高 96 个百分点，两个最大接收方与纯文本持平；任务无关探针提前预测可用写入深度 45/45 命中，新布局下逐条事实消息保持 89.6-100% 成功率。项目页、代码与数据已公开。
推荐理由：论文给出跨架构模型间免训练通信的具体接口设计和多组收发模型组合的实测数据，方法可复现且代码数据已开放。
arXiv 论文 2610.19789 在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 四个环境、三种模型规模上，将十种代表性自蒸馏方法与 GRPO 直接对比，共 132 次训练、累计 12,124.4 H800 GPU 小时，并对预训练骨干和全部十一个训练后方法在八个 rollout 种子上重复评测。结果显示没有方法能在所有设置下稳定超越 GRPO，最终性能好可能掩盖训练不稳定，额外训练成本也不必然带来更好表现。
推荐理由：论文用 132 次训练、1.2 万余 GPU 小时直接对比十种自蒸馏方法与 GRPO，指出最终分数可能掩盖训练不稳定。
UC San Diego 等机构在 arXiv 发布 JetSpec++，通过块内自修正、块间前瞻草拟和草拟与验证流水线重叠，将草拟的边际耗时降到接近零。相比自回归解码最高加速 7.45 倍，相比 DSpark 最高 1.54 倍，在 GB200 上单请求达每秒 1,361 token，七个基准平均接受长度 8.94，且保持目标模型输出分布。代码与模型已开放。
推荐理由：论文给出 JetSpec++ 的三个组件和与 DSpark、自回归解码的加速对比数据，读者可据此评估该推测解码方案的适用性。
arXiv 论文提出 AGORA 框架，独立变化团队构成与相互依赖结构（协作、从众、竞争）来研究自演化多智能体系统（MAS）的演化。在网页搜索、代码库理解与文档问答任务上发现：仅演化很少带来提升，合适的脚手架最多比单独演化的强智能体高出 25 分；其机制是把权威移交给最有能力的成员、其余成员退居辅助，且该成员在团队中成长后优于同一模型单独使用。
推荐理由：论文用 AGORA 框架把团队构成与依赖结构拆成独立变量，给出社会脚手架影响多智能体自演化的实验数据。
arXiv 论文 2610.19801 提出 Delta Tokenizer，一个只对会话请求增量部分做分词的 CPU 前端，并支持长请求的多核分段并行编码，输出与参考分词器完全一致。增量路径比 Hugging Face 参考分词器快约 40x，16 核下分段并行比串行快 8.2x、比 LoPT 快 1.6-2.1x；接入 SGLang 后 100K tokens 时中位 TTFT 降低 59%，Agent 会话 P99 TTFT 在负载下降低 9.5x、长请求占满前端时降低 23x。增量路径与快速编码器已在 toktier 仓库开源，分段并行路径、CPU 池调度器和 SGLang 适配器将在同一仓库发布。
推荐理由：论文给出了与 Hugging Face 参考实现和 LoPT 的具体加速对比，以及 SGLang 内的 TTFT 实测数据，可评估该方案的实际收益。
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench，一套评测大语言模型台湾领域知识的开放套件，含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据，含 148 科目共 255,854 道四选一题，剔除 2,180 道依赖图片的题目后用 253,674 题计分；后者含 1,696 道关于台湾日常与当代生活的精选题，以冻结的七模型池校准至及格边缘（46.9-74.6%，中位约 54%），leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型，22 个超过该区间上限，最好成绩 91.6%。
推荐理由：论文用同一批题目量化了评测装置本身对分数的影响，答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。
Yilin Jiang 在 arXiv 发布论文（arXiv:2610.19659），提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中，480 条回复有 54% 不可用，最好的模型失败率仍达 30%，失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43，用第二个模型改写回复可降到 0.36，并经人类标注者盲测确认。
推荐理由：论文提出可量化的回复可用性指标，并给出追加一条消息或调用改写模型两种降低失败率的做法。
arXiv 论文 2610.19731 研究目标误泛化中目标在智能体内部丢失的机制，在 3 个 Procgen 环境和 5 个机器人任务上识别出三种策略-目标失准形式：功能目标替换、动作捷径和线索竞争。通过追踪目标信息在内部的位置、对策略的影响强度和作用，发现目标丢失发生在不同深度；目标到达决策层时引导可将目标达成率从 16.0% 提到 95.3%，只到策略层时需改接下游线路，从 31.6% 提到 84.3%，完全失效时两者均无效。
推荐理由：论文把目标误泛化拆成三种不同深度的策略失准，并给出每种情形对应哪种修复手段有效的实测数据。
arXiv 论文提出 LAGO，将专用语言智能体作为可复用的时序扩展选项，由 meta-agent 检索或生成选项、分发子任务并验证结果，选项库跨任务增长且不更新模型权重。在 500 个 SWE-bench Verified 任务上，冻结的 Qwen3.5-35B-A3B 单次尝试解决率为 58.6%；在固定 150 任务子集上与 mini-SWE-agent、Terminus 2 同条件对比，解决率分别为 49.3%、57.3% 和 60.3%。50 任务消融显示去掉分解少解决 4 个、打乱复用内容少 2 个、去掉选项库少 6 个。
推荐理由：论文给出了同条件下的组件消融与横向对比数据，读者可以据此评估可复用 agent 选项库在长任务中的实际贡献。