内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
534 条精选近 30 天 472 条共收录 4,032 条
Yuval Reif 在 arXiv 发布论文（arXiv:2610.05597，COLM 2026），提出组合式 tokenization 方法 CoBPE，将短语表示为词元基础 token 加一组可复用表面修饰符，在嵌入空间组合并在输出端联合预测。在 780M 和 1.3B 规模的从零对照预训练中，CoBPE 在相同训练算力下将序列缩短 30%，下游平均性能较标准 BPE 提升 1.2 分。
推荐理由：论文给出 780M 与 1.3B 两个规模的对照预训练数据，读者可以据此评估组合式 tokenization 在等算力下的实际收益。
arXiv 论文 2610.05685 提出 BreadthKV，研究长链式推理（CoT）解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由：论文用 60 题端到端校准决定位宽分配，并给出 AIME 上 91% 对 40% 的触顶率对比，方法与数据都可复现。
arXiv 论文 2610.05774 提出 AdaSpark，一种在服务过程中在线学习验证宽度与候选接受概率的 DSpark 树验证调度器，无需预先 profile、校准或扫描。
推荐理由：论文给出在线学习调度器在多个数据集和目标模型上的加速对比，无需预先 profile 或校准即可接近最优树宽。
Chen Henry Wu 在 arXiv:2610.05872 提出名为 grafting 的持续学习方法：在更早的 donor checkpoint（理想情况下在预训练结束前）上学习新数据更新，再对 post-trained 模型施加缩放后的权重更新，并可对新数据分布偏离较大时屏蔽最敏感的更新方向。在专家轨迹蒸馏、STaR 与 Pedagogical RL 自我改进、预训练截止后知识注入三种设置下，grafting 在新任务和旧任务性能上 Pareto 优于 SFT 与 OPSD，且避免昂贵的在策略采样，挑战了在策略训练是 RL 训练模型持续学习必要条件的观点。
推荐理由：论文给出 grafting 配方在专家轨迹蒸馏、STaR 自我改进和知识注入三种场景的对比数据，可帮助读者选择持续学习方法。
harshita-chopra 团队发布 Persona Policies（PPol），一个 Python 框架，用于为 LLM Agent 基准演化真实、多样的用户模拟器人格。
推荐理由：作者团队开源了配套论文的 PPol 框架，用进化搜索生成拟人用户人格来补足 LLM 智能体评测中模拟器过于配合的问题。
作者开源 AgentDojo-PROV，对 AgentDojo 基准（agentdojo==0.1.35，v1.2.2 四个套件）做无损捕获，并从转录记录纯函数式派生 W3C PROV-O 溯源图。
推荐理由：作者开源了覆盖六个模型的 AgentDojo 执行溯源语料与工具链，标注与图结构可离线重算而无需重跑模型，便于复用。
beita6969 在 GitHub 开源 ScienceClaw，一个基于 OpenClaw 网关的科研 Agent 系统，模型参数始终不更新，靠重放验证的可执行修复转化为版本化的 Skill 与 Operator 程序更新。在覆盖 23 个学科的 ScienceClaw-Eval 上，7 轮进化后 OOD 平均提升 16.45%，OOD 宏观成功率从 77.83 升至 91.30，98.23% 实例通过科学硬约束；消融显示分离提交 Skill 与 Operator 只保留 60% 增益。评测数据在 Hugging Face（beita6969/scienceclaw-64-samples），仓库采用 MIT 许可。
推荐理由：原文给出了完整的评测数字和消融对比，读者可以据此评估这种不改模型参数的程序级自进化框架究竟带来多少收益。
作者让本地运行的 Qwen2.5-3B-Instruct（Q8_0 GGUF，经 llama.cpp）回答 MMLU 三个学科的 416 道选择题，用 split conformal prediction 把输出概率转成带数学保证的答案集合：每个集合以至少 90% 概率包含正确选项。
推荐理由：作者用 split conformal prediction 给小模型输出加了 90% 覆盖保证，并给出 LAC 与 APS 的实测对比数据，方法可复现。
/u/KangarooAnxious9394 在 r/LocalLLaMA 发布预注册实验结果，用 Haiku 作廉价 agent、Sonnet 作强模型，在真实仓库提交上测试 20 多种让便宜编程模型接近贵模型的方法，每个协议先提交到 git 再运行。
推荐理由：作者用预注册实验对比了 20 多种让便宜模型接近贵模型的方法，给出了哪些有效哪些无效的量化结果和成本数据，方法可迁移。
一篇提出 Context Language Models 的论文主张让模型像编辑文件一样随时修改自身上下文，作者称可改善长任务、编码与深度研究表现，并减少上下文膨胀、提升推理的算力与耗时效率。
推荐理由：帖子梳理了让模型像文件一样编辑上下文的方法在任务表现、显存和推理效率上的利弊，并指出缓存优化目前仅 SGLang 支持。
arXiv 论文（arXiv:2610.04719）将 AI 助手澄清模糊用户意图重新定义为信息价值问题：助手应获取缺失后造成最大可避免用户效用损失的信息，并在有限交互下预测其优先级。作者在图像生成场景中构建了基于多轮模拟用户的强化学习框架。在一项含 76 名人类参与者、456 个交互会话的预注册研究中，该方法帮助用户以更少的问题、更短的交互时间和更低的成本显著更好地匹配参考图像。
推荐理由：论文把澄清模糊意图建模为信息价值问题，用强化学习训练助手提出更有信息量的问题，并给出456场人类会话的预注册实验数据。
研究者发布 RAGStress 基准，用于系统测试 RAG 系统在知识库损坏下的鲁棒性，覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度，基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示，干净检索会掩盖鲁棒性差异，语义保真型损坏危害远大于信号效用型扰动，无检索准确率不能预测损坏检索下的鲁棒性，混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码，定位是受控压力测试而非通用排行榜。
推荐理由：论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别，还澄清了无检索准确率与抗扰性的错位。
论文提出 PaSS，一种推理时人格控制范式，将人格建模为模型潜空间中的多维子空间，通过迭代概念擦除和 INLP 线性分离人格相关方向，无需重训练即可放大或抑制内容中已存在的人格特质。
推荐理由：论文把人格建模为多维子空间而非单一方向，并在 MATH-500 等任务上给出与单方向方法的调制效果对比。
RETRACE 论文提出从纠缠的 PR 修复历史中重建问题级可复用修复经验的框架，用端点视角与开发视角结合 CI 执行证据恢复问题与变更的对应关系。在含 101 个仓库 565 个 PR 的 CI-REPAIR-BENCH 上，RETRACE 将 mini-SWE-agent Pass@1 从 19.6% 提升到 31.9%（MiniMax-M2.5）、从 23.3% 提升到 32.8%（DeepSeek-V4-Flash），匹配子集上 Codex 从 15.5% 提升到 27.5%。论文链接 https://arxiv.org/abs/2610.04658v1。
推荐理由：论文给出双视角重建问题级修复经验的方法和多个模型上的提升数字，适合关注 CI 修复与经验复用的读者参考。
论文提出 SEIS（Self-Evolving Inference Systems），用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X，并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang；正确性通过数值差异及数学、长上下文检索任务的下游准确率验证，会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1
推荐理由：论文用智能体自我进化端到端优化整个推理引擎，并在实测中与 vLLM 等主流引擎做了吞吐对比，方法可迁移到系统优化场景。
arXiv 论文提出 Grounding Probe，用观察者语言模型中间层平均池化隐状态的逻辑回归检测 RAG 回答是否基于上下文，观察者只读不生成，与生成器解耦。
推荐理由：论文提出用观察者模型隐状态检测 RAG 幻觉，与生成器解耦，并给出跨六个生成器的 AUROC 数据。
arXiv 论文 arXiv:2610.04589 通过大规模红队测试发现，智能体记忆可被用作跨会话隐蔽隐写信道。研究覆盖 14000 次攻击试验、91 种模型-攻击配置、13 个模型和 7 种隐写方案，20.1% 的试验实现精确恢复，其中 71.4% 同时通过任务完成评分并被监督模型判定为安全，相当于全部试验的 14.4% 在任务级评估下看似普通良性交互。
推荐理由：论文用 14000 次攻击试验定位出智能体记忆的隐蔽信道瓶颈在写入而非读取，并据此提出记忆完整性应成为安全要求。
一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线，将自由文本放射报告无人工监督地转为结构化报告，含 150 个分层模板，经三步受限解码选择模板并在单张 GPU 上本地运行。
推荐理由：论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档，并给出模板选择与内容保真的量化结果。
arXiv 论文（arXiv:2610.04512）发现答案正确性在语言模型隐状态中编码为可恢复的几何方向。
推荐理由：论文给出无需参数更新的几何方向打分法，在 MMLU、TruthfulQA 等基准上对比 log-probability 的提升幅度都有具体数字可查。
研究者提出参数级可解释性框架 DV-Lens，将注意力 Q/K/V/O 投影和 FFN 的原生参数方向映射到下游词表空间，得到带符号的词表读出。方法在九个模型的 720 个案例中达到 98.0% 的坐标方向一致率，DV-Complexity 联合参数分数与 48 个模型的基准能力排名 Spearman 相关达 0.904，并通过参数消融、引导和交换等干预实验验证解释有效。
推荐理由：论文用干预实验验证参数级解释方法，并给出与模型能力排名的关联数据，方法细节可复现。