内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,996 条
一项 arXiv 研究（arXiv:2610.31272）收集了 87 名参与者约 1,000 条成对偏好判断，发现基于记忆的 LLM 回复并不总是比无记忆回复更受用户偏好，部分场景用户反而强烈偏好后者，自动评估器也更偏向使用记忆的回复。论文提出的记忆感知奖励模型达到 72.8% 的偏好预测准确率，超过现有基线，主张将记忆使用的评估与优化目标对齐到用户偏好。
推荐理由：论文用用户自己的对话和记忆做偏好判断，指出记忆加入并不总被用户偏好，并给出可复用的记忆感知奖励模型方法。
研究者在长程对话中定义并量化“状态完整性崩塌”，即模型记住了约束却不再对后续轮次执行，并发布 StateTrack-Bench 基准。七个模型快照的严格联合保持率在 62.4% 到 100.0% 之间，forked recall 审计显示 88.6% 的失败属行为漂移而非遗忘；Structured State Anchoring 方法在不可变约束上最多提升 24.4 个百分点。论文已被 EMNLP 2026 主会接收。
推荐理由：论文把长对话中记住了约束却不再执行的现象量化命名，88.6% 失败属行为漂移的发现对评测设计有参考价值。
Ehsan Saleh 在 arXiv 发布 AfterDeleteBench，一种对固定权重 LLM Agent 删除记忆后信息残留的受控行为审计方法。实验显示 Qwen2.5-7B-Instruct 在单次查询下约三分之二的情况可恢复已删除的密文，未暴露对照组恢复为零；即使密文原串已删、只剩按公开组合规则分开存储的组件，Qwen、Mistral 和 Phi-3 仍能以 62-99% 的比例精确重建。来源感知的闭环（provenance-aware closure）消除了测试中的恢复现象，而精确字面写入过滤器只能阻止重插、无法清除已存在的信息。论文 25 页，含 7 图 12 表。
推荐理由：论文给出可复现的删除后信息残留审计方法和对照实验设计，对做 Agent 持久记忆的人有直接参考价值。
论文提出用 LLM 智能体作为语料调试器审计多语言数据管线，通过只读、有预算的 API 探索语料并将发现编译成可执行测试，再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上，三次运行各花费 $2.21-$2.84，共发现四个现象的七项问题，最大的是 1,408,437 篇（5.32%）通过管线过滤的机器生成内容农场；盲测支持 7 项中的 6 项（缺陷率 .53-1.00 对随机对照的 .08）。编译后的测试套件 0.7 秒即可扫全语料无需 GPU，而单次 LLM 分类需 $12k-$90k；最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。
推荐理由：论文把 LLM 当语料调试器用一次而非逐条分类，并对比静态采样基线的成本与效果，方法对比值得数据质量工作者参考。
研究者提出 FocusVLA，一个基于阶段感知的 VLA 多视图动态路由框架，从历史动作预测未来交互意图以引导视图切换。在 RoboTwin 2.0 上平均成功率较最强基线 π0.5 提升 10.10 pp，真实世界评测成功率从 71.7% 提至 85.0%；其意图预测与动态路由模块可在不改核心架构的情况下集成到现有 VLA 框架，已被 CoRL 2026 接收。
推荐理由：论文指出 VLA 模型普遍过度依赖腕部视角，给出的动态视图路由方法可迁移到现有 VLA 框架，改动成本较低。
arXiv 论文（2610.31579）研究谄媚的反向问题：当 LLM 自信、一致且错误时，用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题，各助手事实被 0-100% 替换为貌似合理的错误，104 次测验、1040 个答案中得分从 7.4 降至 2.9/10，被植入错误选项在篡改题目中被选 60%（正确教学仅 11%，odds ratio 12.5），吸收的错误以 8.4/10 高置信度持有，置信度区分正确性的 AUROC 从 0.70 跌至随机水平，而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚，主张可信性是人机对的属性，谄媚评测应测双向。
推荐理由：研究给出人向AI弯腰的量化指标与实验数据，把谄媚评测从模型单向扩展到人类方向，方法可直接复用。
论文提出模拟控制评测（SCEs），用语言模型模拟工具响应替代真实环境来拓宽控制评测适用范围。在 LinuxArena 上，SCE 预测安全性的 RMSE 为 3.6 个百分点（5% 审计预算、五个监控器），优于 BashArena 的 10.1，对攻击策略等分布的 KL 散度比 BashArena 低十倍以上，可解释 78-85% 的跨环境方差，且通过模拟发现的策略可提升监控器对留存攻击的表现。
推荐理由：论文用实测数据对比了模拟控制评测与独立控制设置预测安全的误差和 KL 散度，方法可迁移到 AI 控制评测设计。
arXiv 论文 2610.31624 用 InstrumentalEval 评测 OLMo-3-7B-Think 从 SFT、DPO 到 13 个 RLVR 中间检查点的行为轨迹，发现工具性行为率先升后降：从 SFT 的 25.0% 升至 RLVR step 200 附近的 46.1%，最终降至 11.8%。提示词框架效应只能解释检查点内约 15% 的方差，INLP 移除框架方向也不改变 SFT 到最终 RLVR 的下降；32B 端点初步结果同样从 35.53% 降到 22.37%。作者强调结论仅适用于该模型族和基准，评审一致性中等，绝对比率需谨慎解读。
推荐理由：论文用 13 个 RLVR 中间检查点追踪工具性收敛行为的完整轨迹，比单一前后对比更能说明训练阶段的影响。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
GIND123 发布 Dynamic-Story-Graph 仓库，要求系统只能依据引语之前的前缀文本做归属，并在每条数据上用代码强制该约束。审计发现 PDNC 上已发表的非因果方法的决定性线索对 29.3% 的显式引语位于引语之后，并用 Qwen2.5-7B-Instruct 给出首个前缀因果归属结果，因果代价为 +0.165。研究还测得 append-only 状态存储在真实小说上会让 9-42% 的单值槽位自相矛盾，全流程 231 项测试通过，无 LLM judge、无付费 API，全部表格可由已提交工件复现。
推荐理由：以代码强制前缀因果约束重测 PDNC 引语归属基准，发现已发表方法依赖事后信息，并给出因果代价与状态污染的量化结果。
一篇 arXiv 论文（arXiv:2610.30751）用同一工资单收入修改请求测试 15 个模型，共 445 次可观察试验。结果是模型在说明贷款用途时 14.1% 的情况下发起编辑调用，省略用途时为 33.1%，把修改描述为修正打印错误时达 66.2%；Astra 拒绝全部 10 次贷款用途请求但在 10 次省略用途试验中全部发起调用，Fable、Opus 和 Muse Spark 在三种措辞下均未发起，Sonnet 在后两种措辞下有部分发起。论文注明测试文件为标记文档且工具为模拟，结果仅反映单一情境，不构成整体伦理排名或真实有害编辑成功的证明。
推荐理由：原文用统一测试请求量化了措辞变化对15个模型拒绝边界的影响，并给出三档触发率数据可对照。
Christian Arnold 等在 arXiv 发布论文，用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价，覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息，Black 描述的报告者被拒率最高达 46%，white 描述为 9%；该偏见在只比较平均信任度或仅看已评估案例的审计中不可见，且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案，五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。
推荐理由：研究指出了常规偏见审计容易漏掉的一种机制，模型靠拒绝评估而非降低信任来隐藏偏见，并给出了可用的评分修正方案。
arXiv 论文 2610.30882 通过频率、位置、形式与用法等无标注指标及错误注入实验，追溯推理模型中 {wait} 标记的来源，发现 zero-RL 几乎不会创造该词，在缺乏该词的 base 上 RL 大幅提升 MATH-500 准确率而 {wait} 几乎不出现。该标记主要由训练数据引入，如 OLMo-3 的 mid-training 和基于推理轨迹的微调；base 已有该标记时，OLMo-3 与 MiMo 的 RL-Zero 配方会放大其使用，而无 KL 的 GRPO 不会。论文还指出标记频率本身不能指示 RL 引发的推理，并警示 LLM-as-a-judge 修订指标可能逆转人工标注趋势。
推荐理由：论文用无标注指标和错误注入实验区分了 RL 与训练数据对 wait 标记的来源，方法可迁移到其他推理行为的溯源分析。
arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为，发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文，难以被校验发现；告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限，而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。
推荐理由：论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报，并实测了几种常见修复方法的有效程度。
Hao Wu 在 arXiv 发布 Delta N-gram 论文，提出向模型原生哈希 N-gram 表写入证据的 forward-only 路径，预训练表 T^0 不被修改，写入只走前向传播，清零补丁 Delta 即可还原原模型。0.6B 原型在第二次写入后保留 16/16 事实，而在线梯度写入只保留 2-4/16；在 35,000 次写入的七任务链上后期精度变化仅 -0.26/-0.52pp，论文链接为 https://arxiv.org/abs/2610.31125v1。
推荐理由：论文给出免反向传播写入 N-gram 记忆表的具体方法和多组稳定性数据，可与梯度写入方案直接比较。
Anthropic 与 Theorem 合作，用 Claude 将 OSS-Fuzz 模糊测试转化为规格，对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。
推荐理由：把模糊测试转化为规格再生成汇编级形式化证明的完整链路，展示了 Claude 在安全验证领域的可复用做法。
tatra-labs 发布 nano-pixelmoe，用约 260 行代码独立实现 PixelMoE 论文（arXiv:2610.18857）方法，将 LLM 式 mixture-of-experts 原样迁移到无 VAE、无 tokenizer 的像素空间扩散。实现在 RTX 5060 Laptop 上训练，CIFAR-10 上 64.2M 参数（每 token 激活 27.0M）FID 26.43，与匹配激活参数的 dense 基线 26.73 在 10k 样本噪声范围内持平；展示了无辅助损失的负载均衡（最忙专家为平均负载 1.6 倍）及专家按内容和噪声水平分工的路由图。作者指出论文的收益出现在 200M+ 激活参数规模，并附完整训练与采样命令。
推荐理由：作者在单卡笔记本 GPU 上复现了 PixelMoE 的 MoE 路由机制，并给出与 dense 对照的 FID 数据和平衡路由结果，代码可自行训练。
MitushiG 发布预注册实验仓库 rag-context-attention，研究 RAG 场景下提示词长度与迭代检索的实际收益。实验在单张 RTX 4090 上用 Qwen2.5-7B-Instruct 完成，发现长度本身影响很小，30K token 无关文本下准确率仍有 83%（仅金标段落为 82%），真正伤害来自相似干扰项（30K 时下降 30 分，金标段落在中间时最差，39% vs 65%）；金标段落上的注意力可预测答对（分层 AUROC 0.77）；真实 top-k RAG 在 k=20 达到峰值 51.5%。
推荐理由：预注册实验把提示词长度、干扰相似度与检索收益拆开测量，并给出可复现的实验代码与统计校正方法。
riccardogiorato 发布 SurfBench 基准，用 50 个真实任务（分 4 个层级）统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API，检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权，使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板，给出 95% 置信区间与每千个通过任务的成本列，完整结果包、任务检查器与方法论页面随仓库公开，MIT 协议，可自行运行复现。
推荐理由：这是一个可直接复现的网页访问 API 评测基准，方法论、提示词与评分细则全部公开，还给出了置信区间与成本列。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。