跳到正文
只看一手
今天10月27日周二199 条
  1. arXiv · cs.CL46

    DynEdit：面向大语言模型的动态熵引导序列知识编辑

    研究者提出 DynEdit，一种面向大语言模型长序列知识编辑的动态框架。该方法发现高熵 token 更难编辑且多含关键事实，据此利用 token 级熵引导非均匀滑动窗口，并对窗口内信息密集 token 做熵引导优化。在三个 benchmark 和两个 backbone 模型上，DynEdit 一致优于基线，复述查询最高提升 +14.0 BLEU，多项知识领域语义分数接近饱和，论文被 NeurIPS 2026 主会接收为 poster。

  2. arXiv · cs.CL30

    Natural Jammers：当非鲁棒特征变成对抗性干扰

    一项 NeurIPS 2026 Spotlight 研究发现，深度神经网络依赖的非鲁棒特征可成为 Natural Jammers，在未修改的干净图像上主动误导标准模型。研究用标准模型与鲁棒模型的分歧定位出 Jammed Set，并提出 Spectral-spatial Locking 机制：只有高频分量与特定空间结构精确对齐才会触发干扰，谱滤波或微小几何位移可恢复正确预测。同时发现的 Substitution Paradox 显示，单点干扰虽对几何位移脆弱，但干扰总体发生率在变换下近似稳定，只是被重新分布而非消除。

  3. arXiv · cs.CL39

    BehaviorMem：从真实电商行为流构建与评估用户记忆

    BehaviorMem 是一种面向电商行为日志的持续用户记忆方法，配套基准 BehaviorMemBench 覆盖 1,194 名用户、17,462 个行为批次、跨度超过三年。该基准用自动未来行为标签和任务无关的记忆接口，把“记住”与“推断”两种能力分开评估。实验显示 BehaviorMem 在两项能力上均领先被评估的 agentic 记忆方法，且不同方法在两项能力上排名存在差异，统计基线也具竞争力。

  4. arXiv · cs.CL47

    文本是瓶颈：小规模复现 LLM 立直麻将对局研究

    该研究以极小预算复现了 LLM 立直麻将对局实验：仅用至多 2B 参数模型、一块 16 GB 消费级 GPU、约 5 GPU-天。结果发现文本是瓶颈——2.6M 参数卷积牌桌编码器在 10 万决策训练集上与 AI Mortal 达成 80.6% 一致率，高于表现最好的文本提示 LLM 的 77.8%；扩至 171 万决策后，4.9M 参数 Transformer 达 94.7% 一致率，并在相同种子下胜过 0.8B LLM。研究还指出少量一致率差异并不转化为对局实力，并按 Tenhou 条款仅发布代码与评估协议、不发布训练权重。

  5. arXiv · cs.CL52

    arXiv 论文：位置比渠道更影响语言模型被说服改错答案

    arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案，并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道，带错误理由的断言放在问题之前可把错误率从 1% 提到 67%，权威署名和肯定语气各提升 10-27 个百分点，而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。

    推荐理由：论文把提示位置、信息来源和模型已有输出三个因素拆开比较，给出了可复现的错误率变化数字。

  6. arXiv · cs.CL32

    面向 LLM 智能体时代可扩展文本数据分析的语义原子方法

    研究者提出 TADA-Agent，用查询驱动的两个语义原子 Tagging 与 Categorization，将 LLM 语义处理与 SQL/Python 精确计算结合，处理文本列分析负载。在包含 40 个完整分析请求的 TABench 上，相比语义算子基线，TADA-Agent 行级语义质量相当、完整产物保留估计更高，且语义模型请求数少一个数量级以上。

  7. arXiv · cs.CL40

    PAPO：面向多奖励策略优化的优先级保持优势聚合方法

    研究者提出 PAPO（Primary Advantage Policy Optimization），解决 LLM 后训练中多目标 RL 加性奖励聚合导致的“优势优先级反转”问题。该方法非对称融合主优势与辅助优势，目标一致时保留辅助监督、冲突时平滑衰减，保持主目标符号一致，可应用于 GRPO 的序列级优势和 actor-critic PPO 的 token 级优势。多领域多模型实验显示，PAPO 在主目标上取得最优表现，辅助目标也保持最优或具竞争力，代码已开源。

  8. arXiv · cs.CL36

    RubriX：快速、可微调的非自回归 Rubric 评测模型

    RubriX 是一种受对比语言模型启发的非自回归 rubric 评测模型，通过 LoRA 适配的编码器与余弦相似度 softmax 直接给出每个等级的概率，无需文本生成。在 held-out rubrics 上达到 75.4% 精确准确率，超过 TypeSafe 的 Jev（57.1%）和 Qwen3-8B judge（49.8%）。等级嵌入缓存后，每级 3,000 tokens 时延迟约 28 ms，比 Jev 快 7.7 倍、比 Qwen3-8B judge 快 18.8 倍。

  9. arXiv · cs.CL56

    FATE-5 论文提出大五人格连续控制的两阶段框架

    Gunhee Cho 等发布 arXiv 论文 FATE-5（arXiv:2610.34889），提出两阶段框架将大五人格编码与对话自然度对齐分离，先用对话监督和辅助问卷目标学习连续软提示表征，再基于对话质量与人格一致性做偏好对齐。在三个语言模型骨干上，held-out 问卷的单调性相关达 0.97-0.99、恢复 RMSE 为 8.9-12.4，自然度显著高于其他 trait-strong 方法。

    推荐理由：论文用两阶段框架分离人格编码与自然度对齐，给出了单调性相关和 RMSE 等量化指标，对做大五人格可控对话的读者有参考价值。

  10. arXiv · cs.CL62

    Outcome RL 带来了什么：对 20 个 RL 模型的完成度、可靠性与覆盖面拆解

    一项 arXiv 论文将 Outcome RL 提升 pass@1 的来源拆解为完成度、可靠性和覆盖面三部分，在固定 token 预算下比较 1.5B 到 32B 共 20 个 RL 模型与其基座思考模型。结果显示基座常耗尽预算时 82% 的变化来自完成度，预算充足时增益主要来自可靠性；RL 极少解出基座解不出的问题，覆盖面最多带来 2.1 个百分点，抽查 144 道仅 RL 解出的物理题中仅 3.5% 经复核成立。

    推荐理由：论文把 RL 带来的 pass@1 提升拆成完成度、可靠性和覆盖面三部分，量化了 Outcome RL 很少解出新题这一结论。

  11. arXiv · cs.CL52

    RoAR：用 rollout 一致性改进 GRPO 的推理训练

    论文提出 RoAR（Rollout-Agreement Reward），在 GRPO 对已验证正确 rollout 的奖励中加入推理层面的一致性信号，无需人工理由、额外采样或单独训练的过程评估器。126 对盲测配对分析显示低一致性正确轨迹的伪推理比例为 35%，高于高一致性的 22%。1.5B GRPO-RoAR 模型用 7K 训练样例在五个数学推理基准上零样本平均 pass@1 达 55.5%，比 GRPO 和 GRPO-CARE 分别高 6.0 和 5.5 个百分点，盲审中伪推理率为 18%，低于 GRPO 的 32%、GRPO-CARE 的 27% 和 DRA-GRPO 的 37%，代码已公开。

    推荐理由：论文用盲测配对数据说明正确答案中低一致性轨迹更常出现伪推理，并据此提出无需额外采样的 RoAR 奖励方法。

  12. arXiv · cs.CL44

    全双工语音模型长会话退化的诊断与缓解方法

    一项 arXiv 研究系统刻画了全双工语音对话模型在长会话中的性能退化，发现多款公开模型的响应性、语音内容质量和音色一致性随时间下降。研究者提出基于自蒸馏的 LoRA 轻量适配训练框架，并引入双分辨率上下文（TRC）架构，将旧交互历史压缩为 KV 表示。在三个不同架构模型上，LoRA 适配缓解了十分钟会话内的性能退化，加入 TRC 后效果可超出训练会话长度，且 KV-cache 增长减少超过 90%。

  13. arXiv · cs.CL23

    RoR 框架如何用互补专家与 LLM 裁判做交通异常推理：2026 AI City Challenge Track 3 夺冠方案

    Reason-or-Recite（RoR）框架在 2026 AI City Challenge 交通异常推理赛道获得第一名，in-domain 排行榜平均分 0.6788。该框架将官方 chain-of-thought 标注重写为结构化、时间对齐的模式并 LoRA 微调 9B 视觉语言模型，另用 4-bit 量化 27B 模型学习标注风格，再由免训练 LLM judge 为每个问题在两个候选答案中选择。

  14. arXiv · cs.CL43

    链式推理 TTS 中人设与台词冲突的诊断：从规划到合成的失败分析

    一项发表于 arXiv 的研究提出日英双语人设—台词冲突基准，诊断链式推理 TTS 中人设意图在何处丢失。结果显示规划器输出方向通常正确，但下游一致性明显更低；监督 QwenEmotion 将方向正确率提升至日语 75%、英语 84%，学习式文本到潜在接口分别达到 89% 与 88%。这表明修复规划到合成接口可恢复与文本情感相悖的语音表达，但效果因语言和声学维度而异。

  15. arXiv · cs.CL25

    合成儿童-成人对话缺乏发展合理性：TinyDialogues 与自然对话的对比分析

    一项 arXiv 研究比较了合成数据集 TinyDialogues 与自然儿童-成人对话，发现合成数据虽在词汇层面接近自然数据，却严重低估了口语交互的碎片化特征。研究提出用基于真实对话构建的数据做指令微调，初步实验显示小模型在适度的参数高效微调后能逼近自然数据的统计特征。

  16. arXiv · cs.CL29

    SimPOTrans：通过强化学习让离线语音翻译模型自适应同声传译

    SimPOTrans 是一个强化学习框架，通过两阶段 RL 后训练让离线语音翻译模型自适应对话式同声传译（SimulST），无需合成 read/write 轨迹或显式延迟优化。推理时无需外部决策策略，仅调整语音输入的 chunk size 即可灵活控制质量-延迟权衡。在 ACL 60/60 和 MCIF 基准的 En→De、En→Zh、En→Ja 三个语言方向上超越多个强基线。

  17. arXiv · cs.CL37

    CrashDB-QA：基于 schema 的智能体工作流，用自然语言分析交通事故数据

    研究者提出 CrashDB-QA，一个完全本地部署、以 schema 为基础的智能体工作流，支持对交通事故数据库的自然语言分析，包含只读 SQL 生成、验证与结果解释，另有检查问题-查询-结果一致性的 CrashDB-QA+ 扩展。在 440 万条 Wisconsin 事故记录和 300 个问题、九个开源权重模型的基准上，领域 grounding 显著提升查询准确率，一个 7B 代码专用模型取得最佳准确率-延迟平衡。

  18. arXiv · cs.CL41

    RLEC：用强化学习正确实现大语言模型的显式置信度目标

    一篇 arXiv 论文提出 RLEC（Reinforcement Learning with Explicit Confidence Targets），首次成功训练单个 LLM 响应提示词中指定的置信度目标 p，在被回答问题上达到不低于 p 的准确率。该方法解决了奖励信号在优化中丢失、误差惩罚随 p 趋近 1 无界增长两大问题，采用稳定奖励族与奖励调度。实验覆盖多基准与多模型规模，RLEC 基本保留通用能力，校准性能具竞争力，且训练后无需外部决策系统或阈值校准即可支持细粒度目标控制。

  19. arXiv · cs.CL54

    arXiv 论文：用自主进化优化推理程序提升 VLM 科学图表分析准确率

    论文提出在冻结的 VLM 外部搜索推理程序，借鉴 AlphaEvolve 的自主进化思路，由 LLM judge 依据训练题失败案例迭代改进代码。在 3 个 VLM 和 4 个科学图表基准上，描述性问题的精确匹配准确率平均从 16.6% 提升到 41.3%，单次最大提升 55.2 个百分点，进化后的程序还比基线快 3.8 倍。

    推荐理由：论文说明相当一部分 VLM 图表问答错误来自推理管线而非模型本身，不改权重、只进化推理程序即可大幅提分。

  20. arXiv · cs.CL41

    先问再答：面向上下文学习的问答驱动证据推理架构 QERA

    论文提出 QERA，一种先提问再作答的证据推理架构，用于用户网络痕迹的真实生活上下文学习。在 CL-bench Life 全部 405 个任务上，QERA 配合四个前沿 LLM 平均解题率达 21.0%，高于最强推理时基线的 18.2% 和直接作答的 14.6%，且 token 用量仅为 Ctx2Skill 的 4-5%。该架构无需训练，每任务约四次 LLM 调用，将请求转为需求清单并经代码验证引用后受控局部修复。

  21. arXiv · cs.CL17

    RAG 如何改进隐含厌女内容的检测与解释研究

    一项 arXiv 研究提出用 RAG 框架检测和解释英语、意大利语中的隐含厌女言论，结合百科、俚语和女性主义知识源，在 ImplicIT-Mis 和 SBIC+ 数据集上评估。RAG 提升了 ImplicIT-Mis 的 recall，但在 SBIC+ 上未改善检测性能；人工评估显示 RAG 生成的解释在两种语言中均更受偏好，女性主义文献是最稳定有效的知识源。

  22. arXiv · cs.CL28

    有用多样性还是幻觉多样性？面向电商搜索的角色条件合成查询生成研究

    一项被 IJCNLP-AACL 2026（Findings）接收的研究探索冷启动电商搜索的合成数据：6 个 LLM 用 9 类 persona 条件提示词在 47 字段英国汽车 schema 上生成 118,098 条合成对，对比 1,214 条人工标注与 15,304 条生产查询。IPIP 人格组合在全部四组对照中提升解析器 F1（Holm 校正 p<.001）；语法条件化最能把生成拉向真实流量，且对齐 sKL 与解析器 F1 相关（ρ=-0.917）。LLM 委员会判定所有解析器漏掉的 927 条查询中 37% 为幻觉，含语法条件的 4 类提示词幻觉占比最高达 38-42%，仅 IPIP 最低为 28%。

  23. arXiv · cs.CL31

    以 Kripke 式挑战重思 LLM 评估：基于“意义即使用”的原则性泛化

    一篇 arXiv 论文借助 Kripke 对 Wittgenstein 的解读，指出大语言模型所采用的“意义即使用”观面临规则遵循挑战：有限的使用历史无法唯一确定未来扩展的规则。作者据此论证仅测量固定用例或局部鲁棒性的 benchmark 不足以确立语义能力，并提出通过抽象与递归两种能力的实验范式来评估模型在原则性领域扩展下能否保持规则与概念。

  24. arXiv · cs.CL26

    质量胜过数量：重新审视孟加拉语共指消解的数据与模型假设

    一项发表于 KONVENS 2026 的研究评估了多语言 transformer 预训练编码器在孟加拉语共指消解中的表现，涵盖 zero-shot、微调、数据增强和跨语言迁移等多种设置。结果显示，少量高质量标注数据显著优于更大的混合质量数据集（p < 0.01），而回译等数据增强不能提升性能甚至导致效果下降；英语向孟加拉语的迁移会降低性能，印地语迁移也没有一致收益。部分广泛使用的多语言模型出现嵌入空间坍缩，不适合基于相似度的聚类任务。

  26. arXiv · cs.AI22

    GADAR：通过动作排序实现经典规划的跨域泛化

    GADAR（Generalizing Across Domains via Action Ranking）是一种无需搜索的策略，以域描述为输入，可在训练中未见过的经典规划域上构造落地动作。在八个基准域的 leave-one-domain-out 评测中，单个 GADAR 策略在七个训练域上解决 58.3% 的测试实例，仅比专用单域模型的 59.3% 低一个百分点；零样本时它在全部八个域上平均解决 22.6%，远高于随机选择的 3.3%，并在未见过的 Visitall 上达到 68%。

  27. arXiv · cs.AI33

    DocTalk：用微调大语言模型与链式推理增强医疗知识检索的临床决策支持

    研究者推出 DocTalk，一个基于脱敏出院小结生成图表依据式回答的医生辅助问答系统，并通过句子级分解、链式推理引导和专家审核构建了 500 组临床 QA 数据对。六个开源 LLM 经 LoRA 指令微调后在 DocTalk-QA 上全面提升，最优的 Llama-3-Med42-8B 达到 ROUGE-L = 0.40、BERTScore-F1 = 0.76、UMLS-F1 = 0.49。系统已部署为安全的网页平台用于交互式 EHR 查询，Llama-3.1-8B-Instruct 在 PubMedQA 上准确率从 0.931 提升至 0.977。

  28. arXiv · cs.AI31

    评估 Agentic RAG 中的保形事实性：自适应检索与选择性作答

    一项研究检验了保形事实性在 agentic RAG 中的表现，其中语言模型策略会自适应地发起后续检索查询或在生成回答前终止检索。研究在 GPT-6 Luna 和 Llama 3.1 8B 上评估 HotpotQA、Natural Questions 和 TriviaQA 六种配置，每配置 60 个固定问题、100 个种子分区、五个保形目标水平。95% 目标下，非空回答覆盖率介于 17.23% 到 60.17%，完整支持率介于 89.14% 到 95.56%，更高的目标水平伴随更高的完整支持率但更低的回答可用性。

  29. arXiv · cs.AI19

    CoDeRNet：异构监督下的选择性跨任务路由，用于变化检测与描述

    研究者提出统一框架 CoDeRNet，将变化检测与描述（CDC）重构为异构任务分支间的选择性信息路由问题，并引入 Confidence-Decomposed Routing（CoDeR）机制，把路由条件分解为接收方需求和发送方可靠性线索。在 LEVIR-MCI 和 WHU-CDC 上，CoDeRNet 取得较强的整体 CDC 性能，尤其提升描述生成同时保持有竞争力的变化定位。分析表明收益来自显式建模选择性跨任务信息路由，而非单纯联合学习。

  30. arXiv · cs.AI33

    ClinVerse：一个用于训练和评估医疗智能体的真实多智能体诊断环境

    研究者推出 ClinVerse，一个基于真实数据的交互式多智能体环境，用于训练和评估医疗诊断智能体。其底层 ClinPatient 数据集包含来自真实电子健康病历的 150k 诊断案例，支持医生智能体等六种临床角色的协作交互，并通过规则化打分框架量化信息获取、检查开单与诊断准确性，作为训练奖励信号。实验显示，三类共九种自我进化方法均能持续提升智能体的诊断能力。

  31. arXiv · cs.AI59

    ThinkBit 提出面向推理保持的标量 2-bit 量化框架，Qwen3-1.7B 上 MATH-500 达 73.0

    ThinkBit 是一个严格标量的 2-bit 量化框架，用整数码字乘 bfloat16 组共享尺度表示权重，按敏感性给每层分配三值/2-bit/3-bit 位宽，经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上，再校准检查点 MATH-500 得 46.7，高于同数据训练的 EfficientQAT 的 30.0；QAT 后达 73.0；0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8，bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1

    推荐理由：论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化，给出与 EfficientQAT 的 MATH-500 对比数据可参考。

  32. arXiv · cs.AI35

    NumTrace：审计金融分析师 Agent 数字溯源的新基准

    研究者提出 NumTrace 基准，审计金融分析师 Agent 生成的每个数字声明的来源与财务语义，目前包含 540 道题、覆盖 2,163 份 SEC EDGAR 文件。该基准对每条声明给出 value、binding 和 support 三项判定，可检出“数字对但归属错”（RNWA）错误。在审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个 Agent 时，RNWA 错误占各自失败声明的 67.5-81.8%；在 13F 共同申报组问题上约 91% 的声明通过 value 检查，但通过 binding 检查的不到一半。

  33. arXiv · cs.AI43

    Qualcomm 提出 AIPC：基于证据引导的 Agent 工作流实现 PyTorch 项目部署

    Qualcomm 团队提出 AIPC（AI Porting & Conversion），一种结合结构化 Skills 与工具链、运行时和 profiling 证据的 Agent 方法，用于在端侧 NPU 上部署 PyTorch 推理项目，覆盖模型适配、构建、执行、精度修复与性能优化全流程。在 Qualcomm QAIRT 的 NPU 路径评测中，Whisper-Small 优化案例 6/7 Skill-arm 达到精度与延迟标准（对照组 0/6），YOLO-Worldv2 端到端加速 2.791x（对照组 1.599x），部分运行实现零人工干预（0-HITL）。团队还考察了 Qwen3.8-27B 作为本地部署的 Agent 驱动模型。

  34. arXiv · cs.AI20

    LE-GDA：免训练少样本 CLIP 适配的层集成高斯判别分析

    研究者提出 LE-GDA，一种免训练的少样本 CLIP 适配方法，对单次冻结编码器提取的中间与最终表征分别拟合正则化共享协方差判别式，按查询标准化类别分数后与零样本分类器组合，无需梯度优化。在 11 个数据集、四种 CLIP backbone、五种 shot 数设置下，该方法在所有 backbone 上均取得最高平均准确率，将 16-shot 平均准确率从 78.01% 提升至 79.54%；单样本场景下仍比基线平均高 1.20 个百分点。代码与评测资源已公开。

  35. arXiv · cs.AI30

    Waypoint：面向 CPU 的 GEMM 解析建模方法

    研究者提出 Waypoint，一种解析模型，可为给定硬件和输入矩阵形状自动寻找 GEMM 的最优 tile 尺寸，建模涵盖内存层级、指令级并行和多线程等架构因素。基于 Waypoint 构建的新 CPU GEMM 库 OPAM 性能媲美 state-of-the-art GEMM 库，可将 CPU 上的 LLM 推理加速 $1.36-1.98\times$，还能帮助硬件设计者评估实验性硬件优化的真实性能。

  36. arXiv · cs.AI46

    PhysEvolve：基于验证器的可执行世界自进化物理推理框架

    arXiv 预印本提出 PhysEvolve，一种基于验证器的自进化框架，通过模型自提议的可执行世界程序和物理引擎模拟的反事实分支，训练 VLM 进行因果物理推理。从 Qwen3-VL-8B-Instruct 出发，无需人工干预数据，PhysBench Throwing 提升 8.8 分，ContPhy Counterfactual Removal 和 Goal-Pit 分别提升 7.4 和 24.4 分，并对布料、流体、软体等未见动力学和真实视频实现零样本迁移。

  37. arXiv · cs.AI49

    编码智能体 harness 如何自我演化？一项关于回顾式适应的实证研究

    一项实证研究考察编码智能体 harness 能否通过经验自我演化：让 Claude Code 运行 \retro 技能，在 30 个 SWE-bench Verified 问题上回顾会话并提出 125 项修改建议，实施其中 24 项，并在新会话中评估 12 项 harness 改动。在目标问题实际出现的 7 次评估中，2 项改动消除了目标行为，1 项减少其发生，4 项无效，部分改动还在无关问题上增加了工作量。研究指出 harness 自我演化还需要验证改动是否有效、并修订或移除无效改动的机制。

  38. arXiv · cs.AI28

    SEAC：基于经验条件的事实核查"停止还是澄清"决策方法

    arXiv 论文提出 SEAC（Sequential Experience-Adaptive Clarification），在固定事实核查模型外包裹一个轻量证据获取策略，根据先前执行轨迹的观测性澄清效用估计与停止风险，决定继续取证还是直接出标签。在 SciFact、LIAR 和 FEVER 上，SEAC 的平均准确率和 macro-F1 超过所对比的事实核查与主动检索基线；等预算与公式级诊断支持选择性澄清是增益来源，但 SciFact 数据集较小，其配对提升尚无定论。

  39. arXiv · cs.AI46

    高效 AI 编程的推理模式实证研究

    一项实证研究将大推理模型（LRM）的推理轨迹转化为结构化动作序列，在四类编程任务中挖掘出四种通用推理模式：代码生成的设计到实现、执行推理的状态追踪、调试的证据—修复—复检、翻译的语义映射。基于正负模式的三种应用（任务识别、模式引导提示、模式感知早停）可在未见过的模型上泛化，其中早停能大幅减少 API 报告的 token 用量，pass@1 仅轻微下降。

  40. arXiv · cs.AI38

    关系组合即平行输运：per-entity 坐标系对称性如何约束 Attention

    arXiv 论文提出把每个实体的坐标系自由度视为对称性，证明正交输运下 attention 不变得分只依赖范数与输运内积 ⟨xᵢ, Tᵢⱼxⱼ⟩，标准 attention 是共享坐标系的平坦截面。在最小忠实表示宽度下，17/17 随机种子通过长度 1000 的测试，而两倍宽度仅 7/18；模型可仅凭权重给出正确性证书。在 CLUTRR 上输运组合在 4-10 跳比匹配 transformer 高 41 分，StepGame 的交换代数任务上等距变换则有益。