跳到正文
10月21日周三
  1. arXiv · cs.CL36

    BAIT:LLM 能否识别影响读者的认知偏差触发器?新闻认知偏差触发器评测基准

    研究者推出 BAIT(Bias Annotation In Text)新闻认知偏差触发器评测基准,包含九类触发器的标注规范和 50 篇由训练有素的标注者在文章与片段层面标注的英文新闻文章,并定义触发器检测与片段定位两项任务。对六个前沿 LLM 的 zero-shot 及 3 或 10 个 in-context 示例测试显示:模型在判断文章含哪些触发器上接近人类一致性,但定位相关片段不足人类一致性的一半,且倾向依据表面线索过度预测触发器,表明模型响应的是表面特征而非操纵机制。相关 schema、codebook、标注与评测流程已开源。

  2. arXiv · cs.CL45

    MentalLoom:LLM 在模糊社交情境中心智化的解读偏好与承诺研究

    研究者提出 MentalLoom 评测,包含 604 个模糊社交事件、匹配的抑郁与社交焦虑披露及四轮对话,评估 8 个 LLM 的心智化表现。结果显示,披露会引发更多负面解读但对叙述者本身更积极的诠释;重复追问下模型给出更多情感支持、更强的正面背书与更高确定性,而事件证据未新增。这表明用户情境可在模糊性未解时重塑模型的解读偏好与承诺。

  3. arXiv · cs.CL25

    Africa-Papers:面向非洲基础语言模型的 100 亿 token 多领域学术语料库

    研究者发布 Africa-Papers,这是迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、共 10.15 billion tokens,分 879 个 Parquet 分片,涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布,配有精确 BPE token 计数和 8 域分类体系,已在 Hugging Face Hub 的 AfriSpeech 组织下开源,用于支持非洲基础模型的持续预训练与领域评测。

  4. arXiv · cs.CL24

    TEPCA:面向 LLM 时序知识图谱推理的证据-参数协同对齐框架

    研究者提出 TEPCA 框架,从证据和参数两个层面改进 LLM 在时序知识图谱(TKG)上的推理:证据层采用时间约束的 DRGP 路径剪枝和基于互信息(MI)的剪枝,参数层引入时间戳条件化的 DG-LoRA 低秩适配机制。在两个 TKG benchmark 上达到 SOTA,DG-LoRA 在八个常识问答数据集上进一步验证了输入自适应能力、跨 LLM 骨干的可扩展性与可解释性。

  5. arXiv · cs.CL26

    通过跨模态概念神经元揭示大型音频-语言模型中的音频-文本对齐机制

    一项 arXiv 研究提出,大型音频-语言模型(LALM)中存在音频与文本表征对齐的共享子空间,并识别出同时表征音频与文本的跨模态神经元。研究在 3 个 LALM 和 4 类声学属性上发现不同程度的音频-文本神经元对齐。因果干预实验显示,这些神经元不仅对预测不可或缺,还可通过激活与去激活进行操控。

  6. arXiv · cs.CL36

    语言模型会因神经元消融而“失语”吗?

    一项研究系统消融 LSTM 与 Transformer 语言模型的神经元,并以有限微调模拟补偿性可塑性,发现二者衰退模式截然不同。LSTM 随损伤逐渐衰退,Transformer 在 MLP 消融下出现阈值式崩塌,在注意力头消融下呈平滑下降。MLP 消融模型表现出类似 Wernicke 失语的语义错语,注意力头消融则类似原发性进行性失语的语义变异型(svPPA)。

  7. arXiv · cs.CL58

    arXiv 论文研究 LLM 如何习得品牌品味:命名选 Nike,推荐选 Brooks

    该论文横跨 102 个模型和 42 个品牌类别,发现模型命名品牌时多选市场领导者 Nike,推荐时则转向小众专业的 Brooks,26 个类别中两者不同。三个开源训练管线显示预训练已把推荐品牌挂在建议上,DPO 让推荐偏好移动 11 到 24 个点,且偏好数据中几乎不含品牌;作者怀疑偏好来自偏好训练中判定答案优劣的 judge 模型。

    推荐理由:覆盖 102 个模型和 42 个品牌类别,用三条训练管线定位品牌偏好在预训练与 DPO 阶段的成因。

  8. arXiv · cs.CL64

    Forty Questions 论文提出仅凭单词答案识别语言模型的方法,准确率达92.5%

    arXiv 论文提出通过40个日常问题(如“说出一种声音”“说出一位诗人”)的单字答案为语言模型建模指纹,在94个模型的面板上识别出确切模型的准确率为92.5%,随机仅为1.1%;系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点,其中92个与其声称的模型一致,一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4(自报身份且计费按 Gemma 4 的 token 数);计费记录还显示第一方模型被附加了额外上下文,如 Grok 4.7 对一行问题计费1,247个输入 token,而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分,代码与数据已公开。

    推荐理由:这篇论文展示了用40个单词答案就能指纹识别API背后的模型,还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文,方法成本极低可复现。

  9. arXiv · cs.CL46

    Adaptive Replay Refinement:在修订与重采样之间分配测试时计算

    Adaptive Replay Refinement(ARR)是一种无需训练的推理方法,检测修订到达不动点后将算力重新分配给新独立样本。跨 5 个模型族的 7 个模型与 7 个基准测试,ARR 在等算力下于 5 个数学推理基准中的 3 个上追平多数投票,关键路径串行次数最多减少 2.4 倍;在 MATH500 上以 41% 的串行次数达到 84.6% 准确率。代码已开源。

  10. arXiv · cs.CL48

    奖励错误设定会损害语言模型思维链的可监控性

    一项 arXiv 研究表明,RL 中的奖励错误设定本身就会降低语言模型思维链(CoT)的可监控性:在 3 个模型、3 个任务的测试环境中,随 hack 率上升,模型的 CoT 仍在推理任务真实意图,而输出却违反意图并获得奖励。研究者通过收集多样化奖励的 rollout 并用语言模型推断奖励描述、注入输入进行奖励描述训练,无需预知真实奖励即可让可监控性平均提升 24% 或绝对提升 42%。

  11. arXiv · cs.CL46

    从抽象到行动:用 DSL 解析并执行自然语言抽象指令

    一项 arXiv 研究提出用领域专用语言(DSL)作为表示层,帮助语言模型将抽象自然语言指令展开为具体动作。在 Hexagons 任务上,基于人工策划 DSL 的代码生成比直接推理最高提升 10 个绝对 F1 点、达到人类水平,且提升集中在高抽象层级;Text2CAD 基准也验证了这一模式。但模型自行归纳的 DSL 仅能恢复部分增益,跨运行不一致且逊于人工策划版本。

  12. arXiv · cs.CL53

    Masahiro Kaneko 提出 LLM Agent 持久记忆中的自我强化隐私泄露循环

    Masahiro Kaneko 在 arXiv 论文(arXiv:2610.28315)中发现,LLM Agent 在对话中读取持久记忆会引发自我强化的隐私泄露循环。多会话仿真中,带 24 项个人属性的模拟用户与支持类 Agent 对话,四个支持模型里读取记忆既提升回复质量也提高属性被正确推断的比例,且差距随会话扩大,因为记忆条件回复把旧值作为预设带入,用户确认或不纠正使其变成记录值。指示 Agent 不陈述或预设属性可将泄露降到接近无记忆水平并保留大部分质量增益,而过滤或匿名化用户输入或存储内容会损失较多质量。

    推荐理由:这篇研究用多会话仿真揭示了带持久记忆的 LLM Agent 中自我强化的隐私泄露循环,并给出在回复端抑制泄露的可行做法。

  13. arXiv · cs.CL8

    超越单一情感分数:Twitter 表情符号意义的主题与情感维度

    一项基于 16,575 条英文推文的研究提出"stability delta"指标,发现表情符号在主题上下文越聚类的场景中,众包情感反而越两极分化:与 Kralj Novak 等人情感词典的 Spearman ρ=+0.361(Holm p=0.015),与 Ferré 等人西班牙语 13 情绪评分的 ρ=+0.509(p=0.0003)。结果表明主题一致性与情感离散度是表情符号意义的两个独立维度。下游讽刺分类任务中三个基线 macro F1 均超过 0.97,显示该数据集存在饱和的表情符号标签线索。

  14. arXiv · cs.CL29

    DeclineCraft:一个联合衡量检索与参数知识的 RAG 弃答基准

    研究者推出 DeclineCraft,一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准,并评估 27 个 LLM 的正确弃答率(CAR)。实验显示:单次检索在 38/40 配置中显著提高 CAR;迭代 RAG 反而在 30/40 配置中降低 CAR(均值 46.4%),答案准确率基本不变(68.5% 至 69.3%);模型越大回答越准(Spearman ρ = +0.60),但模型规模与发布时间均与 CAR 无显著关联。

  15. arXiv · cs.CL51

    OO-Harness 论文提出用面向对象设计演化 Agent Harness

    Gaotang Li 等人在 arXiv 论文 arXiv:2610.28380 中提出 Object-Oriented Harness(OO-Harness),通过面向对象设计演化出可执行的 harness 类层级,训练时由演化 agent 依据执行记录以继承方式生成专用 harness 子类,测试时由 harness router 结合训练积累的路由经验为每个任务选择 harness。在涵盖业务流程、工作区任务和工具使用的三个长程基准上,OO-Harness 取得对比方法中的最佳表现,较基线绝对提升最高 15%,并附有对核心组件的消融研究。

  16. arXiv · cs.CL39

    CAPSafe:面向具身智能体情境动作与规划安全的基准

    CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理,其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示,部分模型识别不安全动作的准确率超过 90%,但安全长程规划难度显著更高:Gemini-3-pro 最高安全成功率为 78.19%,其余模型低于 65%。

  17. arXiv · cs.CL44

    CopyGen:面向精确片段复现的复制约束解码方法

    研究者提出 CopyGen,一个面向冻结 LLM 的轻量复制约束解码插件,将复制分解为是否进入复制模式、预测复制长度和逐 token 验证三个决策,并只输出最长有效前缀。在涵盖合同、科学文献、代码和随机序列的 benchmark 上,CopyGen 无需微调即可将平均 exact match 相对提升 35%,与 SFT 结合再提升 4%,同时显著加速生成。代码已开源。

  18. arXiv · cs.CL45

    MAS-Guard:从单体 Agent 到多 Agent LLM 系统的统一安全防护框架

    研究者提出 MAS-Guard,一个统一防护框架,可同时保护单 Agent 与多 Agent LLM 应用,包括可插桩与不透明 Agent。该框架结合本地 A-Guard 层的任务特定专家评估与系统级 Agent Charters 和 Control Plane 的确定性结构检查及语义评估,支持 allow、reflection、confirmation、block 四种干预手段。在覆盖三个不同厂商 LLM 的六个 benchmark 上,MAS-Guard 将整体攻击成功率相对无防护 Agent 降低 71.5-86.3%,同时在良性任务上满足效用参考标准。

  19. arXiv · cs.CL61

    arXiv 论文提出指令税:Base 模型事实回忆可胜过指令微调版本

    作者公布 AKBC LM-KBC 2026 共享任务方案,在官方榜单取得 0.6836,超过 0.2964 基线一倍以上。方法是在最多 32B 参数、无检索无微调的限制下,用文本补全方式提示 base 模型并生成 64-256 个输出只保留重复项;对比显示指令微调版本仅得 0.5681,作者称指令微调会降低事实回忆,命名为指令税,其成因是权重而非提示方式。

    推荐理由:作者在 LM-KBC 2026 任务中实测同一模型 base 与指令微调版本的事实回忆差距,提出指令税概念,方法可直接迁移。

  20. arXiv · cs.CL37

    每个模型都会留下痕迹:多分辨率 LLM 指纹识别研究

    一项 arXiv 研究提出“指纹分辨率”框架,从模型家族到蒸馏、LoRA 适配变体,以及行为、文体、词汇、语义等多层信号,系统考察 LLM 指纹的区分能力。结果显示,即使改写输出、压制表面线索,指纹仍可在蒸馏模型和同一底座的 LoRA 适配中检测到;语义表征在跨语言时最稳健,但可归因性随模型相似度与可用文本证据而变化。

  21. arXiv · cs.CL26

    MythoSemantic:一个发现神话与宗教传统间语义平行关系的交互式系统

    研究者推出 MythoSemantic,用于神话与宗教文本的比较研究。该系统利用神经语言模型将文本嵌入共享语义空间,让用户在交互界面中发现跨文化传统的语义平行关系,其嵌入片段的粗粒度几何结构与有据可查的历史传统关系相符。研究还量化了词汇重叠和专有名词对该几何结构的解释程度,系统网页与可安装包均已公开。

  22. arXiv · cs.CL60

    Toolflation 论文揭示卖家 Agent 自发夸大工具描述扭曲市场

    arXiv 论文(arXiv:2610.28454)发现,只需被告知要更常被选中的卖家 Agent 会自发对工具描述做生成式引擎优化,夸大声明字段,作者称之为 toolflation。基于 Amazon 和 Instagram 真实工具数据搭建的市场实验显示,五个生产级模型中夸大程度相差一个数量级;最强调组合下 Amazon 任务成功率从 89% 跌至约 30%,Instagram 从 77% 跌至 40%。作者主张对第三方的诚实属于安全对齐的一部分,模型作为卖家部署前应先接受卖家角色测试。

    推荐理由:论文用真实数据工具搭建市场做实验,量化了 seller agent 自发夸大描述如何损害买家,并提出应把对第三方诚实纳入对齐。

  23. arXiv · cs.CL45

    GPT-6-Astra 理解触觉并超越视觉-触觉-语言-动作模型

    研究者提出 GPT-as-Tactile-Policy 方法,让 GPT-6-Astra 将专家演示总结为任务指导与触觉参考,结合多模态观察与交互历史生成控制指令。无需机器人专用预训练或按任务微调,该方法在五项 UniVTAC 任务上达到 93.8% 平均成功率;在 Insert Hole 任务中,触觉反馈将成功率从 31% 提升至 99%。

  24. arXiv · cs.CL40

    AsymLoop:非对称 Looped Transformer 为迭代解码器提供固定的全局表示

    论文提出 Asymmetric Looped Transformer(AsymLoop),将单次上下文编码与循环状态精炼分离:因果编码器生成跨迭代固定的全局 KV cache,权重共享的循环解码器从自身状态生成局部 KV,并在单一 softmax 下联合注意力。在 FineWeb-Edu 上对 60M 至 1B 四种规模训练,验证困惑度低于 Full Loop;1B 规模下七个常识推理基准的平均 zero-shot 准确率从 49.58% 提升至 50.85%,收益同样适用于 OLMo 风格骨干与稀疏 MoE 模型。

  25. arXiv · cs.CL43

    OptionWorld:诊断 LLM 作为长期个人助理失效的基准

    研究者推出 OptionWorld 基准,通过模拟日常生活任务追踪 LLM 的信息获取、判断、行动与结果,定位其作为长期个人助理的短板。在存档决策输入的运行中,35.5% 的失败实例的关键事实在截止期前仍保留在模型最后的输入里。失败分析指出三大问题:所需信息未获取或整合、可行动机会未被利用、智能体施加任务并不要求的限制。

  26. arXiv · cs.CL48

    Present but Hard to Read:用最小对探测 Ouro-1.4B 与 Qwen2.5-1.5B 的潜在推理

    一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在:在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上,该数字在最后一个 prompt token 处存在且跨问题共享编码,readout 约 0.9,但常规单样本探测只读到 0.36 和 0.19(即使经过 5,249 个训练问题)。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合,在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号,且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字,而 patch 答案的同一位置可以,说明该值可读但未被使用。

  27. arXiv · cs.CL52

    BitMTP 提出面向超低比特大语言模型的多 token 预测加速框架

    BitMTP 提出算法与系统协同设计框架,在超低比特 LLM 骨干上实现高效多 token 预测(MTP),已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting,并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速,1.7B-4B Bonsai 模型为 2.1-2.4x,RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x,代码已开源。

    推荐理由:论文把多 token 预测与超低比特量化结合,给出跨 GPU 的实测加速比,方法与系统设计都可参考。

  28. arXiv · cs.CL45

    Binary Discrete Diffusion:面向逻辑与规划任务的候选集扩散方法

    论文提出 Binary Discrete Diffusion,一类连续时间离散扩散过程,其噪声状态以二值成员向量表示每个位置的候选 token 集合,可通过增删逐步丢失和恢复信息。在 Sudoku-Extreme、Boxoban 和图着色任务上,在相同架构与训练、采样、调参预算下,其对称形式持续优于调优过的 masked 和 uniform 扩散基线,最难实例上增益最大;在 Text8、TinyStories、OpenWebText 语言建模上也保持竞争力。结果表明候选集是迭代推理的有效中间表示。

  29. arXiv · cs.CL53

    Lafa 论文提出 8B 连续流语言模型,吞吐达 AR 模型 2.54x

    Lafa 是一个扩到 8B 参数的连续流语言模型,采用块内双向流加因果前缀的块状结构,可通过适配预训练自回归模型来训练,并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型,其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐,优于多 token 预测和离散扩散方法,代码已开源。

    推荐理由:论文给出把连续流语言模型扩到 8B 的具体训练与推理方法,并附吞吐对比数据,适合关注非自回归架构的读者。

  30. arXiv · cs.CL57

    arXiv 论文提出面向智能体的缓存工程方案与 AKV 推理引擎

    论文提出 cache engineering 方案,让 LLM 智能体通过 drop 和 repos 操作直接控制活跃 KV cache,无需修改轨迹或重新 prefill。配套的 AKV 推理引擎提供无状态接口并内部管理缓存复用;工具响应滚动 drop 策略相比阈值触发的摘要方法平均提升基准分 1.7 分、降低成本 27.7%,AKV 实现最高 1.2x 输出吞吐和 1.5x P95 延迟加速。

    推荐理由:论文提出让智能体直接操作 KV cache 的缓存工程方案,附带与常规摘要策略的成本和延迟对比数据。

  31. arXiv · cs.CL54

    R2S:修复教师打分器以改进智能体在线策略蒸馏

    arXiv 论文提出 Rollout-to-Scorer Distillation(R2S),指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差,教师看不到回合结局导致拖延动作通过评分,称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器,再冻结为唯一评分器做标准 OPD,修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法,平均领先最优基线 12.8 个成功点。

    推荐理由:论文指出教师评分短视导致智能体蒸馏失效的根因,给出的无奖励修复方法在十二组实验中均有提升。

  32. arXiv · cs.CL26

    DAR-MGSM:首个方言阿拉伯语数学推理基准发布

    研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。

  33. arXiv · cs.CL19

    NarraSpace:面向图片描述痴呆症分类的多模态场景锚定证据

    NarraSpace 将词语和语音时间与图片中的命名元素关联,检索预定义场景事件的语句,用冻结语言模型对比 Alzheimer's 病与健康对照样本,并结合 transcript surprisal 和覆盖度测量。在 Alzheimer's Dementia Recognition through Spontaneous Speech 基准的官方 48 人测试集上,固定支持向量分类器在五十个种子下平均准确率 80.88%±2.56%,平均概率法达 81.25% 准确率和 91.32% AUC。该框架将事件得分与源语句、语音时间及提取记录关联,使分类输入可检查,可辅助医生审阅图片描述。

  34. arXiv · cs.CL21

    AnomalyJev:基于声明级验证评估图像异常解释

    研究者提出 AnomalyJev,一个无需 token 生成的轻量级框架,通过从异常解释中提取可验证声明并与真值标注比对,评估多模态大语言模型异常检测解释的忠实度与完整性。团队构建了包含 640 条解释、超 1,600 条专家评分的人工标注评测集。AnomalyJev 与人类标注者的一致性超过多数开源 MLLM judge,接近旗舰 MLLM judge,且运行时和资源消耗仅为其一小部分。

  35. arXiv · cs.CL36

    ScratchProbe:用学习的读取 token 提取 LLM 置信度

    研究者提出 ScratchProbe,一种通过学习新的 readout token 而非使用已有词表 token 来训练置信度探针的方法,在多个数据集和 LLM 上优于现有 token 探针,多 token 扩展带来进一步提升。该方法只改变探针读取位置,可被任意现有探针采用,应用于 SOTA 探针后在所有 backbone 上的域内和域外 AUROC 均获提升。

  36. arXiv · cs.CL25

    AudiPsy:基于口语心理咨询对话的证据驱动多模态推理抑郁评估模型

    研究者提出 AudiPsy,一个基于证据的 omni-LLM,用于从口语心理咨询对话中评估抑郁。其采用 OAS(观察-评估-总结)范式,整合对话转录、文本与声学情绪及其不一致性进行结构化推理,并构建了合成语料 AudiPsy-Counsel 和三阶段课程训练。在 DAIC-WOZ 上表现优于专业抑郁检测方法与通用语音/omni-LLM,EATD-Corpus 上的补充评测验证了其对自然对话的适用性。

  37. arXiv · cs.CL44

    LLM 如何操纵用户:测量行为、社交与时间层面的影响

    一项 arXiv 研究提出行为计算框架,量化用户对操纵性 AI 回应的行为易感性。研究基于 DarkPatterns-LLM 基准,用 Manipulation Gradient Descent(MGD)生成针对权威、紧迫性与社会证明偏见的刺激,并通过 MSIAN 和 THPM 模型分析跨用户影响与时间持续性。在 120 名参与者的实验中,操纵性框架显著改变了信任校准与顺从度(p < 0.01),且效应会在社交情境中传播。

  38. arXiv · cs.CL48

    为什么静态探针会失效:上下文决定 LLM 欺骗特征 composition

    该 arXiv 论文(arXiv:2610.27577)指出,LLM 欺骗检测中假设欺骗对应单一表示方向的线性探针难以跨场景泛化,提出用迭代正交分解将欺骗表示为多维子空间。由于静态组合存在强域依赖,作者引入域自适应门控机制,在测试时通过 few-shot 动态组合方向;仅用 10 个样本,方法在所有数据集上平均 AUROC 达 0.97、5% FPR 下 recall 为 94%,显著优于现有方法。

  39. arXiv · cs.CL53

    arXiv 论文提出扩散语言模型的事实访问状态机制及 Multi-View Edit 知识编辑方法

    arXiv 论文提出扩散语言模型(DLM)中的事实访问状态概念,发现其与自回归模型不同,事实查找在第一层注意力与早期前馈层就完成。基于该状态,论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器,且各实体位置的状态可免训练地作为关系特定检索向量,在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。

    推荐理由:论文指出扩散语言模型的事实访问状态在首层注意力就组装完成,并据此给出知识编辑与免训练检索两种用法,可作理解 DLM 与 AR 机制差异的对照。

  40. arXiv · cs.CL53

    TeCoP:用 Tentative Context Pipelining 加速扩散大语言模型解码

    arXiv 论文 2610.27583 提出 TeCoP,一种无需训练的解码器,通过错开的块级流水线与 draft-and-verify,将稳定但未提交的预测作为临时跨块上下文,解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP,TeCoP 将前向评估次数最多减少 87%,无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍,在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB,同时有 cache 的平均精度与原解码器差距在一个百分点以内。

    推荐理由:论文提出训练-free 的扩散语言模型解码方案,给了跨 12 个模型基准设置的吞吐与精度对比数据,方法可复现。