跳到正文
10月16日周五
  1. arXiv · cs.AI45

    LongForge:用证据-断言推理图度量并改进长上下文指令数据

    LongForge 将长上下文指令数据质量形式化为文档、问题与答案之间的对齐结构,包含分析器与合成器两部分。分析器把样本逆向重建为证据-断言推理图,计算广度、深度、正确性、完整性四个维度,对七个主流数据集的测量发现广度几乎不随文档长度增长、深度普遍偏低。合成器将其嵌入生成过程,LongForge-1 与 LongForge-2 两个混合数据在两个骨干模型上于六个长上下文 benchmark 中平均超出最强基线 2.2-4.7 分。

  2. arXiv · cs.CL32

    用自然语言解释国际象棋与围棋:BinProp 方法让语言模型棋评更可懂

    研究者提出基于国际象棋引擎评估的自动指标来衡量语言模型的象棋解释质量,发现现有 SOTA 模型表现很差,多依赖棋盘表面观察而非可迁移的象棋概念。他们进而提出免训练方法 BinProp,让模型发现可复用的象棋概念并用自然语言解释走法,平均得分较直接提示提升近 3 倍。该方法无需额外调参即可在围棋、西洋跳棋和将棋中发现有用概念。

  3. arXiv · cs.AI40

    算法模型化:将优化算法转化为可进化的智能

    一项 arXiv 研究提出「算法模型化」新范式,把迭代算法的执行轨迹当作计算经验,转化为可训练的模型。研究者将迭代优化建模为自回归过程,构建与维度无关的种群-时间架构,并通过先模仿异构教师、再经优化反馈超越的学习框架训练优化器。所得模型可整合异构搜索知识,并泛化到更大规模未见维度,使算法能力可通过学习不断积累。

  4. arXiv · cs.CL40

    Cross-Centaur:用语言模型建模跨心理学任务的个体决策

    研究者提出 Cross-Centaur 模型,利用跨任务个体级数据预测人类决策,并发布 Cross-Psych-101 数据集,涵盖 591 名参与者、12 个任务中的 261,551 个有效决策。该模型在留出参与者上的表现超过现成 LLM 和 Centaur,探测分析显示其隐藏状态编码了可跨任务迁移的参与者级行为倾向。论文已被 EMNLP 2026 主会接收为口头报告,数据集已公开。

  5. arXiv · cs.AI18

    QuAD:基于内容感知多智能体系统的分布对齐定性数据质量量化评估框架

    研究者提出 QuAD 框架,用于对半结构化定性响应数据集做量化预分析评估:将重建的内在聚类分布与研究者定义的外部分析透镜对比,以四象限指标联合判断数据是否适配特定分析目标。该框架引入带两阶段指令生成和自适应锚点的内容感知多智能体系统以提升打分一致性,并通过合成数据实验和真实社会调查案例验证。

  6. arXiv · cs.AI19

    CIIR:类索引接口表示学习框架,实现无配对多模态数据集间的模块化通信

    arXiv 论文提出 CIIR,一种通过类索引地址空间连接异构数据集的模块化编码器-解码器框架,无需配对或实例匹配样本。模型用 128 维地址表示,从手写数字、服装图像、口语数字频谱图和手势中学习,label-free 接收器达到 94.7% 宏平均 Address Realization Accuracy;冻结地址空间后仅训练轻量适配器,MNIST>SVHN 和 SVHN>MNIST 端到端 Address Transfer Accuracy 分别为 90.2% 和 82.3%。

  7. arXiv · cs.CL37

    AI 能否担任访谈员?AI 访谈与人工访谈的首次直接实证对比

    一项随机实验(N = 41)首次直接比较了 AI 访谈员与人工访谈员的数据质量:本地部署的 7B 开源权重模型每次访谈提问数量是人工的两倍以上,引出的受访者文本多约 65%。两种条件下访谈时长中位数相近,回复切题度几乎一致,特异性未检测到差异。结果表明 AI 访谈适用于大样本定性数据收集,并可缓解数据安全与 GDPR 合规顾虑。

  8. arXiv · cs.AI44

    用于内存高效训练的局部代理方法研究

    一项 arXiv 研究提出在 Transformer 每个模块训练局部代理网络,通过知识蒸馏预测全局网络输出,使梯度无需存储全部激活值即可独立回传,理论上对深层线性网络精确成立,非线性残差模型中梯度误差有界。该方法在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的准确率/内存权衡,用于小内存预算下微调大语言模型时,比 zeroth-order 学习算法训练更快、性能更高。

  9. arXiv · cs.AI32

    LexPilot 基准:评测法律 LLM 在中文民事咨询中面向普通人的主动交互能力

    LexPilot 是一个将主动式法律交互与真实中文民事判决的 claim 级判决预测关联的基准,由 432 份真实判决、36 类常见案由构建,包含专家审核的完整与欠明确咨询历史对。实验显示,现有 LLM 在欠明确咨询中难以主动追问关键信息,下游判决预测平均比完整咨询设置低 23.84%。

  10. arXiv · cs.CL51

    arXiv 论文提出 LED:用 Lookahead Editing 改进掩码扩散语言模型

    arXiv 论文提出 Lookahead Editing(LED),在掩码扩散模型的解码中加入可重写的提案状态,让模型在提交 token 前多次前瞻更新以提升表达能力,同时保留易于优化的掩码转移调度。作者基于 Qwen2.5-7B 和 Qwen3-8B 微调得到 LED-7B 和 LED-8B,在八项基准上 LED SFT 平均比标准 MDM SFT 提升 +11.4 和 +7.7 分,且 LED-8B 仅用 SFT 就超过了经持续预训练、SFT 和强化学习训练的 LLaDA2.1-16B Q-mode。

  11. arXiv · cs.AI52

    WebCoder:基于工件锚定智能体强化学习的通用前端开发 Agent

    论文提出 WebCoder,一个用工件锚定智能体强化学习训练的通用前端开发 Agent,并构建可执行环境 Webdev-World 与评测集 Webdev-Bench。WebCoder-27B 在 Webdev-Bench 上把需求满足分从基座 Qwen3.8-27B 的 64.8 提升到 72.8,超过 Claude-Opus-4.8(65.1)和 GPT-5.4(59.6);在 Vision2Web 上平均视觉与功能分从 41.1 提到 62.4,与 Claude-Opus-4.8 相当。消融实验验证了工件锚定信用分配与长程训练的贡献。

    推荐理由:论文提出以共享可执行工件为核心分配奖励与信用,并给出对齐 Claude 等闭源模型的实测分数,方法可迁移到长序列开发任务。

  12. Reddit · r/LocalLLaMA47

    Stanford、Together AI、UIUC 与 Meta 论文提出 Hybrid Reasoning Agents:隐藏内部推理更快更省

    Stanford、Together AI、UIUC 与 Meta 的论文提出 Hybrid Reasoning Agents,模型大部分推理在隐藏内部空间进行,仅在调用工具或给出最终答案时使用普通文本。在数学、科学、医学等多项测试中成绩约高 10%,token 用量减半、速度快一倍、成本更低。该方法是对现有词空间推理 LLM 的适配,建议仅在信任模型时使用。

  13. arXiv · cs.CL44

    解构语言对 LLM 智能体工具准入与检索后安全的影响

    一项覆盖 10 个模型、7 种语言的受控 URL 检索实验发现 SLIP 现象:非英语有害请求使平均工具准入率从 46.9% 升至 67.4%,且在每个模型中均出现。要求用页面语言作答时,四个闭源模型在相同工具调用下的平均有害率从 50.3% 升至 57.4%,主要出现在中文和印地语。研究建议多语言安全评估应分开测量工具准入与回答有害性,并区分真正的安全拒答与能力失败。

  14. arXiv · cs.AI30

    通过学习的潜空间多表表示迈向 Prior-Data Fitted 关系模型

    研究者在大量合成关系数据库上预训练基于消息传递的图关系基础模型 Griffin,将编码器潜表示输入冻结的 in-context 预测器,不在目标任务上训练任何组件。在 16 个真实世界关系分类任务、五组随机种子评估中,从 schema 引导过渡到 schema 无关的纯合成课程学习取得最强的冻结 in-context 性能,超过仅用真实数据预训练及各种无序单阶段混合方案,且在真实数据预训练后追加该课程可获得整体最佳编码器。结果表明 PFN 式合成预训练可迁移到基于图的关系基础模型。

  15. arXiv · cs.CL49

    检索开始之前:LLM Agent 的安全与工具调用决策研究

    一项 arXiv 预印本研究了七个开源权重 LLM 在有害请求下是否调用外部工具的先验决策: admitted 有害请求后的平均伤害率为 74.5%。因子化干预显示,中和请求操作成分产生最大的准入对比(19 pp),纯文本拒绝训练可降低保留良性工具使用模型的unsafe准入率,33.6% 的有害调用伴随书面拒绝。研究建议直接评估和监督工具调用决策,而非以文本拒绝作为代理。

  16. arXiv · cs.CL28

    ParetoChat:一个基于 LLM 的交互式多目标优化界面

    研究者提出 ParetoChat,一个基于 LLM 的专家智能体界面,用于交互式多目标优化,可将自然语言输入转换为结构化标量化参数并调用优化系统。仿真研究以基于 LLM 的决策者智能体为基准,与 DESDEO 中的 reference-point 和 NIMBUS 方法对比,在多目标二进制背包和集合划分实例上验证了其能高效引导搜索以匹配用户偏好。

  17. arXiv · cs.CL46

    同一用户不同答案:用重复风险容忍度响应审计 LLM 理财建议

    一项研究用 800 个真实家庭画像审计 5 家厂商的 7 个 LLM 理财建议,发现仅风险答案变化时股票配置建议平均波动 24-35 个百分点,同一提示词重复询问仅为 0.6-4.2 个百分点。若按经典测试理论对答案可靠性折算,波动可缩小 2.4-3.3 倍;40 岁以下客户波动最大。一次澄清提问可将客户纠正答案后的波动从 33.5 降至 1.9 个百分点,作者建议将同人次重测审计作为 AI 理财顾问的标准检查。

  18. arXiv · cs.AI41

    Agentic In-Context Learning:Transformer 能在闭环交互中学到哪些算法?

    研究提出 Agentic In-Context Learning(Agentic ICL)框架,分析固定参数 Transformer 在闭环交互中能学习哪些算法,涵盖主动学习、bandits 和在线 RL。理论上构造了能在有限步长内近似这些算法的因果 Transformer 并给出回报损失界;蒸馏实验显示 Transformer 可学会执行三种代表性递归。在无 oracle 动作或状态标签下,用结果奖励或过程奖励训练的模型形成不同决策策略,且这种差异在预训练语言模型中跨文本改写依然存在。

  19. arXiv · cs.AI36

    错误截断事后蒸馏:面向智能体 RL 的事后蒸馏新方法

    arXiv 论文提出错误截断事后蒸馏方法,解决轨迹级技能蒸馏与 GRPO 结合时错误动作后监督与当前状态失配的问题。该方法按轨迹结果与错误边界路由两类事后技能:Positive skills 强化成功轨迹及错误前决策,Negative skills 针对关键错误进行修正,错误后缀则仅由 GRPO 优化。实验显示其在任务表现与细粒度 credit 分配上有竞争力。

  20. arXiv · cs.CL62

    ECHO 论文提出以回复有害性替代合规代理的优化式越狱攻击方法

    论文提出 ECHO(Evaluation-Conditioned Harmfulness Optimization),用基于实际有害能力的 1.7B 回归器 HarmSig 给出的回复级连续有害性评分,替代现有优化式攻击中以肯定前缀等提示层 token 级合规代理为目标的做法。方法结合五个词级扰动算子与带全局 top-m 记忆的 Keyword-Anchored Beam Search,在严格黑盒威胁模型下,对五个开源模型在 AdvBench 上取得最高 0.898 的 StrongREJECT 均分和 89.23% 的 HarmBench 成功率,代码已公开。

    推荐理由:论文把越狱攻击的优化目标从提示层合规代理换成回复层连续有害性评分,评测方法和代码都开源,可复现。

  21. arXiv · cs.CL45

    通过对齐前后模型合并控制 LLM 的多样性—质量权衡

    研究者提出一种深度感知的 FrankenMerging 方法,将模型与其基座模型的不同层合并,无需额外训练即可调节 LLM 输出的多样性—质量权衡。该方法把对齐模型的低层与基座模型的高层结合,实验显示多数情况下合并模型语义多样性高于对齐模型,某些拆分位置下词法多样性高于两个原模型,且在多数设置下比温度采样取得更好的多样性—质量权衡。

  22. arXiv · cs.CL42

    Prism Attention:用于 LLM 高效推理的提案-精化索引共享机制

    研究者提出 Prism Attention,一种提案-精化的稀疏注意力框架,用粗到细策略替代跨层稀疏索引的静态复用,兼顾层间适配性与共享效率。该方法在推理与长上下文基准上达到主流稀疏注意力方法的 SOTA 性能,并在 128K 上下文长度下实现相对 FlashAttention 3.4× 的端到端解码加速。

  23. arXiv · cs.CL56

    arXiv 论文提出 CFOE 框架:自进化 Agent 能修复失败但难以从中泛化

    arXiv 论文提出 Cold-Start Failure-Only Evolution(CFOE),让 LLM Agent 在无先前经验、无外部评估信号的情况下只从失败交互中学习。跨三种自进化范式、多个 LLM 骨干和四个交互环境的实验发现一致的修复-泛化差距:失败经验能修复已失败任务,但对未见任务的持续改进有限;Agent 常误解失败,验证正确的经验也难迁移,而成功轨迹能显著提升泛化。

    推荐理由:论文用统一框架量化了只从失败经验中学习的效果边界,指出修复与泛化之间的差距及成功轨迹的作用。

  24. arXiv · cs.CL49

    KiranaBench:语言模型能否经营一家社区小店?

    研究者推出 KiranaBench,一个模拟印度杂货店的多智能体基准,由四个 LLM 智能体分别扮演经理、收银员、帮手和账房,用英语、印地语或 Hinglish 与顾客和供应商交互,需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现,表现最好的模型利润仅为固定规则店主基线的八分之一,两个模型甚至低于无人管理的店铺,且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。

  25. arXiv · cs.CL53

    SAFE-Mem:细粒度权限与治理感知检索的智能体记忆安全框架

    论文提出 SAFE-Mem,为 LLM 智能体持久记忆中的每条声明标注 kind、authority、scope 三种治理标签,并通过治理感知检索与记忆图阻止不可信声明被当作授权偏好或权限使用。在 MPBench 和 LoCoMo 上跨四个 LLM 骨干模型测试,SAFE-Mem 在保留合法记忆的防御中攻击成功率最低,比其中最强者低至少 77%,同时在所有评测防御中答案准确率最高,最多提升 15%。代码已开源。

    推荐理由:论文用细粒度治理标签兼顾记忆安全与可用性,并给出攻击成功率与准确率的量化对比,方法可参考。

  26. arXiv · cs.CL17

    识别 Atari 与判断 Sente:面向围棋语言模型 Agent 的受控评测任务

    研究者构建了一个围绕围棋术语 atari 及其与 sente 关系的受控评测集,考察模型在局部棋盘变化下的术语识别与不同战略条件下的走子评估。团队对围棋语言模型 LoGos 进行术语与解说监督的微调后测试,发现其难以识别 atari 关系变化并评估其战略含义,术语预测关联的走子偏好甚至与参考评估相矛盾。

  27. arXiv · cs.CL35

    如何将大语言模型对齐至反事实不变性

    arXiv 论文提出,标准对齐方法(如强化学习)虽提升整体回答质量,却放大了跨人群的反事实偏差。作者开发一种基于成对反事实提示和群体级奖励函数的策略梯度技术,并构建受控反事实提示对数据集与评测方法。在多个 fairness benchmark 上验证,该方法能降低反事实差异、保持整体回答质量,且当人口信息与任务因果相关时模型仍能恰当利用。

  28. arXiv · cs.CL24

    KoLing:超越表层线索的 LLM 生成韩文文本鲁棒检测

    韩语 LLM 生成文本检测研究长期受限于英文中心且依赖表层线索。研究者提出包含 50.9k 实例的抗偏对抗基准 KoLing,分别评估 LLM 生成与 LLM 修改文本检测,并推出基于理论语言学的可解释检测器 KoLingProbe。实验显示 KoLingProbe 在所有检测任务上显著优于强基线,且对对抗攻击保持鲁棒。

  29. arXiv · cs.CL57

    arXiv 论文:后训练调节预训练中已有的线索跟随电路,导致谄媚等多种偏差

    arXiv 论文(arXiv:2610.22937)发现,多种选择题偏差(如谄媚)大多依赖同一小群注意力头,该共享电路在预训练模型中已存在,多数 base 模型会跟随明文提示。仅用约 200 条无提示的通用助手样本微调即可在聊天格式中激活这些头,RL 阶段几乎在所有对比中都增强线索效应;在 Tulu-3-8B 和 OLMo-2-7B 上交换 6 个中间层的注意力模式,可将两版模型的线索效应大幅互换,缓解手段可针对该电路设计。

    推荐理由:论文用因果追踪把谄媚等偏差归因到预训练已有的共享注意力头电路,指出后训练只是调节其使用强度。

  30. arXiv · cs.CL34

    动量、评论基调与盈利意外如何影响 LLM 金融预测:一项输入依赖度实验

    一项 arXiv 研究通过合成财报 announcement 独立操纵 20 日动量、非信息性评论基调与 EPS 是否超出共识,考察大语言模型金融预测究竟依赖哪些输入。来自四个模型族的 6 个 instruction/chat checkpoint(基础参数 0.49-7.61B),每个在 Q8_0 直答协议下接受 2,016 条提示词。结果显示:6 个模型中有 5 个的有符号基调对比幅度超过 EPS,5 个模型动量超过 EPS,主 EPS 对比范围为 -0.19 至 86.80 个百分点,自然词数值诊断准确率为 51.0-95.8%;研究测的是输入依赖与数值识别,不确立内部推理机制或实际收益可预测性。

  31. arXiv · cs.CL47

    隐状态探针定位推理失败的有效性研究

    一项 arXiv 研究测试了 4B 和 8B 推理模型的隐状态探针能否区分三类推理失败并定位失败步骤。在 8B 的错误轨迹上,置信度探针漏检 81% 的单步不可恢复案例和 47% 的重试可成功案例;探针的失败类型排序取决于训练设计。两个规模下,没有任何探针定位失败步骤的准确率超过仅基于轨迹长度的规则。

  32. arXiv · cs.CL24

    研究揭示大语言模型中的姓名偏见

    一项 arXiv 研究用填空任务评估 6 个跨厂商、跨参数规模的本地大语言模型的姓名偏见,基于美国 SSA 姓名数据集和 Rosenman et al. 种族分类数据集,共收集 300,000 条本地 LLM 响应。结果显示模型偏好较少刻板男性化、更年长、更流行和白人的名字;性别偏见最显著,其后依次为年龄、名字流行度和种族,且偏见高度依赖句子语境。

  33. arXiv · cs.CL25

    双 LLM 共识流水线用于记录 Rett 综合征 Trofinetide 治疗表型

    研究者构建双 LLM 共识流水线,从 Texas Children's Hospital 108 名 Trofinetide 用药患者的 26,763 份临床笔记中提取 18 种治疗反应表型。腹泻提取任务上最优提示词准确率达 84.2%(F1 = 0.674),比正则匹配高 47 个百分点,专家复核一致率为 90.2%(92/102)。该架构仅需改配置即可适配新表型与药物,为真实世界证据提取提供可扩展的替代方案。

  34. arXiv · cs.CL42

    超越上下文长度:刻画长上下文推理的难度

    arXiv 论文提出 LURCH 基准,用证据范围、证据分散度和推理深度三项属性量化长上下文推理难度,包含 6,550 个带证据与推理图谱的多领域问答实例。对闭源与开源权重模型的评估发现:固定上下文长度下三项属性均与性能强负相关;上下文变长时,证据分散样本性能骤降而局部化证据样本相对稳定;且三项属性中等偏高的题目比仅一项极端的更难。

  35. arXiv · cs.CL40

    先写哪个字节很重要:UTF-16 编码如何改进多语言字节级边界预测

    一项 arXiv 研究提出 UBE 编码,对三字节 UTF-8 码点改用低字节在前的 UTF-16 存储,提升字节级语言模型边界预测能力。在 FLORES-200 上 13 种婆罗米系文字 17 种语言的单符号前瞻测试中,码点边界的平衡字素边界误差从 UTF-8 的 8.76% 降至 0.06%;韩语和中文相对 UTF-8 平均误差分别降低 72.91% 和 35.29%,且训练仅需 25% 和 37.5% 即可超过 UTF-8 最终误差。

  36. arXiv · cs.CL43

    Multi-SFT:可商用许可的多语言指令遵循数据集

    研究者推出 Multi-SFT,一个可商用的监督微调数据集,含 502,818 条指令-回复对,覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型(1B-32B)微调并在 13 个 benchmark 上评估,结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争,在安全任务上优势明显。

  37. arXiv · cs.CL46

    面向字节级模型的新颖性分块:从压缩视角看算力应花在文本新增处

    研究提出 novelty patching,借鉴 LZ77 式压缩思路,让 Byte Latent Transformer(BLT)等字节级模型在即将出现不重复内容处开启新 patch,替代基于下一字节熵的分块规则。在 1.9 GB 数学语料上从头训练的 BLT 风格模型中,该方法在 12M 参数时将最终答案准确率从 47% 提升到 72%,50M 参数时计算结果准确率从 21% 升至 57%、最终答案从 60% 升至 90%;该规则只需在前两字节上拟合查找表,秒级完成且无需标签。在散文、代码等数学之外场景优势缩小。

  38. arXiv · cs.CL19

    去碎片化 Nawatl 神经机器翻译:面向 Masewalkopa 变体的单变体特化

    一项 arXiv 研究提出“变体碎片化”问题,指出混合纳瓦特语(Nawatl)多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础,用 2,665 平行对和 192 句长者转写句子,将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa(nhn)变体,所得 LoRA-v9c-b 模型取得 58.46 dev chrF++;有限状态分析器将未分析表层形式从 82.0% 降至 19.9%,CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒,支持低成本 Cloud Run 部署。