跳到正文
10月22日周四
  1. arXiv · cs.AI31

    基于非线性 Schrödinger Bridge 与分支扩散的生成建模新框架 SBNL

    一项 arXiv 研究提出基于正向-反向偏微分方程的生成建模框架 SBNL(Schrödinger Bridge NonLinear),将平均场博弈与非线性 Schrödinger 系统的联系重新诠释为生成建模问题。该框架通过基于分支扩散的模拟算法求解,具备高并行性、可扩展到高维,并在 MNIST 和 FFHQ 人脸图像合成任务上完成验证,同时统一了 score-based 生成建模与扩散模型。

  2. arXiv · cs.AI41

    DPT:通过路径多样性提升大语言模型并行思考能力

    一篇 arXiv 论文提出 Diverse Parallel Thinking(DPT),一种面向大语言模型并行思考的强化学习方法,通过惩罚并行思考路径的前缀相似度来奖励模型发展不同的推理策略,缓解 RL 并行思考中推理路径模式坍缩导致的同质化问题。在多个推理 benchmark 上的实验显示,DPT 超越以往并行思考方法,达到 SOTA,代码已开源。

  3. arXiv · cs.AI15

    块扩散用于纵向电子健康记录:精度、效率与表示的权衡

    一项研究在 MIMIC-IV 数据集上以相同的 tokenization、上下文长度和模型容量对比块掩码扩散(BD)与自回归模型在纵向 EHR 建模中的表现。B=8 配置实现约 1.43× 更快的推理速度,其表示的线性探针在临床预测任务上与 AR 性能接近。结果表明块扩散是计算上更具吸引力的可行方案,但生成质量仍低于 AR。

  4. arXiv · cs.CL40

    基于 LLM 的外生世界建模用于动态调度(arXiv 论文)

    一项 arXiv 研究提出 AWMP(Afterstate World-Model Planning),用预训练 LLM 作为世界模型的外生组件,预测动态调度中的不确定未来任务到达。方法结合 afterstate 分解、信念条件调度策略、短场景 rollout、惊讶触发的 LLM 查询刷新与在线残差自校准。在动态 job-shop 和柔性 job-shop 基准上,相对八种经典优先级调度规则中的最优者,加权延期分别降低 6-21% 和 22-46%。

  5. arXiv · cs.CL16

    OSynth:面向会议理解的纵向、上下文敏感评测数据集

    研究者提出 OSynth,一个模拟组织的大规模合成数据集,包含 570 小时会议音频、相关文档及潜在真实状态。人类评审基于 150-300 词片段,区分 OSynth 会议与真实会议转录的准确率仅 56%。测试显示,引入日历、以往会议等额外上下文可使多个 LLM 在实体敏感维度显著提升。

  6. arXiv · cs.CL25

    B-CARE:面向立场分类错误排序的盲评类相对证据评估框架

    B-CARE(Blind Classwise Assessment of Relative Evidence for Stance Error Ranking)是一种预测盲的错误排序框架,用固定 LLM 验证器对各候选立场标签赋证据分,对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测,取得平均 AUROC 0.735、平均 AUPRC 0.524,并在风险最高的 20% 预测中捕获 41.06% 的错误;其证据信号可跨模型复用,与置信度基线互补。

  7. arXiv · cs.CL52

    arXiv 论文提出长上下文持续预训练的经验缩放律:不要过早停止 LCCP

    arXiv 论文(arXiv:2610.29352)通过五个模型规模、百余种 token 预算配置,建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律,可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议,稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹;128K 上下文扩展和监督微调后增益仍保持,在评测范围内未见饱和,支持继续扩展 LCCP 而非提前停止。

    推荐理由:论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律,并用 1.22B 模型轨迹验证了可预测性与增益持续性。

  8. arXiv · cs.CL56

    OnQ 论文提出低比特量化下恢复推理能力的新管线

    论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1

    推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。

  9. arXiv · cs.CL56

    ECHO 论文揭示偏好优化中共同模态偏移导致词表坍缩的机制

    arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移,即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移,相对排序损失几乎察觉不到其累积;该偏移投影到输出层形成词表井,使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下,同样的坍缩出现在 17 个 base 模型谱系中的 14 个,且注入该偏移可复现坍缩、屏蔽该成分可预防;教科书式 DPO 偏移较弱,而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好,两个公开奖励模型反而越少偏好其样本,揭示了标准排序指标的盲区。

    推荐理由:论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来,并给出可在坍缩前预警的表征层信号。

  10. arXiv · cs.CL33

    Harness Scaling:面向可泛化智能体强化学习的新扩展维度

    一篇 arXiv 论文提出 Harness Scaling,将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间,选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上,该方法持续提升对未见 white-box 配置的泛化,且能迁移到未见的外部 black-box harness,优于单一复杂 black-box harness 训练的模型。

  11. arXiv · cs.CL44

    OmniSimulator:面向真实异构行为建模的小语言模型对齐训练框架

    研究者提出 OmniSimulator 训练框架,用五维结构化 schema 和教师模型生成的高质量推理轨迹,提升小语言模型在短视频平台上模拟真实用户行为的能力。该框架基于 200 名真实用户三个月的历史交互轨迹构建了 9,881 条训练实例,使 Qwen3-8B 平均成绩提升 34.33%,性能可与 Claude-Sonnet-4.5 竞争,并支持小规模自托管部署。论文已被 NeurIPS 2026 接收。

  12. arXiv · cs.CL41

    强 MoE 足以胜任过程监督:专家路由作为过程奖励信号(RoCo-Rethink 与 RoCo-PRM)

    arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号,性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度,RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹,RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线,RoCo-PRM 还可跨架构、跨任务迁移。

  13. arXiv · cs.CL42

    计时还是理解时间:单靠任何一种都无法解释 LLM 的时间推理

    一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估显示,驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分,主要奖励模型记忆时间的通常运作方式。

  14. arXiv · cs.CL36

    用上下文感知解码缓解 Chain-of-Thought 中的查询捷径问题

    一项 arXiv 研究将上下文感知解码(CAD)应用于 CoT 推理,提出 Rationale Contrastive Decoding(RCD),通过对比有、无推理过程时基于 query 的 token 分布,放大因 rationale 而提升似然的 token,并给出 KL 正则化奖励最大化的理论解释。实验覆盖五个推理 benchmark,RCD 准确率超过标准 CoT;干预分析表明最终答案对 rationale 内容的行为依赖增强,且该方法无需训练。

  15. arXiv · cs.CL41

    LLM 何时能在检索式表格分类中超越投票带来增益?

    一项研究比较 4 个通用 LLM 与距离加权最近邻投票(Distance-KNN),在 19 个表格分类数据集上使用相同检索邻居。结果显示,在任何候选池规模下 Distance-KNN 平均准确率最高;LLM 的增益集中在检索邻居标签一致性低的场景,且在特征距离最近和中等邻域内部分 LLM 能胜出,但在最远距离组全部平均落后。

  16. arXiv · cs.CL37

    RCSD:面向领域特定投机解码的强化学习与持续学习训练框架

    RCSD 是一种投机解码训练框架,将 draft 模型优化与最大化接受长度的系统级目标对齐,利用投机推理中自然产生的接受与拒绝序列构建隐式偏好对,并用 masked loss 避免惩罚与 target 对齐的 token。在多个 benchmark 上,RCSD 相比 HASS 将平均接受长度提升 35%,端到端推理速度达 HASS 的 1.35x,且不损失生成质量。

  17. arXiv · cs.CL42

    PACE:四比特循环状态的周期性且通道对齐编码方法

    PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。

  18. Hugging Face · 趋势模型61

    Recursive 发布开放权重 MoE 编码模型 Flint(39.8B 总参数、约 2.5B 激活)

    Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。

    推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。

  19. Hugging Face Blog60

    NVIDIA 发布 Kumo Relational 关系型数据基础模型,无需训练即可超越监督学习

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。

    推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。

  20. Hugging Face Blog59

    Hugging Face 博客预览 VocabX 方法:按成本而非频率特化词表,将葡语作文批改器推理成本降低 77%

    Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果:按每个 token 的成本而非频率重建词表,在不改基座模型、数据和训练配方的前提下,将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token,bench 分数从 0.703 升到 0.810,LM head 从约 152,000 行缩到约 65,000 行;在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中,压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。

    推荐理由:作者用同一基座、同一训练配方做对照实验,把成本按读写分别计价,方法思路可迁移到其他单一领域的专用模型。

  21. Hugging Face Blog43

    TorchNeuron 性能分析(第一部分):在 AWS Trainium 上进行系统级 profiling

    Hugging Face 发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流,并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现(朴素 PyTorch 算子、torch.rms_norm()、torch.compile)为例对比,脚本可在 torch-neuronx examples 目录获取。

  22. Hugging Face Blog43

    TorchNeuron 性能分析(第一部分):在 AWS Trainium 上进行系统级 profiling

    Hugging Face 发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流,并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现(朴素 PyTorch 算子、torch.rms_norm()、torch.compile)为例对比,脚本可在 torch-neuronx examples 目录获取。

10月21日周三
  1. arXiv · cs.AI54

    Stratified Sparse Attention 论文提出确定性检索结合分数引导采样以缩小极端稀疏下与稠密注意力的差距

    Sahil Joshi 等在 arXiv 发布论文,提出 Stratified Sparse Attention(SSA),将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上,SSA 均优于基线;RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下,32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%,分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后,1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍,代码已开源。

    推荐理由:论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据,方法可复用,代码已开源。

  2. arXiv · cs.AI21

    基于 SSM 的脉冲神经网络实现模型级与层级闭环时间序列预测

    一项研究提出基于 SSM 的脉冲神经网络(SNN)闭环预测方法,解决 SNN 自回归预测时依赖不可得数值的问题,包括模型级和层级两种策略。在 ETT-small 基准上,两种方法与 S4 的 zero-masking 基线相当或更好,多数情况下可与 SpaceTime 等最先进方法媲美。结果显示连续激活与低比特量化激活之间的权衡,证明 Deep SSM 架构可作为有竞争力的预测框架。

  3. arXiv · cs.AI28

    OptScientist:自动发现优化定律的新框架

    研究者提出 OptScientist,一个从数据中自动发现符号化优化定律的框架,由符号优化问题推断模型和结合文献先验的 LLM 智能体系统组成。在含 99 个物理优化问题的新基准 OptFeynman 上,它对超过 80% 的问题恢复出真实定律,显著优于机器学习、符号方法和 LLM 基线。在人类风险决策与央行货币政策数据上,其发现的定律在留出预测性能上与主流基线相当,且参数更少、token 消耗显著更低。

  4. arXiv · cs.AI32

    CoRAL:混合扩散-自回归框架突破多模态推理的序列性瓶颈

    论文提出混合框架 CoRAL,采用非对称 Planner-Executor(APE)架构:扩散语言模型 Planner 并行生成 K 条推理轨迹,大型自回归模型 Executor 择优并合成最终答案。训练中引入 Reward-Guided Denoising for CoT(RDC),将结果奖励融入扩散过程以引导目标导向推理。视觉语言基准实验显示 CoRAL 显著优于已有扩散方法,并对强 ARM 达到有竞争力的性能,兼顾效率与质量。

  5. arXiv · cs.AI43

    自适应多 Token 预测(AMTP):推测视野应该选多远?

    研究者提出 Adaptive Multi-Token Prediction(AMTP),将多 token 预测的视野选择建模为在线控制问题,通过验证反馈动态选择最优推测长度,无需重训练且不改动验证器。在基于 Llama-3.1-8B-Instruct 与 Medusa heads、Meta MTP 模型、Qwen3-4B-Inst-2507-MTP 的五组组合上,经 AIME 2025 和 GSM8K 评测,AMTP 解码最高加速 4.1x,在 10 个设置中的 8 个持平或超越固定窗口,吞吐最高提升 10%。

  6. arXiv · cs.CL36

    On-Policy Transition Distillation:用层间预测迁移对齐提升在线蒸馏效果

    一项 arXiv 研究提出 On-Policy Transition Distillation(OPTD),在传统在线蒸馏只匹配最终层分布的基础上,进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示,正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上,OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩,三域设定下可恢复约 90% 的师生能力差距,而 OPD 约为 75%。

  7. arXiv · cs.CL24

    TEPCA:面向 LLM 时序知识图谱推理的证据-参数协同对齐框架

    研究者提出 TEPCA 框架,从证据和参数两个层面改进 LLM 在时序知识图谱(TKG)上的推理:证据层采用时间约束的 DRGP 路径剪枝和基于互信息(MI)的剪枝,参数层引入时间戳条件化的 DG-LoRA 低秩适配机制。在两个 TKG benchmark 上达到 SOTA,DG-LoRA 在八个常识问答数据集上进一步验证了输入自适应能力、跨 LLM 骨干的可扩展性与可解释性。

  8. arXiv · cs.CL46

    Adaptive Replay Refinement:在修订与重采样之间分配测试时计算

    Adaptive Replay Refinement(ARR)是一种无需训练的推理方法,检测修订到达不动点后将算力重新分配给新独立样本。跨 5 个模型族的 7 个模型与 7 个基准测试,ARR 在等算力下于 5 个数学推理基准中的 3 个上追平多数投票,关键路径串行次数最多减少 2.4 倍;在 MATH500 上以 41% 的串行次数达到 84.6% 准确率。代码已开源。

  9. arXiv · cs.CL44

    CopyGen:面向精确片段复现的复制约束解码方法

    研究者提出 CopyGen,一个面向冻结 LLM 的轻量复制约束解码插件,将复制分解为是否进入复制模式、预测复制长度和逐 token 验证三个决策,并只输出最长有效前缀。在涵盖合同、科学文献、代码和随机序列的 benchmark 上,CopyGen 无需微调即可将平均 exact match 相对提升 35%,与 SFT 结合再提升 4%,同时显著加速生成。代码已开源。

  10. arXiv · cs.CL40

    AsymLoop:非对称 Looped Transformer 为迭代解码器提供固定的全局表示

    论文提出 Asymmetric Looped Transformer(AsymLoop),将单次上下文编码与循环状态精炼分离:因果编码器生成跨迭代固定的全局 KV cache,权重共享的循环解码器从自身状态生成局部 KV,并在单一 softmax 下联合注意力。在 FineWeb-Edu 上对 60M 至 1B 四种规模训练,验证困惑度低于 Full Loop;1B 规模下七个常识推理基准的平均 zero-shot 准确率从 49.58% 提升至 50.85%,收益同样适用于 OLMo 风格骨干与稀疏 MoE 模型。

  11. arXiv · cs.CL48

    Present but Hard to Read:用最小对探测 Ouro-1.4B 与 Qwen2.5-1.5B 的潜在推理

    一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在:在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上,该数字在最后一个 prompt token 处存在且跨问题共享编码,readout 约 0.9,但常规单样本探测只读到 0.36 和 0.19(即使经过 5,249 个训练问题)。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合,在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号,且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字,而 patch 答案的同一位置可以,说明该值可读但未被使用。

  12. arXiv · cs.CL52

    BitMTP 提出面向超低比特大语言模型的多 token 预测加速框架

    BitMTP 提出算法与系统协同设计框架,在超低比特 LLM 骨干上实现高效多 token 预测(MTP),已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting,并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速,1.7B-4B Bonsai 模型为 2.1-2.4x,RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x,代码已开源。

    推荐理由:论文把多 token 预测与超低比特量化结合,给出跨 GPU 的实测加速比,方法与系统设计都可参考。

  13. arXiv · cs.CL45

    Binary Discrete Diffusion:面向逻辑与规划任务的候选集扩散方法

    论文提出 Binary Discrete Diffusion,一类连续时间离散扩散过程,其噪声状态以二值成员向量表示每个位置的候选 token 集合,可通过增删逐步丢失和恢复信息。在 Sudoku-Extreme、Boxoban 和图着色任务上,在相同架构与训练、采样、调参预算下,其对称形式持续优于调优过的 masked 和 uniform 扩散基线,最难实例上增益最大;在 Text8、TinyStories、OpenWebText 语言建模上也保持竞争力。结果表明候选集是迭代推理的有效中间表示。

  14. arXiv · cs.CL53

    Lafa 论文提出 8B 连续流语言模型,吞吐达 AR 模型 2.54x

    Lafa 是一个扩到 8B 参数的连续流语言模型,采用块内双向流加因果前缀的块状结构,可通过适配预训练自回归模型来训练,并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型,其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐,优于多 token 预测和离散扩散方法,代码已开源。

    推荐理由:论文给出把连续流语言模型扩到 8B 的具体训练与推理方法,并附吞吐对比数据,适合关注非自回归架构的读者。

  15. arXiv · cs.CL54

    R2S:修复教师打分器以改进智能体在线策略蒸馏

    arXiv 论文提出 Rollout-to-Scorer Distillation(R2S),指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差,教师看不到回合结局导致拖延动作通过评分,称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器,再冻结为唯一评分器做标准 OPD,修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法,平均领先最优基线 12.8 个成功点。

    推荐理由:论文指出教师评分短视导致智能体蒸馏失效的根因,给出的无奖励修复方法在十二组实验中均有提升。

  16. arXiv · cs.CL26

    DAR-MGSM:首个方言阿拉伯语数学推理基准发布

    研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。

  17. arXiv · cs.CL25

    AudiPsy:基于口语心理咨询对话的证据驱动多模态推理抑郁评估模型

    研究者提出 AudiPsy,一个基于证据的 omni-LLM,用于从口语心理咨询对话中评估抑郁。其采用 OAS(观察-评估-总结)范式,整合对话转录、文本与声学情绪及其不一致性进行结构化推理,并构建了合成语料 AudiPsy-Counsel 和三阶段课程训练。在 DAIC-WOZ 上表现优于专业抑郁检测方法与通用语音/omni-LLM,EATD-Corpus 上的补充评测验证了其对自然对话的适用性。

  18. arXiv · cs.CL53

    arXiv 论文提出扩散语言模型的事实访问状态机制及 Multi-View Edit 知识编辑方法

    arXiv 论文提出扩散语言模型(DLM)中的事实访问状态概念,发现其与自回归模型不同,事实查找在第一层注意力与早期前馈层就完成。基于该状态,论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器,且各实体位置的状态可免训练地作为关系特定检索向量,在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。

    推荐理由:论文指出扩散语言模型的事实访问状态在首层注意力就组装完成,并据此给出知识编辑与免训练检索两种用法,可作理解 DLM 与 AR 机制差异的对照。