跳到正文
10月9日周五
  1. arXiv · cs.AI35

    研究表明表格基础模型实际上是“浅层”的

    arXiv 一项研究提出闭式、无标签的仿射翻译器,可将表格基础模型(TFM)最多 96% 的 Transformer 块替换掉,揭示其严重过参数化。在 171 个分类数据集上评测八个前沿 TFM,替换一半的块最多仅损失中位 0.002 AUROC。移除深度最多省 1.5B 参数、GPU 推理提速 6 倍、中位仅损失 0.03 AUROC,单块 TabPFN-3 缓存查询快 2.4 倍、内存省 6 倍。

  2. arXiv · cs.CL45

    Vision Transformer 仅凭图像就能学会词义

    研究发现 DINOv3-H 和 DINOv3-7B 这两个视觉 Transformer 仅靠图像自监督预训练、无任何文本配对或标签监督,就能组织出词义结构。研究者通过词图像与匹配对照的嵌入差分分析发现,同行业品牌名、同语义域名词各自聚集,国家-首都词对呈现一致向量偏移,且与文本、语音编码器的表示结构相互对齐。这是已知首批展现出渲染文字语义结构的自监督视觉模型。

  3. arXiv · cs.CL36

    音频语言模型评审生成音乐时究竟在听什么?基于专家评分的四项对照探针分析

    一项 arXiv 研究提出四项探针方法,检验开源音频语言模型作为生成音乐评委时评分究竟取决于音乐、文本提示词还是提问方式。在 MusicEval 全部 2,748 个片段及 SongEval 上的实验显示:无音频时没有任何评委超过仅凭提示词的预测,四个较小评委的成对评审跟随片段位置而非质量,改写指令对多数评委相关性的影响堪比更换评委。作者建议音乐评委报告全部四项探针结果。

  4. arXiv · cs.AI24

    AMR 解析器输出有多可靠?AMR 解析的不确定性估计研究

    AMR 解析器性能虽已大幅提升,但何时可信任其输出仍缺乏研究。该工作首次在黑盒设定下,利用 top-k beam-search 候选的成对相似度进行不确定性估计,并用 Prediction Rejection Ratio 评估。实验分析了性能与不确定性的关系、beam 候选分布的可靠性及评测指标的影响,并找出性能与可靠性平衡最佳的解析器。

  5. arXiv · cs.AI30

    ReSFlow:在统计流形上校正类别流,实现一步生成

    研究者提出 ReSFlow(Rectified Statistical Flow)模型,借鉴 Rectified Flow 的“直且快”特性,在统计流形上显式学习测地线轨迹,实现离散数据的一步类别生成,降低多步数值积分的推理开销。理论证明校正后轨迹逼近测地线,在图像、文本和生物等生成任务上展现出更优的一步生成质量,代码已开源。

  6. arXiv · cs.AI41

    AFCE:面向 Vision-Language-Action 模型的未来物理效果预测学习

    研究者提出 Action–Future Coupled Effect Learning(AFCE),让 VLA 策略以未来物理效果(Effect)而非动作本身作为主要预测目标。在 DexJoCo 上 AFCE 整体成功率达 50.97%,比 π0.5 和 UVT 分别高 11.82 和 15.21 个百分点,并在全部五个双臂任务中领先,且单臂与双臂任务可共享同一 Effect 模型。

  7. arXiv · cs.CL23

    SharP:基于软硬提示引导的 LLM 数据增强方法用于低资源假新闻检测

    研究者提出 SharP,一个由软提示与硬提示共同引导的边界感知文本生成框架,利用 LLM 为低资源假新闻检测生成任务相关的合成样本。硬提示提供结构化引导与事实约束,软提示引入从数据学到的语义模式,并结合边界感知策略与语义对齐、分类器反馈的双目标优化,将生成引向分类器不确信的区域。该方法在仅有少量标注数据的场景下提升了检测模型的鲁棒性与泛化能力。

  8. arXiv · cs.CL39

    S$^3$R:基于自稀疏投机解码的快速且忠实的 RL rollout 方法

    研究者提出 S$^3$R(Self-Sparse Speculative Rollouts),用稀疏注意力起草 token、全注意力验证与精确投机采样生成响应,响应组保持稠密策略分布,无需单独训练 drafter。在长上下文数学推理任务上,S$^3$R 在 Qwen3 模型上实现 1.39x~1.35x 的端到端训练吞吐提升,任务性能相当,并在消融实验中保持训练稳定。

  9. arXiv · cs.AI37

    冻结循环网络能否替代可学习记忆?部分可观测 RL 中的循环网络研究

    一项 arXiv 研究基于 Reservoir Computing 与 Generalized Reservoir Computing 理论,用冻结循环网络加可训练非线性输出模块求解 POMDP。结果显示,冻结循环网络可支持数百步的记忆回溯,在多样任务中取得有竞争力的控制性能,可训练参数不到完全可训练对应架构的一半。这表明学习循环记忆模块并非总是必要,冻结循环网络是部分可观测 RL 简单且参数高效的强基线。

  10. arXiv · cs.AI41

    JANUS:用协同进化的世界模型增强长时程自主研究

    JANUS 是一个长时程自主研究框架,通过协同进化的世界模型驱动 Predict-Verify-Evolve 循环,在执行前预测候选方案的价值增益、信息增益与探索效用,从而选择、优化或剪枝分支。反馈后经验被蒸馏为研究智能体技能、世界模型探索策略技能及协调协议,实现持续共同进化。在 MLS-Bench-Lite 和真实研究任务上的评估显示,JANUS 在进化效率和上限上均显著超越 SOTA 基线。

  11. arXiv · cs.AI32

    AdaC-GRPO:用自适应课程学习攻克长程视觉数独推理

    研究者提出自适应课程学习方法 AdaC-GRPO,并发布细粒度基准 FG-Sudoku,用于训练模型完成需要多步演绎推理的视觉数独任务。前沿 MLLM 在 9*9 这类长程依赖谜题上几乎全部失败,导致标准 RLVR 因奖励稀疏而停滞。AdaC-GRPO 通过在线 rollout 准确率追踪模型"最近发展区"动态构建训练批次,使 Qwen2.5-VL-7B 接近 Gemini-2.5-Flash 的表现,并弥补与 Gemini-2.5-Pro 62.2% 的准确率差距,方法在 InternVL-3.5 和 Qwen3-VL 上也得到验证。

  12. arXiv · cs.AI30

    RoleWorld:用功能角色抽象实现世界建模中的知识迁移

    研究者提出 RoleWorld,一种符号世界建模方法,用可复用的角色原型和环境特定参数值作为功能角色抽象来表示物体在交互中的行为。teacher LLM 从交互轨迹中提取角色原型和可执行转移规则,并生成指导 actor LLM 决策的技能;在目标环境中无需 teacher,即可通过交互在线修正角色分配与参数估计,且不更新 LLM 参数。在 MARS benchmark 上的实验显示,RoleWorld 能在物体行为显著变化的环境间实现稳健泛化。

  13. arXiv · cs.CL39

    PreSTO:预测式子树预取加速 LLM Power Sampling

    PreSTO 是一种预测式子树预取方法,通过批量预取未来 Metropolis–Hastings 提案来加速 PowerMH 采样器,且不改变其 MH 转移核。在 7 个数据集和 5 个基础 LLM 上,PreSTO 对 PowerMH、EntropyCut 和 MultiTryMH 分别取得中位 1.71×、1.91× 和 2.33× 加速,模型调用次数中位减少 3.9×,每次调用时长仅增至 2.1×。在 LCB V6 与 Qwen3.5-9B 上,预测式遍历规则比默认广度优先遍历再快 1.25×–1.37×。

  14. arXiv · cs.CL48

    TerminalHorizon:面向长程终端智能的 Agent 数据合成引擎

    研究者推出 TerminalHorizon,一个全自动长程终端 Agent 数据合成引擎,从真实职业工作出发识别被环境合成预先完成的关键工作,并在同一目标下渐进扩展任务。基于该引擎构建 1.5K 任务环境,对 Qwen3.5-27B 做监督微调得到 TerminalHorizon-27B,在覆盖 coding-agent、真实生产环境 Agent 任务和通用推理的全部 12 个基准上取得显著提升。多组各给予 12 小时研究预算的 RSI 案例进一步验证了模型基于反馈持续实验并在最终交付中保留有效改进的能力。

  15. arXiv · cs.CL25

    SOAR:面向搜索智能体的源感知强化学习与精确信用分配方法

    研究者提出 SOAR(SOurce-Aware Reinforcement learning),通过 Source-Aware Workflow 将推理拆分为外部信息与内部知识两条可观测流,并用 Source-Consistent Reward 引导策略演进,解决搜索智能体绕过外部检索、编造答案的问题。在 3B 和 7B 底座上,SOAR 分别超过基线 7.3% 和 5.4%,证据捏造减少 74.8%,提升了知识密集型基准上的表现与推理的可靠性。

  16. arXiv · cs.AI46

    TQS:面向编码智能体 SFT 数据筛选的结构化轨迹质量评分框架

    TQS(Trajectory Quality Score)是一种针对编码智能体轨迹的结构化评分框架,直接作用于轨迹结构,无需 LLM judge,且可线性时间运行,从信息聚焦、意图-动作对齐和策略动态三方面刻画轨迹质量。基于公开语料库中 155,144 条成功轨迹按 TQS 排序并筛选子集微调,模型在 SWE-Bench-Verified 上持续优于随机或低分轨迹训练的模型。

  17. arXiv · cs.AI24

    VIGOR:场景程序中可验证的工业几何优化与修复

    arXiv 论文提出 VIGOR,针对 LLM 生成的工业场景程序「可执行但不满足工程约束」的鸿沟,结合监督微调、基于执行的验证与分阶段几何修复。该工作构建了含 1,749 个可构建场景、每场景 94 项最终状态几何检查的数据集。VIGOR 达到 96.86% Complete Feasibility,Overall 得分 91.20,超最强基线 10.42 分。

  18. arXiv · cs.AI35

    面向 LLM 多智能体系统的能力感知编排方法

    一项 arXiv 研究提出两阶段能力感知框架,自动编排 LLM 多智能体系统协作,根据 backbone 对当前 query 的能力动态调整角色激活与通信图。该方法在六个 benchmark 上平均得分 93.81%;对高能力 backbone 将平均准确率从 87.22 提升至 89.97,同时降低 36.26% 的 token 成本;对低能力 backbone 较现有方法平均再提升 4.58 分,且趋势在未见过的 backbone 上同样成立。

  19. arXiv · cs.CL28

    Neurograf v1:面向罗马尼亚语的首个端到端语言模型家族

    研究者推出 Neurograf v1,一套从零训练的罗马尼亚语优先端到端语言模型管线,含 635 GB 语料 RoSfera(1.757 亿文档)、80k byte-level BPE 分词器、160M 至 6B 参数的五个 decoder-only 模型(共训练 131 billion tokens)、三个指令微调助手和两个对比训练嵌入模型。在 1,000 题 WWTBM 基准上,Neurograf-6B 在罗马尼亚语语境问题达 69.89% 准确率,Neurograf-3.2B 达 67.38%。该模型家族定位为实验性演示而非生产系统。

  20. arXiv · cs.AI30

    DP-MIND:面向百万 token 长上下文的差分隐私记忆引导推理框架

    DP-MIND 是一个记忆引导框架,将差分隐私(DP)推理扩展到百万 token 级长上下文。该方法对输入进行本地扰动后逐块处理,用紧凑记忆跨序列保留任务相关信息,并通过强化学习在扰动输入上直接优化记忆构建策略,还借助本地去噪模块恢复被噪声破坏的答案片段而不暴露原始上下文。在多个长上下文 benchmark 上,DP-MIND 在可扩展性和效用上均优于现有 DP 及长上下文推理基线。

  21. arXiv · cs.AI12

    Foresight:面向路网轨迹的前瞻式生成建模

    研究者提出面向路网轨迹生成的新范式 Anticipatory Generative Modeling 及其模型 Foresight。现有扩散模型等方法模拟位置序列,难以处理路口转向选择,甚至生成偏离路网的轨迹;Foresight 通过“预判—选择—更新—再预判”的概率循环,结合对通往目的地未来路径的前瞻来完成转向选择。实验显示 Foresight 胜过 SOTA 基线。

  22. arXiv · cs.AI53

    KnowForge 提出角色分工的多模态文档问答智能体流水线

    KnowForge 论文提出按职能分工的文档问答流水线,包含知识点索引、只能检索的 Locator、桥接判断器、只能读文本图像表格的 Deep Reader 和格式检查合成器。自托管 Qwen3.6-35B-A3B 在 M3DocVQA 上达 F1 47.5,比 M3DocRAG 高 11.0,DeepSeek-V4-Flash 达 53.5;MultiHop-RAG 准确率 73.5,超过已发表最强 RAG 与 GraphRAG 的 71.2。消融显示把两个智能体合并反而损失 1.9 F1,论文开源了提示词、代码和三个基准的只读知识库。

    推荐理由:论文用消融实验拆解各智能体角色的贡献,还验证了合并多角色反而掉分,方法可迁移到其他 RAG 流水线设计。

  23. arXiv · cs.CL21

    BenCoDiC:面向孟加拉语政治新闻语境的大规模网络欺凌语料库

    研究者发布 BenCoDiC 语料库,包含从 100 个 YouTube 视频及其讨论中收集的 50,250 条孟加拉语政治新闻语境文本,公开可用。语料保留“标题—评论—回复”关系,采用九维星型模式组织,并经两层人工标注加专家核验,Fleiss' κ 与 Krippendorff's α 均为 0.86。Transformer 实验显示,加入对话上下文相比孤立文本分类带来小幅但一致的提升。

  24. arXiv · cs.CL22

    从 210 万小时广播音频构建芬兰语语音 SSL 模型:置信度过滤与架构对比分析

    一项大规模芬兰语语音 SSL 研究从 210 万小时无约束广播音频出发,提出用 ASR 置信度作为预训练数据质量的代理指标。相比基于 LID 的过滤,该方法在训练集更小的情况下仍带来 3-7% 的相对 WER 提升。研究还在相同参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构,模型在 Base 规模和域外场景优于此前芬兰语 SSL 基线。

  25. arXiv · cs.CL22

    CliQ-RRG:临床知识引导的疾病感知视觉-文本对齐,用于问答式放射报告生成

    研究者提出 CliQ-RRG,一个两阶段放射报告自动生成框架。第一阶段用疾病感知视觉-文本对齐模块和 Prior-Guided Attention Module(PrAM)捕捉当前与既往扫描的多视图依赖;第二阶段通过 GraphRAG 检索引入图结构临床证据,并由大语言模型将其重组为带诊断摘要的问答(QA)对。在两个公开胸片基准上,该方法在词汇与临床指标上均优于已有方法,代码已开源。

  26. arXiv · cs.CL49

    ReTRAIL:面向长程智能体的回溯探索与演化框架

    arXiv 论文提出 ReTRAIL 框架,让大语言模型智能体在长程任务中将环境回退到早期状态,同时保留有效进展并携带从放弃探索中习得的知识。该方法用 State-Anchored GRPO 和分支推进奖励训练共享策略。在 MineSweeper、Sokoban、ALFWorld 和 ScienceWorld 四个交互式 benchmark 上,仅添加回退原语收益有限甚至降低性能,而 ReTRAIL 能复用废弃分支的经验指导后续探索。

  27. arXiv · cs.CL34

    CoBe:会话式反事实文本编辑基准发布,前沿模型平均仅得 58.05%

    研究者推出反事实文本编辑基准 CoBe,测试模型在对话式提示下零样本修改文本场景、同时保留未受因果影响事实的能力。基准含 2000 道题,覆盖医疗、科学与工程、商业及日常场景;前沿模型平均得分 58.05%,且常退化为关联式生成而非保留因果结构。性能与模型规模及输出 token 长度均不一致相关,表明问题可能源于训练目标而非模型容量不足。

  28. arXiv · cs.CL33

    RAMP:面向循环深度语言模型高效 prefill 的循环自适应混合精度方法

    RAMP(Recurrent Adaptive Mixed Precision)是一种针对循环深度语言模型长上下文 prefill 的自适应混合精度方法。研究发现循环深度早期引入的量化误差会被后续更多循环步骤衰减,因此对低精度计算前置、末端恢复高精度。在最长 4K 上下文上,RAMP 在 NVIDIA H100 上实现最高 1.16x 端到端首次 prefill 加速,延迟降低 13.9%,同时保持接近全精度的质量。

  29. arXiv · cs.AI22

    AdaCast:用条件参数生成实现自适应时间序列预测

    AdaCast 是一个时间序列预测的条件参数生成框架,由生成器为冻结的预训练时间序列基础模型产出针对每个输入的低秩参数更新。相比现有一次性方法只学习单一数据集级参数更新的静态适配方式,AdaCast 在训练和推理阶段都能按输入适配模型参数。在六个公开基准上,AdaCast 在域内预测中持续超越静态适配基线,并提升了跨域留出数据集的 zero-shot 泛化能力。

  30. arXiv · cs.AI27

    Batch Before You Lift:Cluster-TNN 实现大规模图上的可扩展拓扑深度学习

    研究者提出 Cluster-TNN,一种领域无关的拓扑深度学习框架,通过预处理划分图、运行时动态采样节点簇并在 mini-batch 内局部执行 graph lifting,避免全图提升带来的计算瓶颈。在与全图执行的 21 组对比中,Cluster-TNN 在所有配置下都降低峰值 GPU 显存,平均降幅 83.2%,同时保持有竞争力的预测性能。这一方法据作者所知首次使多种高阶 Topological Neural Networks 能在 Reddit(233k 节点、57.3M 边)和 OGBN Products 等大数据集上训练。

  31. arXiv · cs.AI26

    动态危险场下的实时运动规划:经典方法与基于学习方法对比研究

    arXiv 论文构建统一 benchmark,对比经典规划方法与基于学习方法在含旋转扇形危险区域的动态环境中的实时运动规划表现。结果显示:确定性环境中经典规划器成功率接近满分但规划耗时更长;随机障碍动态下,低计算预算常导致失败,而 PPO 策略在延迟、成功率和路径质量上全面占优。研究表明障碍演化中的不确定性而非部分可观测性,是决定规划范式有效性的主导因素。

  32. arXiv · cs.AI21

    音频嵌入里还剩多少音频信息?对音频编码器的反演审计

    一项 arXiv 研究通过配对源重建评估音频编码器中保留的信息:用共享的 Stable Audio Open 潜在扩散解码器,从 VGGish、ConvNeXt、CLAP、EnCodec 的冻结表示中重建 5 秒 44.1kHz 立体声音乐。在 Million Song Dataset 上的评测显示不同编码器族可重建性差异明显,接口暴露的时间与频谱结构越细,恢复效果越好;即使是压缩的任务导向嵌入,重建结果仍保留可测的源特异性和高层音乐内容。

  33. arXiv · cs.AI37

    Syn-Omni:结构化特化与渐进协同的全模态嵌入框架

    研究者提出 Syn-Omni 全模态嵌入框架,包含 OME-LoRA(共享 LoRA 通路加各模态专家 LoRA 通路)与渐进协同路由(PSR),让模态专家先建立模态专属先验再逐步跨模态交互。在覆盖图像、视频、音频和视听任务的 81 个基准任务上,Syn-Omni 持续超越全模态基线,论文已被 EMNLP 2026 Findings 接收。

  34. arXiv · cs.AI34

    DVD:面向高效 MLLM 感知的动态向量解码方法

    研究者提出动态向量解码方法 DVD,统一 2D 与 3D 感知任务的表示,将边界框、掩码等感知表示转为 1D 向量序列并映射为紧凑离散 token,再由轻量 de-tokenizer 解码回原始表示,可无缝接入 MLLM。在 RefCOCO 系列、SUN-RGBD、KITTI、Hypersim、nuScenes 等 2D/3D 基准上,DVD 取得更优性能,并显著降低 token 开销与推理延迟。

  35. arXiv · cs.AI34

    ARGUS 智能体框架:用证据约束的大语言模型解读基因组调控区变异

    ARGUS(Agentic Regulatory Genomics for an Uncertainty-aware Scientist)提出一个证据约束的智能体框架,将确定性生物计算与 LLM 推理分离,用于解读非编码调控区的单核苷酸变异。框架封装 458 个基于 DNABERT 的转录因子结合模型,在假设驱动的调查循环中由 planner 选择证据源、verifier 确定性解读观察结果。在 8q24 癌症风险位点变异 rs6983267 上,对 FOXA1、KLF6、RAD21、SP1 四个转录因子给出不同判定,所有观察均来自真实 ADASTRA、JASPAR 和 ENCODE cCRE 查询。该工作已被 NeurIPS 2026 AgenticLS 工作坊接收。

  36. arXiv · cs.AI57

    arXiv 论文评测七个开源模型作 Agent 护栏:一个词即可攻破类型化决策门控

    一篇 arXiv 论文(arXiv:2610.12292)评测了七个开源权重模型作为 Agent 护栏的决策能力,在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%,随机水平为 50%。在 Agent 工具调用合成测试中,六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%;给宽松选项起误导性名称后,对四个把标签纳入输入的模型该错误率达到 93% 至 100%,作者测试的所有防御手段均被攻破,结论是这类模型可以减少人工审核量,但不应作为最终决策组件。

    推荐理由:论文分别统计放行与拦截两类错误,并实测攻击方法,读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。

  37. arXiv · cs.AI11

    机器学习如何融入高能核物理:从模式识别到物理融合式发现

    一篇 arXiv 综述梳理了机器学习在高能核物理中从事件分类、模式识别走向物理融合式工作流的进展。文章覆盖重离子碰撞、中子星物理、格点 QFT 与全息 QCD 中的贝叶斯提取物质性质、生成式事例建模、神经退卷积与可微逆求解器等应用,并强调对称性、守恒律等物理约束及不确定性量化对可靠物理结论的作用。

  38. arXiv · cs.AI22

    ME-World:多智能体第一人称世界模型实现细粒度具身交互

    研究者提出多智能体第一人称世界模型 ME-World,将多智能体世界建模表述为多个智能体在共享世界中通过细粒度动作交互的同步 ego-stream 生成。该模型在共享 token 序列中联合去噪多路 ego 流,以各智能体目标视角位姿为条件,并用共享环境记忆锚定生成,同时引入环境、更新与身份一致性的 shared-world 一致性指标。在真实与合成多智能体数据上的实验显示,ME-World 在共享世界一致性、动作控制、身份保持和视频质量上均优于现有方法。

  39. arXiv · cs.AI23

    grasp:用函数梯度引导 LLM 学习概率逻辑程序

    研究者提出神经符号框架 grasp(Gradient-boosted Synthesis of Probabilistic logic programs),将关系结构学习转化为函数梯度提升,弱学习器为一阶规则,难解的内部符号搜索交给 LLM 提议预言机。在 Tox21 分子毒性预测、诱变性和 Cora 引用匹配四个关系型 benchmark 上,grasp 超越纯符号、神经网络及基于 LLM 的基线,同时生成可解释的加权规则集成。

  40. arXiv · cs.AI43

    LLM 内部结构研究:小世界连接性可作为推理能力的结构签名

    arXiv 论文提出以小世界指数(SWI)作为 LLM 推理能力的结构签名:基于注意力头激活相似度构建功能图,发现 SWI 越高越能预测流动推理表现。据此提出的层级稀疏分配方法 Small-World Allocation(SWA)在 6 个 LLM 上比其他分配策略更好地保留小世界组织与性能,将 WikiText 困惑度最多降低 20%。