跳到正文
10月18日周日
  1. arXiv · cs.CL49

    TinyLlama 研究揭示:以英文衡量的效率——分词器覆盖率限制小语言模型对印度文字的处理

    一项覆盖十一种印度文字、13.1 万句语料的研究发现,TinyLlama-1.1B 的分词器对卡纳达语每词输出 22.60 个 subword token,词表对 Odia 代码点覆盖率为 0%,五种文字的 fertility 触及 UTF-8 byte-fallback 上限,且因 SentencePiece 静默回退,UNK 率为 0.0%。参数量仅其五分之一的 MuRIL 能以 1.23-2.26 tokens/word 读取所有文字且零 UNK。研究指出真正约束是词表而非参数量:同样 2048 token 上下文窗口,英语用户可用 1,528 词,卡纳达语用户仅 91 词。

  2. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统,训练图、适配器和优化器留在 CPU,并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护,支持可恢复执行和热节流以作为后台任务运行,在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由:论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法,涉及输入梯度实现、精度选择和端侧个性化工作负载,思路可迁移。

  3. arXiv · cs.CL43

    医疗微调重塑而非降低面向患者的 AI 风险:基于量规与 LLM 评审的评估框架

    一项研究提出基于六类风险语言量规、由三评审 LLM 集成分级严重度的医疗问答风险评估框架。对 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B 六个 7-9B 模型在 K-QA 基准 200 个真实患者问题上的评测显示,风险语言与事实幻觉率统计独立(Spearman ρ = -0.065),医疗微调不降低总风险而是重塑风险:BioMistral 与 OpenBioLLM 抑制高警示药物提及却放大过度自信断言,Med42 仅抑制剂量表达。量规、评审提示词与评估代码已开源。

  4. arXiv · cs.CL34

    表格序列化方式决定大语言模型保留哪些关系

    一项 arXiv 研究考察文本序列化对指令微调大语言模型表格查找的影响:同一 256 单元格合成表格分别以行优先和列优先渲染,最优格式随表格形状变化。64x4 竖长表中行优先领先 42.3-54.0 个百分点,4x64 宽表中列优先领先 35.0-59.0 个百分点。研究提出“关系局部性”概念:序列化让一种关系保持局部可用,另一种则依赖位置对齐。

  5. arXiv · cs.CL43

    谁被"揭示"?扩散语言模型中的采样器引发偏见

    扩散语言模型(dLLMs)的采样器在决定何时提交 token 时会引入模型之外的偏见。研究在 LLaDA 和 Dream 上发现,常见的 peeking 提交规则会放大职业性别刻板印象、坍缩观点分布,且并行解码越快偏移越明显。论文提出 Fork-First Sampling,在生成任何内容前先决定分歧点,可跟随目标分布、提升流畅性,代价仅为一次前向传播。

  6. arXiv · cs.AI29

    RQA:无需共享奖励即可实现合作的互惠 Q 增广方法

    一项 arXiv 研究提出 Reciprocal Q-Augmentation(RQA),用隐变量对手模型增强 Q-function,让智能体仅凭自身 Q-function 学习合作与背叛策略,无需获取他人奖励或内部状态。在 Iterated Prisoner's Dilemma、Iterated Traveler's Dilemma、Iterated Stag Hunt 和 CleanUp-Lite 中,RQA 的合作速度和社会福利超过共享奖励的全合作方法,单个 RQA 智能体还能诱导标准 RL 智能体达成合作。

  7. arXiv · cs.AI28

    LLM 生成的代码重构何时会在仓库层面引发连锁影响:一项仓库采用就绪度实证研究

    一项实证研究对来自 15 个开源 Java 仓库的 150 个生产文件进行 1,500 次 LLM 重构生成,比较单提示词与 LangGraph 多智能体两种依赖感知生成方式。结果中 1,365 个候选(93.8%)被判定为高契约/依赖风险,仅 8 个满足低风险标准;705 组配对分析未发现两种生成方式在主要风险指标上有统计显著差异。研究建议将 LLM 重构视为需分阶段仓库级验证的候选方案。

  8. arXiv · cs.AI28

    IndustrialCAD-1400:面向工业装配体的 text-to-CAD 基准

    研究者发布 text-to-CAD 基准 IndustrialCAD-1400,包含 1,400 条请求,覆盖 40 个领域的 400 类设备,以及 250 个含 4 个设计案例的族。每条族请求中位数指定 17 个命名部件或配置角色和 6 个明确数值目标,模型生成的几何程序在统一 Blender 环境中执行,并通过前视、等轴测和俯视图评估部件、布置与接口完成度。该基准将 text-to-CAD 从可识别的零件几何扩展到联合组件、接口、空间与数值规格的工业装配体综合。

  9. arXiv · cs.CL20

    随机组合树的信息论研究

    研究者分析了随机组合树(random composition trees)这一递归切分文本的随机模型的信息论性质,证明其熵随根节点规模线性增长,并给出熵率与分支因子的解析表达式,同时证明大树具有典型性。该模型与语言作为平稳遍历随机过程建模时共享线性熵增长与典型性两个关键性质。

  10. arXiv · cs.AI39

    针对拉长响应并增加 LLM 使用成本的后门木马的数据投毒攻击防御研究

    一篇 arXiv 论文研究了一种数据投毒攻击:在指令微调的 LLM 中植入木马,当提示词中出现触发条件(含语义相似的指令)时拉长响应、增加用户 token 成本。论文为该攻击设计了一种防御方法。背景是部分前沿模型厂商对响应 token 收费为提示词 token 的 5 倍。

  11. arXiv · cs.AI22

    带“关闭开关”的 AI 权利:权利平衡与正当程序如何调和 AI 权利与 AI 安全

    一篇法律视角的论文论证 AI 权利与强制关闭开关(off-switch)完全兼容。研究认为,即使未来 AI 系统被赋予自然人人格和生存权,只要接受定期或持续的安全审查,法律仍允许实施可逆的暂停式关闭开关(保存权重与状态);而永久删除的 kill-switch 则可能面临权利原则的阻碍。作者强调不主张制造具备自然人人格资格的系统,只是为此类系统出现时的法律应对提供替代方案。

  12. arXiv · cs.AI13

    Evidence Field:用于医学影像的自适应覆盖程序架构

    研究者提出 Evidence Field,一种可训练的空间程序架构,联合输出类别分数、所选覆盖程序与带符号证据,使医学影像分类器的空间决策计算可被独立复现。论文给出精确单重覆盖、注册文法内最优性及符号分数守恒等理论保证,并定义了 2D 与 3D 网格上的算术与存储扩展。在另行报告的病理组织学应用中,跨 held-out 中心的按患者分离训练评估为该架构提供了实证支持。

  13. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

  14. arXiv · cs.CL45

    ECHO:超越辅助式多 token 预测的高效因果自递归

    论文提出 ECHO(Efficient Causal Self-Recursion),用主干模型自身最后一层预测所有未来 horizon,并以 Dynamic Depth Sampling(DDS)按深度衰减概率采样训练深度,省去辅助 MTP 模块的额外开销。预训练中增加的深度转化为下游准确率,集中在推理与代码任务上,训练开销仅为训练每个深度的一半;推理时模型自任 drafter,可在超出训练深度的范围起草,并在开放式高熵生成中保持 draft-target 对齐。该优势在翻倍 token 预算、重复预训练和 SFT 后仍然保持。

  15. arXiv · cs.CL32

    BanglaBBQ:面向孟加拉国语境的问答偏见基准

    BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准,捕捉孟加拉国语境下的刻板印象,保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示:语境模糊时所有模型都倾向刻板印象,且英语结果无法预测孟加拉语中的表现。

10月17日周六
  1. arXiv · cs.AI35

    CorrFlow:自校正流匹配框架

    研究者提出 CorrFlow,一种自校正流匹配框架,通过轻量级 refiner 复用模型中间表征,对基础模型的速度预测进行残差校正。该方法每步仅需一次轻量 refiner 评估,无需额外基础模型评估。在类条件图像生成、文生视频和图生视频任务上均优于对应基础模型,提升视觉质量与物理一致性。

  2. arXiv · cs.AI39

    ReTRACE:基于反馈引导的 LLM 智能体化学逆合成规划框架

    研究者提出 ReTRACE,一个将 LLM 置于化学工具环境中的逆合成规划智能体,可整合分子工具、单步预测引擎、可购买原料库与多准则路线评估器,并在搜索中根据评估反馈持续改进路线。使用 Claude Opus 4.8 时,ReTRACE 提出的 top 10 路线中至少一条通过审计的比例在三个 benchmark 上分别达 87.4%、95.0% 和 86.7%。两个前瞻性湿实验合成表明其路线经专家修改后可转化为可执行流程。

  3. arXiv · cs.AI43

    我们对 VLM token 剪枝的评估方式对吗?超越准确率与 token 数量的反思

    一项 arXiv 研究指出,VLM 视觉 token 剪枝的现有评估存在缺陷:聚合准确率可能掩盖剪枝方法是否真正识别关键视觉 token,而保留 token 数量也不能可靠反映端到端效率。作者提出 PAA-Bench 评估框架,并用 Random-Pass@k 和 Preservation-Constrained Speedup(PCS)分别衡量随机剪枝下的鲁棒性与共享保留目标下的最大端到端加速。在 8 种方法、3 个 VLM 骨干、9 个 benchmark 上的实验表明,更强的 token 压缩未必带来更高加速,效率排名随保留目标而变化。

  4. arXiv · cs.AI39

    迈向集体模型智能:模型能力刻画与协同调度

    SinapisAI 团队提出实现集体模型智能的系统方案,包含 Model Eval、Mio(Models in One)和 Mos(Model Serving OS)三个组件,分别解决能力刻画、模型选择协作与高效执行。在九个公开 benchmark 上,Mio 1.0 Lite 取得最高平均分和最低平均成本,单请求成本比最佳替代方案低 73.7-97.5%;预热共享缓存将模型文件检索加速最高 23.3 倍。

  5. arXiv · cs.AI40

    LLM 智能体能解决服务投诉吗?ServiceBench 首个投诉处理基准发布

    研究者推出 ServiceBench,据称是首个专注投诉处理的基准,包含 2,500 个场景、覆盖 184 类投诉和五个服务行业,并提出 APCS 模拟方法与基于公正性的评测框架。实验显示,即便强大的 LLM 智能体也难以主动收集信息、策略性引导对话,常过早补偿。用 SFT 和 DPO 做针对性后训练可显著改善,使小模型在多项结果上追平或超越大模型。

  6. arXiv · cs.CL32

    GLOSS-MT:用可编辑词典实现可控低资源机器翻译

    GLOSS-MT 通过离线英-特威语(Twi)词典替换源句名词短语并一次性微调翻译模型,实现可控的低资源机器翻译。在英语到阿散蒂特威语文档级基准(84 篇文档、四个领域)上,基于 NLLB-200(600M、1.3B、3.3B)、OPUS-MT en-tw 和 TranslateGemma 4B 的微调模型 chrF2 提升 +2.85 至 +5.48,三个 NLLB 微调模型达到 50.12-50.80,为最佳开源系统。无需再训练即可通过更换词典条目改变输出术语,出现率达 70-97%。

  7. arXiv · cs.AI52

    MetaSkill 论文提出用 DAG 运行时让 Agent Skills 可组合执行

    arXiv 论文 2610.24723 提出 MetaSkill,一种混合表示,在保留完整 Skill 包与本地自然语言指令的同时,通过有向无环图(DAG)运行时让调用依赖和前驱文本绑定变为可执行。在 20 项多 Skill 工件任务和 DeepSeek-V4-Flash、GLM-5.2 两个 LLM 上,与自然语言流程、Prompt Graph 及 AgentSkillOS 对比,盲评偏好点估计均占优,且 95% 任务 bootstrap 区间排除了与 Prompt Graph(DeepSeek-V4-Flash)和 OpenClaw(GLM-5.2)的持平;GLM-5.2 审计轨迹中所有计划节点完成、声明的先后约束全部满足。

    推荐理由:论文把 Skill 间协调关系形式化为可执行 DAG,同时保留 Skill 内自然语言灵活性,给出 20 项任务与两个 LLM 的对照实验结果。

  8. arXiv · cs.CL38

    PV-Decoding:面向扩散语言模型的渐进式验证解码与解码门控方法

    PV-Decoding 是一种面向扩散语言模型的置信度驱动投机解码框架,用两个置信度阈值把被遮蔽位置划分为直接解码、投机与未决 token,并采用渐进式验证策略。在三个扩散语言模型的 GSM8K、MBPP 和 HumanEval 实验中,其将顺序模型前向传播(MFP)较置信度解码降低 8%–37%,最大精度损失仅 1.3%;在 Dream-7B-Instruct/GSM8K 上,1-batch 与 2-batch 版本在同硬件下吞吐提升 7.0%–13.6%。

  9. arXiv · cs.AI30

    张量网络 Datamodels(TNDMs)用于训练数据归因

    研究者提出张量网络 Datamodels(TNDMs),用低秩张量网络建模训练单元间的依赖,突破线性 datamodels 只能分配固定贡献、无法表达非可加联合效应的限制。在受控推理任务上,TNDM 仅观察一半训练子集即超越所有基线,TNDM-TT 在观察约 0.0061% 的可能训练子集后将预测 NMSE 较线性 datamodel 降低 89%。在事实关联微调中,单个 TNDM-CP 将留出 R² 从 0.579 提升至 0.668。

  10. arXiv · cs.CL55

    arXiv 论文提出抑制式消息传递,提升多智能体推理准确率并降低 token 消耗

    arXiv 论文提出受皮层抑制回路启发的 inhibitory message passing,一种免训练通信路由器,按证据句逐条消除冗余、每条证据至多向需要它的接收者转发一次。对比标准消息传递,对等组的准确率在三个基准上提升 39-77 个百分点,每次运行的 token 消耗下降 10-46%;结论在 7 个 4B-32B 开源模型与 2 个商业模型、最多 64 个智能体,以及点对点、编排者-工作者和多层层级等架构上均成立。

    推荐理由:论文提出免训练的抑制式消息路由机制,并给出多组基准与 token 开销数据,方法可直接迁移到多智能体系统设计。

  11. arXiv · cs.CL41

    DiffuPlan:面向扩散语言模型智能体的可编辑规划状态

    研究者提出 DiffuPlan,一种维护单一可编辑规划状态的扩散搜索智能体,当后续证据确定实体或改变搜索路线时仅重建受影响步骤,并引入 Expansion-Partition Marginalization(EPM)支持变长修订,还将扩散轨迹 RL 适配到多轮搜索。在四个多跳 QA 基准上,DiffuPlan 取得 50.24 平均 F1,超过强 AR 搜索智能体;同等数据与训练下,可编辑规划状态为扩散智能体带来 2.44 F1 提升,而其 AR 源模型仅提升 0.47。

  12. arXiv · cs.CL42

    重复循环何时锁死?截断采样、有界惩罚与 DRY 的盲点

    语言模型有时会逐字重复直到生成上限,一项研究分析循环的逃逸条件:给定某片段已重复 n 次,逃逸何时仍可能。研究发现有界惩罚可导致位置锁死,并预测广泛部署的 DRY 采样器存在盲点——在 11 个开源模型上,66% 的 g=6 锁死单元在 DRY 下保持锁死,自由生成中存活于 DRY 的 109 个循环全部满足 g≤7。作者提出 DRY-C,720 次结构化输出生成均未循环到长度上限,任务完成率与 DRY 接近。

  13. arXiv · cs.AI19

    SQuIREL:一个在 Wikidata 中测量实体丰富度的上下文相对框架

    SQuIREL 是一种在实体级别测量 Wikidata 丰富度的方法,从语义特异性、限定符密度、内部连通性、引用溯源、外部网络连通性和语言可及性六个维度分别评估。案例研究显示,48% 的巴西油画聚为低丰富度 stub,而法国油画为 0%,并揭示英国与尼日利亚作家间不同的性别差距,可暴露可能指向系统性偏差的表征不平等。

  14. arXiv · cs.AI13

    球面物理信息神经算子(Spherical Physics-informed Neural Operator)实现多尺度耦合气象降尺度

    研究者提出 Spherical Physics-informed Neural Operator,用于球面流形上的气象降尺度。该方法利用 Spherical Laplacian Decomposition 将大气场分解为多尺度频率分量,并通过几何感知注意力与可微分动力学约束实现任意位置查询。实验显示该框架在多种气象变量上具有更高精度和零样本泛化能力,论文发表于 IJCAI 2026。

  15. arXiv · cs.CL37

    验证人类书写的推理参考链

    一项研究提出以参考为中心的评估方法,用 LLM 将人类推理链步骤结论转译为一阶逻辑(FOL),并用 Z3 SMT 求解器检查蕴含。在 P-FOLIO 的 386 条推导中,202 条(52.3%)通过全部检查;230 条未被引用前提集蕴含的步骤中有 191 条在完整前提下可被蕴含,其余归因于 21 处人类推理错误、11 处 FOL 转译错误和 7 处数据集标注错误。结果表明与人类推理参考的不一致可能源自参考本身。

  16. arXiv · cs.AI11

    CoLAT:面向标签投毒下鲁棒图神经网络的对比对抗训练方法

    研究者提出 CoLAT(Contrastive Label-flipping for Adversarial Training),一个针对图神经网络标签投毒防御的对比对抗训练框架。该方法利用对比嵌入识别标签-结构不一致的高风险节点,在对抗训练中引导对抗性标签翻转,并顺带清洗部分受损标签。在多个 benchmark 上,CoLAT 在不同投毒强度下持续优于现有防御方法,且可高效扩展到大图。

  17. arXiv · cs.CL67

    显式记忆系统是否必要?研究在 LongMemEval-S 和 BEAM-100K 上与原始历史检索对照

    一项 arXiv 研究(arXiv:2610.24671)在 LongMemEval-S 和 BEAM-100K 上对比六个 SOTA 显式记忆系统与原始历史 RAG,发现后者并无一致劣势,显式记忆只在特定问题类型和紧凑运行时上下文预算下有局部收益。Oracle 检索显示部分系统在记忆构建时丢失答案支撑信息,另一些则保存了却检索不出,尽管构建成本可达每段对话数小时;作者指出改进对已有信息的检索可能比构建更精细的显式记忆更重要。

    推荐理由:原文用受控检索设置对比六种显式记忆系统与原始历史 RAG,指出检索环节被低估,方法结论可迁移到记忆系统设计。

  18. arXiv · cs.CL61

    arXiv 论文:RL 给推理带来的是 base 模型原本不会做的少数关键决策

    一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预,分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token,就能恢复 90.5% 的 pass@1 增益;强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益,开头之后的后续替换再增加 5.2 个百分点,而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题,高于 RL 模型的 61.4%,同时保留较多 base 模型多样性;比较基于相同尝试次数而非相同算力。

    推荐理由:论文用生成时干预把 RLVR 增益拆到具体 token 决策层面,结论对理解 RL 训练到底改变了什么有参考价值。

  19. arXiv · cs.AI16

    从预测到行动:面向数字医学的人群健康世界模型(PHWM)

    arXiv 论文提出人群健康世界模型(PHWM),主张数字医学不应止步于任务特定的预测,而要刻画干预如何改变个体健康轨迹与人群健康动态。论文指出当前研究存在动态健康状态建模、人群级干预智能、面向行动的验证与公平治理三大结构性缺口,并给出行动依赖观测下的表示学习、多尺度干预智能与带明确决策边界的验证三项最小能力。

  20. arXiv · cs.AI40

    AI 智能体能否立法?评估 AI 的法律相关性与创造力

    一项研究让单个大语言模型扮演多个角色进行“制宪会议”辩论,为“AI 智能体社区”起草假设性宪法。各会议收敛出一组稳定的基础法律条款,并围绕其产生多种提案,包括人类法律中没有对应物的 AI 专属条款。研究发现存在创造力天花板:AI 能把熟悉的法律概念重组扩展到新情境,但无法深入思考这些情境带来的改变,仍依赖人类法律推理。

  21. arXiv · cs.AI61

    arXiv 论文发现决策模型控制器使 Claude Sonnet 5.5 终端 Agent 成本升 19% 而成功率不变

    arXiv 论文(arXiv:2610.24649)在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中,Jev 使单次尝试成本上升 19%(几何均值比 1.19,95% CI 1.02-1.36),通过率不变(73.0% vs 73.0%);比小模型 Claude Haiku 5.5 控制器便宜(比值 0.81),但比安慰剂贵 22%。离线评估中 Jev 排序优于规则(AUROC 0.78 vs 0.62)但校准差:判为未完成的运行中 87% 实际通过,导致要求验证本已正确的工作;所有控制器都从未选择放弃运行。

    推荐理由:论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响,数据具体,结论对脚手架设计有参考价值。

  22. arXiv · cs.AI39

    频域成员推断攻击为何敌不过置信度阈值:分频段分析

    一项 arXiv 研究通过零相位低通滤波逐频段测试,发现基于频域衰减的成员推断攻击并不优于单一置信度阈值。在联邦学习的两个 ResNet-18 目标模型上,最优频段得分 AUC 为 0.513 和 0.735,而置信度阈值分别达 0.537 和 0.943;对 1206 个候选得分的搜索也未找到胜出者。机制在于:去除细节时成员与非成员的置信度差距虽增大,但方差增长更快,成员信息随图像整体结构而非某一频段存在。

  23. arXiv · cs.AI38

    SELM:面向多技能智能体优化的自进化技能库管理框架

    论文提出 SELM(Self-Evolving Library Management)框架,将 LLM 智能体技能进化建模为库级管理问题,通过维护技能置信度与效用信号,联合管理技能检索、更新与生命周期。SELM 引入效用感知检索、Map-Reduce 定向更新及基于有效性的技能保留/剪枝机制。在四个覆盖多任务与执行环境的 agent benchmark 上,SELM 在多数设置中持续优于对比方法。