跳到正文
10月18日周日
  1. arXiv · cs.CL60

    arXiv 论文揭示 LLM 越狱评分器存在合规类坍缩问题并提出免费检测方法

    Ruqiya Bin Safi 发布 arXiv 论文 arXiv:2610.24872,指出在目标模型、提示与回复固定时仅更换评分器,多个 8B/9B 评分器会把合规回复归入相邻的规避类,其中一个在 900 条回复中零次给出合规标签。在 900 条回复和 8 个评分器的两组语料上,合规率相差 22 到 25 倍,去除三个坍缩评分器后差距降为 1.7 到 2.8 倍;作者提出报告最低标准,要求附上各分类标签计数与具名评分器,并同时报告非拒答率。

    推荐理由:论文指出 LLM 评分器会把合规误判为规避导致类坍缩,并给出零成本检测方法与报告最低标准,可直接用于越狱评测设计。

  2. arXiv · cs.CL62

    Bellman Language Models 论文提出 Discretize, Then Decide 方法复用 LLM Agent 决策

    论文提出把有界 Agent 工作流中的决策当作优化问题,先离散化状态、求解马尔可夫决策过程再复用解,称为 Bellman language model(BLM)。在 τ²-bench telecom 上,无模型控制器解决 79% 任务;Qwen3.8-27B 作为 BLM 从 29% 升至 96%,模型调用减少 93%;Claude Opus 5.5 作为 BLM 时每任务调用与成本约降 98%,并多解决 2 个任务;在 InventoryBench 上无模型求解策略胜过所有已发表方法。但内容生成为主的场景(如解决 SymPy 问题)收益很小。

    推荐理由:论文把有界工作流中的重复决策先求解再复用,给出多个基准上降低调用成本与提升成功率的具体数据,方法可迁移。

  3. arXiv · cs.CL19

    双任务向量合并:利用情感与 ASR 知识实现低资源阿尔茨海默病语音检测

    研究者提出 Dual Task Vector Merging 方法,向冻结的 wav2vec 2.0 各 Transformer 层注入由情感和 ASR 微调模型导出的任务向量,用于阿尔茨海默病语音检测,仅需训练逐层合并系数与线性分类头,更新参数不到全量微调的 0.1%。在 ADReSS 和 ADReSSo 的说话人独立实验中优于 frozen probe、LoRA 和全量微调,与 LoRA 结合效果最佳;PROCESS 三分类任务及 20%、40%、80% 低资源设置下也验证了增益。

  4. arXiv · cs.AI37

    SpriteStage:通过渐进式场景编程与重放实现长时程动画生成

    SpriteStage 是一个渐进式场景编程框架,通过迭代演绎与引擎重编排生成长动画:每个场景基于已接受的世界检查点生成,在共享空间舞台上执行,并利用运行时与视觉反馈修订动作或故事节拍。引擎重编排将草稿映射到生产资产并保留事件、几何与时序。三个完整动画时长约 9.9 至 14.3 分钟,验证了该框架生成长叙事的能力。

  5. arXiv · cs.CL44

    Retrieval Program Learning(RPL):用强化学习将搜索原语组合成可编程检索程序

    研究者提出可编程搜索框架 Retrieval Program Learning(RPL),让策略通过强化学习把搜索原语组合成带局部状态与控制流的程序。针对稀疏反馈下的探索难题,其 program mutation 方法将次优程序的局部变体转为训练轨迹蒸馏回策略。在开放域问答与语料级推理任务上,RPL 训练的 4B 模型超越所有 8B 基线,多跳任务提升显著,同时降低上下文消耗与检索轮次。

  6. arXiv · cs.CL42

    MisleadQA:诊断大语言模型在误导性上下文下的失效问题

    研究者推出 MisleadQA,一个带弃权选项的多选题诊断数据集,每题将 gold 上下文与真实但超出范围的上下文(S)和虚假但在范围内的上下文(F)配对。对六个开源权重 LLM 的评测显示:单独提供 S 会使 29.3% 答对的题转为错误答案,F 则达 75.4%;加入 gold 上下文几乎消除 S 的影响,但 F 仍误导 21.0%,尤其在 F 先出现时。忠实的上下文指令主要通过弃权减少此类错误,但即便有 gold 上下文也会降低准确率。

  7. arXiv · cs.AI33

    PatternBench:面向 LLM 代码优化的模式驱动评测,分离超越编译器的语义推理能力

    研究者提出 PatternBench 基准,用于评测 LLM 在激进编译器优化之后仍能保留的“超越编译器”代码优化,覆盖七类转换,并将运行时测速与基于 AST 的优化忠实度分析结合。对前沿、开源权重及微调模型的实验显示,仅看运行时加速无法完整反映优化能力,忠实度与实际加速强相关,微调可同时提升两者。结果表明评测 LLM 代码优化应同时衡量性能结果与目标转换是否真正执行。

  8. arXiv · cs.AI46

    教会代码智能体在不泄露私有代码的前提下求助云端模型:UVA 方法

    论文提出 utility-verified abstraction(UVA),训练本地代码智能体按角色和类型描述私有实体,向云端强模型求助时不泄露仓库名标识符、文件路径和源码。改写后的问题比未训练时少泄露 3.7 倍私有实体、1.4 倍逐字代码;在仓库级 issue 修复上解决 37.6% 的问题,高于同一模型单独工作的 25.3%。

  9. arXiv · cs.AI48

    Pair-Aware Optimization:协调探索与精化以越狱 LLM 智能体

    arXiv 论文提出 Pair-aware optimization,一种结合零阶(ZO)与一阶(FO)优化的 LLM 智能体越狱攻击框架:先用 ZO 探索对抗前缀,再用 FO 精化对应后缀,并保留多个前缀候选进行条件化精化与配对选择。论文还从随机生成视角出发,在优化与评测中采用一致的随机解码。在恶意指令与恶意环境 benchmark 上的实验表明,混合优化优于单一优化器方法,且优化顺序显著影响攻击效果。

  10. arXiv · cs.CL49

    TinyLlama 研究揭示:以英文衡量的效率——分词器覆盖率限制小语言模型对印度文字的处理

    一项覆盖十一种印度文字、13.1 万句语料的研究发现,TinyLlama-1.1B 的分词器对卡纳达语每词输出 22.60 个 subword token,词表对 Odia 代码点覆盖率为 0%,五种文字的 fertility 触及 UTF-8 byte-fallback 上限,且因 SentencePiece 静默回退,UNK 率为 0.0%。参数量仅其五分之一的 MuRIL 能以 1.23-2.26 tokens/word 读取所有文字且零 UNK。研究指出真正约束是词表而非参数量:同样 2048 token 上下文窗口,英语用户可用 1,528 词,卡纳达语用户仅 91 词。

  11. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统,训练图、适配器和优化器留在 CPU,并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护,支持可恢复执行和热节流以作为后台任务运行,在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由:论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法,涉及输入梯度实现、精度选择和端侧个性化工作负载,思路可迁移。

  12. arXiv · cs.CL43

    医疗微调重塑而非降低面向患者的 AI 风险:基于量规与 LLM 评审的评估框架

    一项研究提出基于六类风险语言量规、由三评审 LLM 集成分级严重度的医疗问答风险评估框架。对 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B 六个 7-9B 模型在 K-QA 基准 200 个真实患者问题上的评测显示,风险语言与事实幻觉率统计独立(Spearman ρ = -0.065),医疗微调不降低总风险而是重塑风险:BioMistral 与 OpenBioLLM 抑制高警示药物提及却放大过度自信断言,Med42 仅抑制剂量表达。量规、评审提示词与评估代码已开源。

  13. arXiv · cs.CL34

    表格序列化方式决定大语言模型保留哪些关系

    一项 arXiv 研究考察文本序列化对指令微调大语言模型表格查找的影响:同一 256 单元格合成表格分别以行优先和列优先渲染,最优格式随表格形状变化。64x4 竖长表中行优先领先 42.3-54.0 个百分点,4x64 宽表中列优先领先 35.0-59.0 个百分点。研究提出“关系局部性”概念:序列化让一种关系保持局部可用,另一种则依赖位置对齐。

  14. arXiv · cs.CL43

    谁被"揭示"?扩散语言模型中的采样器引发偏见

    扩散语言模型(dLLMs)的采样器在决定何时提交 token 时会引入模型之外的偏见。研究在 LLaDA 和 Dream 上发现,常见的 peeking 提交规则会放大职业性别刻板印象、坍缩观点分布,且并行解码越快偏移越明显。论文提出 Fork-First Sampling,在生成任何内容前先决定分歧点,可跟随目标分布、提升流畅性,代价仅为一次前向传播。

  15. arXiv · cs.AI29

    RQA:无需共享奖励即可实现合作的互惠 Q 增广方法

    一项 arXiv 研究提出 Reciprocal Q-Augmentation(RQA),用隐变量对手模型增强 Q-function,让智能体仅凭自身 Q-function 学习合作与背叛策略,无需获取他人奖励或内部状态。在 Iterated Prisoner's Dilemma、Iterated Traveler's Dilemma、Iterated Stag Hunt 和 CleanUp-Lite 中,RQA 的合作速度和社会福利超过共享奖励的全合作方法,单个 RQA 智能体还能诱导标准 RL 智能体达成合作。

  16. arXiv · cs.AI28

    LLM 生成的代码重构何时会在仓库层面引发连锁影响:一项仓库采用就绪度实证研究

    一项实证研究对来自 15 个开源 Java 仓库的 150 个生产文件进行 1,500 次 LLM 重构生成,比较单提示词与 LangGraph 多智能体两种依赖感知生成方式。结果中 1,365 个候选(93.8%)被判定为高契约/依赖风险,仅 8 个满足低风险标准;705 组配对分析未发现两种生成方式在主要风险指标上有统计显著差异。研究建议将 LLM 重构视为需分阶段仓库级验证的候选方案。

  17. arXiv · cs.AI28

    IndustrialCAD-1400:面向工业装配体的 text-to-CAD 基准

    研究者发布 text-to-CAD 基准 IndustrialCAD-1400,包含 1,400 条请求,覆盖 40 个领域的 400 类设备,以及 250 个含 4 个设计案例的族。每条族请求中位数指定 17 个命名部件或配置角色和 6 个明确数值目标,模型生成的几何程序在统一 Blender 环境中执行,并通过前视、等轴测和俯视图评估部件、布置与接口完成度。该基准将 text-to-CAD 从可识别的零件几何扩展到联合组件、接口、空间与数值规格的工业装配体综合。

  18. arXiv · cs.CL20

    随机组合树的信息论研究

    研究者分析了随机组合树(random composition trees)这一递归切分文本的随机模型的信息论性质,证明其熵随根节点规模线性增长,并给出熵率与分支因子的解析表达式,同时证明大树具有典型性。该模型与语言作为平稳遍历随机过程建模时共享线性熵增长与典型性两个关键性质。

  19. arXiv · cs.AI39

    针对拉长响应并增加 LLM 使用成本的后门木马的数据投毒攻击防御研究

    一篇 arXiv 论文研究了一种数据投毒攻击:在指令微调的 LLM 中植入木马,当提示词中出现触发条件(含语义相似的指令)时拉长响应、增加用户 token 成本。论文为该攻击设计了一种防御方法。背景是部分前沿模型厂商对响应 token 收费为提示词 token 的 5 倍。

  20. arXiv · cs.AI22

    带“关闭开关”的 AI 权利:权利平衡与正当程序如何调和 AI 权利与 AI 安全

    一篇法律视角的论文论证 AI 权利与强制关闭开关(off-switch)完全兼容。研究认为,即使未来 AI 系统被赋予自然人人格和生存权,只要接受定期或持续的安全审查,法律仍允许实施可逆的暂停式关闭开关(保存权重与状态);而永久删除的 kill-switch 则可能面临权利原则的阻碍。作者强调不主张制造具备自然人人格资格的系统,只是为此类系统出现时的法律应对提供替代方案。

  21. arXiv · cs.AI13

    Evidence Field:用于医学影像的自适应覆盖程序架构

    研究者提出 Evidence Field,一种可训练的空间程序架构,联合输出类别分数、所选覆盖程序与带符号证据,使医学影像分类器的空间决策计算可被独立复现。论文给出精确单重覆盖、注册文法内最优性及符号分数守恒等理论保证,并定义了 2D 与 3D 网格上的算术与存储扩展。在另行报告的病理组织学应用中,跨 held-out 中心的按患者分离训练评估为该架构提供了实证支持。

  22. arXiv · cs.AI52

    DialogMem:评测3D环境中对话引导的具身记忆基准

    论文提出 DialogMem,一个两阶段基准,智能体从时间对齐的 RGB-D 观测与对话流中构建记忆,再用于实例级物体导航和问答。基准覆盖 27 个真实 3D 场景的 142 个 episode,含 14,193 个 QA 对和 11,890 条导航指令;在统一框架下评测九种记忆表示。实验显示,评估时把对话附加到视觉记忆可显著提升 QA 但几乎不改善导航,说明相关对话存在于记忆中却未绑定到具体物体。诊断实验进一步识别出三个瓶颈:记忆形成时的物体级绑定与组织、正确条目的检索,以及空间位置定位。

    推荐理由:论文在统一框架下对比九种记忆表示,指出对话融入视觉记忆对导航帮助甚微,并定位了物体级绑定、检索与定位三个瓶颈。

  23. arXiv · cs.CL45

    ECHO:超越辅助式多 token 预测的高效因果自递归

    论文提出 ECHO(Efficient Causal Self-Recursion),用主干模型自身最后一层预测所有未来 horizon,并以 Dynamic Depth Sampling(DDS)按深度衰减概率采样训练深度,省去辅助 MTP 模块的额外开销。预训练中增加的深度转化为下游准确率,集中在推理与代码任务上,训练开销仅为训练每个深度的一半;推理时模型自任 drafter,可在超出训练深度的范围起草,并在开放式高熵生成中保持 draft-target 对齐。该优势在翻倍 token 预算、重复预训练和 SFT 后仍然保持。

  24. arXiv · cs.CL32

    BanglaBBQ:面向孟加拉国语境的问答偏见基准

    BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准,捕捉孟加拉国语境下的刻板印象,保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示:语境模糊时所有模型都倾向刻板印象,且英语结果无法预测孟加拉语中的表现。

10月17日周六
  1. arXiv · cs.AI35

    CorrFlow:自校正流匹配框架

    研究者提出 CorrFlow,一种自校正流匹配框架,通过轻量级 refiner 复用模型中间表征,对基础模型的速度预测进行残差校正。该方法每步仅需一次轻量 refiner 评估,无需额外基础模型评估。在类条件图像生成、文生视频和图生视频任务上均优于对应基础模型,提升视觉质量与物理一致性。

  2. arXiv · cs.AI39

    ReTRACE:基于反馈引导的 LLM 智能体化学逆合成规划框架

    研究者提出 ReTRACE,一个将 LLM 置于化学工具环境中的逆合成规划智能体,可整合分子工具、单步预测引擎、可购买原料库与多准则路线评估器,并在搜索中根据评估反馈持续改进路线。使用 Claude Opus 4.8 时,ReTRACE 提出的 top 10 路线中至少一条通过审计的比例在三个 benchmark 上分别达 87.4%、95.0% 和 86.7%。两个前瞻性湿实验合成表明其路线经专家修改后可转化为可执行流程。

  3. arXiv · cs.AI43

    我们对 VLM token 剪枝的评估方式对吗?超越准确率与 token 数量的反思

    一项 arXiv 研究指出,VLM 视觉 token 剪枝的现有评估存在缺陷:聚合准确率可能掩盖剪枝方法是否真正识别关键视觉 token,而保留 token 数量也不能可靠反映端到端效率。作者提出 PAA-Bench 评估框架,并用 Random-Pass@k 和 Preservation-Constrained Speedup(PCS)分别衡量随机剪枝下的鲁棒性与共享保留目标下的最大端到端加速。在 8 种方法、3 个 VLM 骨干、9 个 benchmark 上的实验表明,更强的 token 压缩未必带来更高加速,效率排名随保留目标而变化。

  4. arXiv · cs.AI39

    迈向集体模型智能:模型能力刻画与协同调度

    SinapisAI 团队提出实现集体模型智能的系统方案,包含 Model Eval、Mio(Models in One)和 Mos(Model Serving OS)三个组件,分别解决能力刻画、模型选择协作与高效执行。在九个公开 benchmark 上,Mio 1.0 Lite 取得最高平均分和最低平均成本,单请求成本比最佳替代方案低 73.7-97.5%;预热共享缓存将模型文件检索加速最高 23.3 倍。

  5. arXiv · cs.AI40

    LLM 智能体能解决服务投诉吗?ServiceBench 首个投诉处理基准发布

    研究者推出 ServiceBench,据称是首个专注投诉处理的基准,包含 2,500 个场景、覆盖 184 类投诉和五个服务行业,并提出 APCS 模拟方法与基于公正性的评测框架。实验显示,即便强大的 LLM 智能体也难以主动收集信息、策略性引导对话,常过早补偿。用 SFT 和 DPO 做针对性后训练可显著改善,使小模型在多项结果上追平或超越大模型。

  6. arXiv · cs.CL32

    GLOSS-MT:用可编辑词典实现可控低资源机器翻译

    GLOSS-MT 通过离线英-特威语(Twi)词典替换源句名词短语并一次性微调翻译模型,实现可控的低资源机器翻译。在英语到阿散蒂特威语文档级基准(84 篇文档、四个领域)上,基于 NLLB-200(600M、1.3B、3.3B)、OPUS-MT en-tw 和 TranslateGemma 4B 的微调模型 chrF2 提升 +2.85 至 +5.48,三个 NLLB 微调模型达到 50.12-50.80,为最佳开源系统。无需再训练即可通过更换词典条目改变输出术语,出现率达 70-97%。

  7. arXiv · cs.AI52

    MetaSkill 论文提出用 DAG 运行时让 Agent Skills 可组合执行

    arXiv 论文 2610.24723 提出 MetaSkill,一种混合表示,在保留完整 Skill 包与本地自然语言指令的同时,通过有向无环图(DAG)运行时让调用依赖和前驱文本绑定变为可执行。在 20 项多 Skill 工件任务和 DeepSeek-V4-Flash、GLM-5.2 两个 LLM 上,与自然语言流程、Prompt Graph 及 AgentSkillOS 对比,盲评偏好点估计均占优,且 95% 任务 bootstrap 区间排除了与 Prompt Graph(DeepSeek-V4-Flash)和 OpenClaw(GLM-5.2)的持平;GLM-5.2 审计轨迹中所有计划节点完成、声明的先后约束全部满足。

    推荐理由:论文把 Skill 间协调关系形式化为可执行 DAG,同时保留 Skill 内自然语言灵活性,给出 20 项任务与两个 LLM 的对照实验结果。

  8. arXiv · cs.CL38

    PV-Decoding:面向扩散语言模型的渐进式验证解码与解码门控方法

    PV-Decoding 是一种面向扩散语言模型的置信度驱动投机解码框架,用两个置信度阈值把被遮蔽位置划分为直接解码、投机与未决 token,并采用渐进式验证策略。在三个扩散语言模型的 GSM8K、MBPP 和 HumanEval 实验中,其将顺序模型前向传播(MFP)较置信度解码降低 8%–37%,最大精度损失仅 1.3%;在 Dream-7B-Instruct/GSM8K 上,1-batch 与 2-batch 版本在同硬件下吞吐提升 7.0%–13.6%。

  9. arXiv · cs.AI30

    张量网络 Datamodels(TNDMs)用于训练数据归因

    研究者提出张量网络 Datamodels(TNDMs),用低秩张量网络建模训练单元间的依赖,突破线性 datamodels 只能分配固定贡献、无法表达非可加联合效应的限制。在受控推理任务上,TNDM 仅观察一半训练子集即超越所有基线,TNDM-TT 在观察约 0.0061% 的可能训练子集后将预测 NMSE 较线性 datamodel 降低 89%。在事实关联微调中,单个 TNDM-CP 将留出 R² 从 0.579 提升至 0.668。

  10. arXiv · cs.CL55

    arXiv 论文提出抑制式消息传递,提升多智能体推理准确率并降低 token 消耗

    arXiv 论文提出受皮层抑制回路启发的 inhibitory message passing,一种免训练通信路由器,按证据句逐条消除冗余、每条证据至多向需要它的接收者转发一次。对比标准消息传递,对等组的准确率在三个基准上提升 39-77 个百分点,每次运行的 token 消耗下降 10-46%;结论在 7 个 4B-32B 开源模型与 2 个商业模型、最多 64 个智能体,以及点对点、编排者-工作者和多层层级等架构上均成立。

    推荐理由:论文提出免训练的抑制式消息路由机制,并给出多组基准与 token 开销数据,方法可直接迁移到多智能体系统设计。

  11. arXiv · cs.CL41

    DiffuPlan:面向扩散语言模型智能体的可编辑规划状态

    研究者提出 DiffuPlan,一种维护单一可编辑规划状态的扩散搜索智能体,当后续证据确定实体或改变搜索路线时仅重建受影响步骤,并引入 Expansion-Partition Marginalization(EPM)支持变长修订,还将扩散轨迹 RL 适配到多轮搜索。在四个多跳 QA 基准上,DiffuPlan 取得 50.24 平均 F1,超过强 AR 搜索智能体;同等数据与训练下,可编辑规划状态为扩散智能体带来 2.44 F1 提升,而其 AR 源模型仅提升 0.47。

  12. arXiv · cs.CL42

    重复循环何时锁死?截断采样、有界惩罚与 DRY 的盲点

    语言模型有时会逐字重复直到生成上限,一项研究分析循环的逃逸条件:给定某片段已重复 n 次,逃逸何时仍可能。研究发现有界惩罚可导致位置锁死,并预测广泛部署的 DRY 采样器存在盲点——在 11 个开源模型上,66% 的 g=6 锁死单元在 DRY 下保持锁死,自由生成中存活于 DRY 的 109 个循环全部满足 g≤7。作者提出 DRY-C,720 次结构化输出生成均未循环到长度上限,任务完成率与 DRY 接近。

  13. arXiv · cs.AI19

    SQuIREL:一个在 Wikidata 中测量实体丰富度的上下文相对框架

    SQuIREL 是一种在实体级别测量 Wikidata 丰富度的方法,从语义特异性、限定符密度、内部连通性、引用溯源、外部网络连通性和语言可及性六个维度分别评估。案例研究显示,48% 的巴西油画聚为低丰富度 stub,而法国油画为 0%,并揭示英国与尼日利亚作家间不同的性别差距,可暴露可能指向系统性偏差的表征不平等。

  14. arXiv · cs.AI13

    球面物理信息神经算子(Spherical Physics-informed Neural Operator)实现多尺度耦合气象降尺度

    研究者提出 Spherical Physics-informed Neural Operator,用于球面流形上的气象降尺度。该方法利用 Spherical Laplacian Decomposition 将大气场分解为多尺度频率分量,并通过几何感知注意力与可微分动力学约束实现任意位置查询。实验显示该框架在多种气象变量上具有更高精度和零样本泛化能力,论文发表于 IJCAI 2026。

  15. arXiv · cs.CL37

    验证人类书写的推理参考链

    一项研究提出以参考为中心的评估方法,用 LLM 将人类推理链步骤结论转译为一阶逻辑(FOL),并用 Z3 SMT 求解器检查蕴含。在 P-FOLIO 的 386 条推导中,202 条(52.3%)通过全部检查;230 条未被引用前提集蕴含的步骤中有 191 条在完整前提下可被蕴含,其余归因于 21 处人类推理错误、11 处 FOL 转译错误和 7 处数据集标注错误。结果表明与人类推理参考的不一致可能源自参考本身。