跳到正文
10月22日周四
  1. arXiv · cs.CL37

    Transformer MLP 中的读-写耦合机制分析

    arXiv 论文将 Transformer MLP 的每个隐通道分解为决定响应时机的 reader 和决定写回残差流内容的 writer,利用更新的 Jacobian 为每个通道计算带符号的配对坐标。测量显示各 block 都存在小的强耦合通道核心,且几乎全部呈对立方向——writer 朝 reader 响应方向的反方向写入,这一模式从从头训练的小模型到已发布 checkpoint 都成立,训练早期几步内即定型。翻转对立 writer 会使输出偏向常见 token,被置换到其他 reader 的 writer 会重新适配该 reader。

  2. arXiv · cs.CL61

    研究:去审查不等于无偏差,abliteration 移除拒绝但不移除关于台湾的脚本依赖偏差

    Ju-Chun Ko 在 arXiv 发表论文(arXiv:2610.29342),测试 abliteration(去审查)模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本,以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration:原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05,且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06;abliteration 最多改变 0.06。

    推荐理由:论文用配对模型实测 abliteration 前后偏差,显示去审查不等于去立场偏差,并给出脚本切换与立场方向的量化证据。

  3. arXiv · cs.CL34

    Decodability Is Not Controllability:连续潜变量 TTS 中说话人控制的局部与各向异性研究

    一项 arXiv 研究表明,在 VoxCPM2 连续潜变量 TTS 中,高线性可解码性不等于因果可控性:RALM L7 层探测准确率达 0.970,但对齐编辑在 60 组配对中 0 组成功;而在 L0 层编辑可将目标相似度提升 0.326,60 组全部实现目标主导。双盲听测确认声音被识别为目标说话人,研究指出免训练说话人控制需要几何特异性和通向声学合成的计算通路。

  4. arXiv · cs.CL47

    数据计划与学习率计划应协同设计:LLM mid-training 数据混合调度研究

    一项 arXiv 研究将 LLM mid-training(MT)从预训练(PT)数据的完全切换视为数据混合调度的一种特例,发现在固定总算力和 MT token 预算下,哪种数据调度最优取决于学习率(LR)调度:LR 持续衰减时提前引入并混合 MT 数据可降低最终 MT loss,而恒定 LR 下结论相反。消融实验表明,仅在 MT 数据进入训练后再衰减 LR 效果更好,作者还提出了解释该现象的理论模型。

  5. arXiv · cs.CL25

    B-CARE:面向立场分类错误排序的盲评类相对证据评估框架

    B-CARE(Blind Classwise Assessment of Relative Evidence for Stance Error Ranking)是一种预测盲的错误排序框架,用固定 LLM 验证器对各候选立场标签赋证据分,对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测,取得平均 AUROC 0.735、平均 AUPRC 0.524,并在风险最高的 20% 预测中捕获 41.06% 的错误;其证据信号可跨模型复用,与置信度基线互补。

  6. arXiv · cs.CL30

    闭环双参考引导方法用于跨语言语音克隆中的口音控制

    一种闭环双参考引导方法将原始参考音与通过语音转换(VC)构建的可复用母语锚音配对,减少零样本跨语言语音克隆中的口音迁移。在 20 名法语留出说话人上,λ*=0.33 设置使残余法语 LID 质量降低 73%,ECAPA 相似度仅损失 0.042,平均 WER 低至 0.009;西班牙语 LID 质量降低 56% 且无需重新调参。在线合成 RTF 约 0.59,比 TTS→VC 级联的 0.80 低约 26%。

  7. arXiv · cs.CL52

    arXiv 论文提出长上下文持续预训练的经验缩放律:不要过早停止 LCCP

    arXiv 论文(arXiv:2610.29352)通过五个模型规模、百余种 token 预算配置,建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律,可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议,稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹;128K 上下文扩展和监督微调后增益仍保持,在评测范围内未见饱和,支持继续扩展 LCCP 而非提前停止。

    推荐理由:论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律,并用 1.22B 模型轨迹验证了可预测性与增益持续性。

  8. arXiv · cs.CL46

    面向 AI 智能体的以记忆为中心的持续学习(MCCL)框架

    研究者提出 Memory-Centric Continual Learning(MCCL),主张应依据记忆能否改善智能体未来行为而非仅凭检索效果来评估记忆。框架包含三部分:按存储基底、记忆资产和管理策略划分的三轴分类法与内外双循环生命周期;测量干扰下保持、变化适应和任务迁移的评估协议;以及刻画性能随经验、存储和计算预算扩展的记忆扩展框架,覆盖非参数与参数记忆,推动智能体记忆从被动检索转向持续学习。

  9. arXiv · cs.CL56

    OnQ 论文提出低比特量化下恢复推理能力的新管线

    论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1

    推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。

  10. arXiv · cs.CL56

    ECHO 论文揭示偏好优化中共同模态偏移导致词表坍缩的机制

    arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移,即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移,相对排序损失几乎察觉不到其累积;该偏移投影到输出层形成词表井,使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下,同样的坍缩出现在 17 个 base 模型谱系中的 14 个,且注入该偏移可复现坍缩、屏蔽该成分可预防;教科书式 DPO 偏移较弱,而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好,两个公开奖励模型反而越少偏好其样本,揭示了标准排序指标的盲区。

    推荐理由:论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来,并给出可在坍缩前预警的表征层信号。

  11. arXiv · cs.CL48

    TraDE 框架:如何建模人机对话中的自我披露轨迹

    研究者提出 Trajectory-based Disclosure Evaluation(TraDE)评估框架,基于社会渗透理论,通过预定义披露轨迹评估先前披露历史如何影响模型在当前披露深度相同下的回复行为。实验表明多个模型对披露的回应取决于此前轨迹,尤其体现在是否接受或挑战用户框架,且差异随深度披露的累积暴露产生并持续数轮。相比人类支持者(ESConv 语料),模型最明显偏离发生在用户减少披露而非袒露心声时。

  12. arXiv · cs.CL38

    CCG Diffusion:基于组合范畴语法的组合式与句法消歧文生图生成

    研究者提出 CCG Diffusion,一种无需训练的文生图控制方法,利用组合范畴语法(CCG)通过提示词改写和注意力引导控制属性绑定、空间关系与数量,并可固定介词词类来消解介词短语挂靠歧义。在 Stable Diffusion 和 Sana 两种骨干模型上,该方法在属性绑定和 2D 空间关系上取得对比方法中的最高分,在 PP 歧义消解上显著超越所有对比方法。

  13. arXiv · cs.CL30

    基于 KAN 的非线性分解方法压缩嵌入层

    一项 arXiv 研究提出用 KAN(Kolmogorov Arnold Networks)启发的可学习非线性投影增强低秩分解,突破嵌入层压缩中线性瓶颈的表达能力限制。方法在 Skip-gram 框架下于 Word Analogy 和 Semantic Similarity 基准上与标准低秩基线在相同参数预算下对比,并结合预训练未压缩嵌入层的初始化策略及蒸馏变体。结果表明非线性投影能在固定维度下生成更忠实的压缩嵌入。

  14. arXiv · cs.CL49

    BIRD-RL:在状态化数据中心环境中扩展智能体强化学习

    BIRD-RL 是一个四阶段智能体强化学习课程,配合 Trajectory-scoped Persistent Execution Infrastructure 实现数据库副本安全复用并保持轨迹隔离,空间效率提升 12.8x,无需 Kubernetes 即可扩展。在 BIRD-CRITIC-SQLite 基准上,7B 和 14B 模型分别取得 44.40% 和 48.00% 的成功率,可与 Claude-Opus-4.6 Agent(48.20%)竞争。该框架还训练出兼具 SQL 调试与生成能力的统一小模型。

  15. arXiv · cs.CL42

    DynaWeave:通过动态场景合成学习适应变化环境

    研究者提出自动化合成框架 DynaWeave,可将静态任务转化为可验证的动态场景,用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹,用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升,CostBench 任务完成率提高 67.34 个百分点,并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview,代码已开源。

  16. arXiv · cs.CL29

    Omnilingual-MsASR:评测全模态大语言模型的长篇多说话人多语言 ASR 基准

    研究者推出 Omnilingual-MsASR 基准,评测全模态大语言模型在长篇多说话人语音识别(MsASR)上的表现,覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景,并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈,tcpWER 频繁超过 100%,细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。

  17. arXiv · cs.CL33

    Harness Scaling:面向可泛化智能体强化学习的新扩展维度

    一篇 arXiv 论文提出 Harness Scaling,将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间,选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上,该方法持续提升对未见 white-box 配置的泛化,且能迁移到未见的外部 black-box harness,优于单一复杂 black-box harness 训练的模型。

  18. arXiv · cs.CL44

    OmniSimulator:面向真实异构行为建模的小语言模型对齐训练框架

    研究者提出 OmniSimulator 训练框架,用五维结构化 schema 和教师模型生成的高质量推理轨迹,提升小语言模型在短视频平台上模拟真实用户行为的能力。该框架基于 200 名真实用户三个月的历史交互轨迹构建了 9,881 条训练实例,使 Qwen3-8B 平均成绩提升 34.33%,性能可与 Claude-Sonnet-4.5 竞争,并支持小规模自托管部署。论文已被 NeurIPS 2026 接收。

  19. arXiv · cs.CL45

    TenetBench:用于评测大语言模型遵守职业伦理准则的俄语条款锚定语料库

    TenetBench 用自动化流水线从 15 部俄语职业伦理准则生成 3,433 条与具体条款冲突的请求,并配以仅合法性不同的良性对照任务。人工验证中冲突任务可信率达 0.995,模型裁判与人工标注的 Gwet's AC1 至少为 0.894。对 14 种模型与推理模式组合的评测显示,其中 11 种会在多数冲突请求下生成违规内容且大多不警告;开启推理使两个模型的拒答率减半。

  20. arXiv · cs.CL41

    强 MoE 足以胜任过程监督:专家路由作为过程奖励信号(RoCo-Rethink 与 RoCo-PRM)

    arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号,性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度,RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹,RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线,RoCo-PRM 还可跨架构、跨任务迁移。

  21. arXiv · cs.CL42

    计时还是理解时间:单靠任何一种都无法解释 LLM 的时间推理

    一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估显示,驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分,主要奖励模型记忆时间的通常运作方式。

  22. arXiv · cs.CL36

    用上下文感知解码缓解 Chain-of-Thought 中的查询捷径问题

    一项 arXiv 研究将上下文感知解码(CAD)应用于 CoT 推理,提出 Rationale Contrastive Decoding(RCD),通过对比有、无推理过程时基于 query 的 token 分布,放大因 rationale 而提升似然的 token,并给出 KL 正则化奖励最大化的理论解释。实验覆盖五个推理 benchmark,RCD 准确率超过标准 CoT;干预分析表明最终答案对 rationale 内容的行为依赖增强,且该方法无需训练。

  23. arXiv · cs.CL41

    LLM 何时能在检索式表格分类中超越投票带来增益?

    一项研究比较 4 个通用 LLM 与距离加权最近邻投票(Distance-KNN),在 19 个表格分类数据集上使用相同检索邻居。结果显示,在任何候选池规模下 Distance-KNN 平均准确率最高;LLM 的增益集中在检索邻居标签一致性低的场景,且在特征距离最近和中等邻域内部分 LLM 能胜出,但在最远距离组全部平均落后。

  24. arXiv · cs.CL44

    pplx-embed-v2-late 技术报告

    pplx-embed-v2-late 技术报告发布,推出 0.6B 和 9B 两款多语言、多模态 late-interaction 嵌入模型,在文本、图像和视觉文档检索 benchmark 上达到各自参数级别的 SOTA。模型由 18B 教师模型经表示蒸馏训练而来,共享嵌入空间,支持用 9B 建立文档索引、0.6B 低延迟查询的非对称部署。

  25. arXiv · cs.CL37

    RCSD:面向领域特定投机解码的强化学习与持续学习训练框架

    RCSD 是一种投机解码训练框架,将 draft 模型优化与最大化接受长度的系统级目标对齐,利用投机推理中自然产生的接受与拒绝序列构建隐式偏好对,并用 masked loss 避免惩罚与 target 对齐的 token。在多个 benchmark 上,RCSD 相比 HASS 将平均接受长度提升 35%,端到端推理速度达 HASS 的 1.35x,且不损失生成质量。

  26. arXiv · cs.CL42

    PACE:四比特循环状态的周期性且通道对齐编码方法

    PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。

  27. arXiv · cs.CL49

    WRDO:对齐语言模型中的加权拒绝方向优化

    WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。

  28. Hugging Face · 新模型:abliterated36

    Qwen3.8-Flash-Next-Abliterated-Uncensored GGUF 发布

    cc1244578151 在 Hugging Face 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored GGUF 量化模型,规格为 120B 参数、180B 级 512 专家 MoE(每 token 激活 10 个),并搭载 Turbo Brilliance 50x 系统(27 推理 + 27 instruct 模式,另有 9 个 xhigh)与 15 个 AI Constructs。该版本经 abliterated 去审查处理、无 censorship,支持在提示词、API 或 VLLM 中实时切换模式,可在 12GB 显存 GPU 上运行;实测 46GB 双 GPU + 内存 offload 达 17 t/s,全 GPU offload 达 60-90 t/s。

  29. Hugging Face · 新模型:uncensored27

    DeepSeek-R1-Distill-Qwen-32B-Uncensored 发布

    Riyan200324200324 基于 DeepSeek-R1-Distill-Qwen-32B 发布去审查版本 DeepSeek-R1-Distill-Qwen-32B-Uncensored,采用 Guilherme34 的 uncensor 数据集与 QLoRA 微调,遵循 MIT 许可。模型需手动设置指定 system prompt 以获得去审查输出,训练使用 2 x RTX 4090(24 GiB),共 4 个 epoch;因完全依从请求,建议自行加对齐层。

  30. Hugging Face · 新模型:abliterated48

    DeepSeek V4.1 Flash 1017 Abliterated MLX 版本上传中:面向 Apple Silicon 的 oQ2.5e 混合精度检查点

    apetersson 正在上传 DeepSeek V4.1 Flash 1017 Abliterated 的 MLX 版本,为 Apple Silicon 准备的 oQ2.5e 混合精度检查点,共 53 个 Safetensors 分片,包大小约 342.7 GB,尚未完成,需等待 PUBLICATION.json 和 v1-oQ2.5e-mtp 标签发布后再下载。推荐在 256 GiB 统一内存 Mac 上用 oMLX 0.7.2 运行,上下文从 32K 起步,Engram 张量约 114.4 GiB 卸载至本地 SSD;SSD 前缀缓存测试中 8,588 个 token 复用 8,192 个,请求耗时从 14.62 s 降至 1.45 s。

  31. Hugging Face · 新模型:uncensored45

    Qwen3.8-Flash-Next Abliterated 无审查 GGUF 版发布,搭载 Turbo Brilliance 系统

    Hugging Face 用户发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance 的 GGUF 量化版,为 180B 参数、512 专家(每 token 激活 10 个)的无审查 abliterated 模型。其 Turbo Brilliance 系统含 27 推理与 27 instruct 模式及 15 个 AI Construct,可在提示词、API 或 VLLM 中即时切换,instruct 模式 0 thinking token;量化由 GSQ-RCO 完成,可在 12GB 显存 GPU 上运行,RTX6000(96GB)估计达 150 t/s。

  32. Hugging Face · 新模型:abliterated63

    Spark-X2.6-4B-Abliterated GGUF 发布,拒绝率从 43/44 降到 0/44

    alexwkleung 用 Heretic 对 XHToken/Spark-X2.6-4B(dense 4.1B 思考模型)做定向消融,发布 abliterated GGUF 权重,并用 llama.cpp 量化出 Q4_K_M 到 Q8_0 多档。与官方 Q8_0 对照:拒绝率从 43/44 降到 0/44(thinking 开与关均如此),GSM8K n=100 为 88/100 对 91/100,McNemar p=0.45 未检出数学回归;代价是思考开启时平均约 5k tokens(stock 529),部分超出 8192 预算,无拒绝系统提示可将其减半。

    推荐理由:原文给出与官方 Q8_0 逐位对照的拒绝率、GSM8K 和思考开销数据,可据此判断这个去对齐版本的实际代价。

  33. Hugging Face · 新模型:abliterated55

    Sage-A1.5 网络安全向去对齐版发布,MLX 8-bit 量化并保留 MoE MTP 草稿头

    thelogicalgate 基于 InternScience/Sage-A1.5 发布网络安全向拒绝消融(abliteration)版本,打包为 Apple Silicon 原生 MLX 8-bit 量化并保留原训练的 MoE 多 token 预测(MTP)草稿头。校准使用 mlabonne/harmful_behaviors 与 harmless_alpaca 各 128 条提示,在 8–31 层以强度 0.75 修改 72 个输出投影模块,路由权重与 QKV 投影未改动;12 条非工具冒烟提示中拒绝启发式检出基线 2 次、修改版 0 次,本地 Python 反序列化与 IDOR PoC 由基线拒绝变为可产出脚本。

    推荐理由:原文给出了激活校准方向、修改层与拒绝率前后对比等实测细节,读者可据此判断这个去对齐版本的实际改动幅度。

  34. Hugging Face · 新模型:uncensored68

    Subnet46 发布 GLM-5.3-Flash 的 abliterated 无对齐版 EXL3/FP8 权重

    Subnet46 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的 abliterated 版本,通过正交化移除拒绝方向并直接烘焙进官方 block-FP8 分片,可原位替换原权重。JailbreakBench 有害拒绝率从 0.891 降至 0.094,过度拒绝从 0.094 降至 0.000,MMLU 等四项能力基准变化在 ±1.5 pp 内;部分内容类别不受该方向中介仍接近原拒绝率,权重共 306 GiB,需 8×H100/H200 以张量并行运行。

    推荐理由:原文给出拒绝率前后对比、能力保留数据和拒绝方向所在层的分析,可据此判断这次去对齐实际去掉了多少。

  35. Hugging Face · 新模型:abliterated60

    DevelopingDad 发布 Qwen3.8-Flash-Next-FP4-Local-Abliterated 去对齐权重

    DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。实测显示烘焙版拒绝数为 0/100(开发集)与 3/100(保留集),与原 adapter 的 KL 差异约 0.037 nats;散文解码约慢 12%(34.8 vs 39.4 tok/s),代码速度基本持平,需 B12X vLLM 运行时,serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。

    推荐理由:原文给出了拒绝率与 KL 的实测对比和单机性能数据,读者可以据此判断这个去对齐版本的实际代价与效果。

  36. Hugging Face · 趋势模型61

    Recursive 发布开放权重 MoE 编码模型 Flint(39.8B 总参数、约 2.5B 激活)

    Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。

    推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。