扩散语言模型多残差流研究:双流将验证集重建困惑度降低 5.71%
arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%,外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式,角色条件路由训练可恢复双流一半的验证收益,该机制在更大模型规模上同样成立。
推荐理由:论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据,并解释了双流分工的机制来源。
新闻、仓库与研究,按时间排列。
arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%,外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式,角色条件路由训练可恢复双流一半的验证收益,该机制在更大模型规模上同样成立。
推荐理由:论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据,并解释了双流分工的机制来源。
一项 arXiv cs.CL 研究指出,计算心理语言学中 contextsurprisal 通常由神经语言模型导出,而 unigram surprisal 多来自独立语料统计,这种做法割裂了二者的概率联系。作者提出三项估计原则,要求两者来自同一语言模型,并给出 Monte Carlo 估计器及更低方差的边缘化变体。在该统一框架下重新估计后,各预测变量对阅读时间的贡献发生变化,且频次可成为比 contextual surprisal 更强的加工努力预测指标。
arXiv 论文指出长文 RAG 的 faithfulness 奖励会被复制粘贴"钻空子",模型倾向照抄检索段落而非自己撰写有依据的内容;KL 或 copy penalty 只会转移问题,GRPO 逐句给出答案级优势还会强化复制句。论文提出 Authored-Sentence Credit(ASC),把奖励和优势下移到句子级,只奖励原创、有信息量且被段落支持的句子。在 4 个模型和 5 个语料上,ASC 将原创句错误率中位数降低 38%,被支持句子增加 46%。
论文提出 SeTPO(Selective Teacher guided Policy Optimization),通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督,解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量,在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。
该 arXiv 论文将自动形式化(AF)的忠实性评测建模为“先对齐再标注”问题,在非形式与形式化陈述间识别短语级对应并逐条标注忠实性。论文发布首个理论尺度忠实性基准 FaithAlign,含 460 个条目和 4,982 条标注的短语级链接,另有去除上下文与假设的 FaithAlign-Gap(146 条)。8 个模型中 GPT-6 Astra 缺陷 F1 最高达 47.8%,在 FaithAlign-Gap 上仅识别出 28.2% 的不可判定条目。
该 arXiv 论文实证分析自回归语言模型在每步预测产生的词表级 logit 向量,发现有序 logits 遵循跨架构与规模一致的 log-linear 关系 z_(r) ≈ μ − α·log r。训练后模型的斜率 α 约为 1.4–1.7,远高于初始化基线的 0.2,且 α 与预测性能相关,表明其捕捉了超越极值效应的学习结构。
研究者推出 Active Probing Benchmark(APB),将概念识别转化为多轮交互式推理任务,覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象:多数开源推理模型显著弱于其对应的 instruction 模型,表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。
arXiv 论文 arXiv:2610.16135 提出全模态大语言模型(Omni-LLMs)存在 knows-but-cannot-say 现象,即模型能正确感知视觉、音频、IMU 等非文本模态信息,却无法在回复中表达出来。作者提出 token 级模态对齐指标 TMA,发现非文本表征与回复 token 的对齐度和获得的注意力都低于文本表征,并提出 perceive→infer 策略 OmniCatalyst,用模型自生成的文本补充原始模态输入;在七个 Omni-LLM 上平均提升 7.29%,使模态偏好更均衡,知识提取阶段会提高 TMA。论文共 36 页、25 图、14 表,代码已开源。
研究者提出智能体图像生成框架 GenRevisit,将动作选择扩展为联合选择续接状态与编辑动作,使智能体可回访历史图像候选而非固定从最新图像继续优化。训练采用 SFT 加智能体强化学习,并提出 NACA 改进 GRPO 的粗粒度信用分配。在 GenEval2 上,GenRevisit 结合 Qwen-Image-2512 与 Z-Image-Turbo 分别取得 GM 分数 84.3 和 74.4,超过同生成器最强基线 12.7 和 10.9 分,并在 GenEval、GenEval++ 与 GenEval2 上达到 SOTA。
Liquid AI 发布开放权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 仅激活 2B,定位端侧快速、私有的推理智能体。模型在 16 项基准上与参数量约多 50% 的 Qwen3.6-35B-A3B 竞争,LiveClaw 得分 48.09 对 38.19,在 8 项工具与智能体基准中的 5 项领先或持平,并在全部 3 项指令遵循基准领先;M5 Max 上解码 184 tok/s,单张 B300 高并发下超 21K 输出 tok/s。
推荐理由:原文给出了完整的16项基准对比和端侧推理速度数据,可据此评估这款小激活参数MoE在工具调用场景的实际取舍。
TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包,让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词,CPU 负责生成回复。资源包按芯片分为两个文件夹,分别约 3.67 GB 和 3.65 GB,含 49 个 QNN context binary 及 MNN 配置,须搭配指定 commit 的 MNN 转换模型使用,NPU 部分加载约需 6.3 GB 内存。
Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包,为原版 Heretic v2 添加 DFlash2 推测解码,保留 FP16 视觉塔(8,595,478,392 字节)和 3.85 GB BF16 drafter,不重量化不重训。在 Apple M1 Max 上,temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x,工具调用 1.16x,13 个提示中位数 0.90x,需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。
Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包,内置 BF16 DFlash2 草稿模型(3.85 GB)与自定义运行时,模型权重未被重新量化或再训练。在 Apple M1 Max 上,temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x,聊天、长文档等场景反而慢至 0.74-0.96x,13 条测试提示的加速中位数为 0.96x,且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2,文件夹内也保留原 serve.py 供普通推理使用。
inclusionAI 发布 Ling-3.1-flash,一个原生混合推理模型,总参数 560B、每 token 激活 25B,支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构(KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个),在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升,并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang(含 MTP 推测解码)和 vLLM 的部署配方,支持 Claude Code 等框架调用。
推荐理由:官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方,方便读者评估并直接上手这个混合推理 MoE 模型。
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本,这是一个 120B 总参数、12B 激活参数的视觉语言模型,采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器,支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成,模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果,并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置,许可证为 OpenMDW-1.1,可商用。
推荐理由:模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置,读者可以据此评估量化损失与所需显存门槛。
该研究将 LLM 自回归解码的累积预测误差过程证明为鞅,其条件一阶矩恒为零,并给出二阶行为的闭式表达:可预测二次变差等于各步 (1-p(y_t|y_<t)) 之和,仅由已实现的 token 概率即可计算。在 Llama-3.x 与 Qwen2.5(1B 至 72B 参数)上的白盒实验验证了理论预测,为 LLM 生成文本检测与不确定性量化奠定数学基础。
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化,用真实 agent 编码会话日志构建重要性矩阵,而非通用英文语料,保留 MTP 头与视觉塔。提供 IQ4_XS(含/不含 MTP,14.96/15.38 GiB)与校准矩阵文件,配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%,在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x,逐字抄写保真 7/7。该仓库只做量化,无微调或行为改动,上游为 philbert440 的 abliterated 去拒绝模型。
推荐理由:作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据,做法可复现,对低比特量化部署有可迁移价值。
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP(Q4_K_M,已移除拒绝回复)以 NInfer v3 格式发布,单个 .ninfer 文件 15.88 GiB,逐字节保留原 GGUF 块、不重新量化,并用随附的 MTP draft 头做投机解码。模型为文本模型,支持最多 8 个并发请求、提示词前缀复用、结构化输出、OpenAI 格式工具调用与可选思考模式;在 RTX 3090 上开发测量,权重占 15.6 GiB 显存。
AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版,将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式,其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB,vLLM 显存占用 23.3 GiB(−65%),单张 32-48 GB GPU 即可部署;文本 Decision Index 59.75 对比 bf16 的 59.18,五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B,与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联,可通过 vLLM 直接加载。
Petr Senatorov 在 arXiv 论文 arXiv:2610.15107 中提出 Structural Chain-of-Thought 框架,让模型生成可执行的计算图而非自由文本推理,最终答案由确定性执行计算图得出。训练采用基于图的强化学习,奖励结构有效性、答案正确性及与参考图的节点重合度;在五个基准、四个模型族上准确率持续优于监督式图训练,生成长度相比标准 GRPO 和思维链监督训练最多缩短 5-6 倍,忠实性实验显示模型更倾向从生成的计算图推导答案而非事后合理化。
研究者提出神经符号论证推理系统 NARS,直接从在线讨论中检测说服力:神经部分用检索增强的迭代 LLM 推理提取双极论证结构,符号部分用渐进论证语义传播论证影响。基于 Webis-CMV-20 构建的 CMV2BAS 数据集已开源;NARS 最佳配置下 F1=0.57、AUC=0.56,超过零样本 Qwen3.6:27B 和 GPT-oss:20B。
该 arXiv 论文在基于共同底座与附加规则的类数独小离散世界中,训练单个深度循环模型研究规则泛化能力,按四种新颖度测试:新谜题、已知规则新组合、从未共现的规则配对、训练中未见的规则实例。规则以符号描述或两个已解示例提供。新组合上描述方式达 99%、示例 95%;对从未共现的规则实例,描述方式低于无信息基线,示例仍高于基线。该框架为评测深度循环推理模型提供了比 ARC-AGI 更系统的替代方案。
提出一种针对 POMDP 的蒙特卡洛规划方法 BETS,用生成分布嵌入(GDE)表示搜索树各节点的信念,并通过 POMDP 动力学更新,将信念模型与策略、价值网络一同训练,以隐状态为训练目标。在 RockSample、LightDark、PocMan 共六种配置上与 BetaZero 及三个无学习组件的规划器对比,BETS 在全部六项中持平或领先,且信念维度越高优势越大。
作者发布 GLM-5.3-Flash 的 EXL3 混合量化(gate/up 2 bit、expert down 3 bit,约 2.4bpw,98.1 GB),并附 2.2 MB 的逐块去拒向量,运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文(77% 专家驻留 VRAM),256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝,原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个;带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959,需配合作者自己的 exllamav3 fork 使用,许可证 MIT。
推荐理由:作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据,可自行复现并检验量化与去对齐的实际代价。
研究者提出 PAT 框架,用于提升社交媒体抑郁症自动检测效果。该框架分两阶段:先用经典人格理论驱动的 LLM 数据增强缓解数据稀缺,并以细粒度对比学习优化 post 级编码器;再将训练好的 post 级打分器用于高质量帖子筛选,编码器参数迁移至用户级任务。实验显示 PAT 显著优于现有方法,并能通过追踪 post 级心理状态轨迹提供多粒度可解释性。
arXiv 论文(arXiv:2610.15033)基于两组各90天、共158,099条回答与468,037次引用的收集,研究生成式搜索引擎(ChatGPT、Gemini、Perplexity)引用网页的驱动因素。研究发现 ChatGPT 引用的每个页面都来自其自身检索,而其每次回答都会重写子查询、检索结果很少与 Google 或 Bing 一致,检索环节可解释32%的引用差异,远高于页面属性的2.8%;标题和段落语义匹配提问的页面被引用更多,FAQ 块、结构化数据、摘要框和页面速度只在跨网站比较时表现有效;模型自身知识也参与其中,会写入已知品牌、偏好已知网站,甚至在没有页面佐证时直接点名品牌,受控实验显示品牌名会重排事实完全相同的商品排名。结论在小 B2B 厂商市场复现,数据与代码已发布。
推荐理由:论文用两组各90天、逾46万条引用数据拆解生成式搜索引擎引用页面的机制,指出检索命中比页面属性更能解释引用差异。
beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。
推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。
该 arXiv 论文研究多环境 POMDP(ME-POMDP)的复杂度格局。论文证明多环境 blind MDP 与确定性 POMDP 为 NP-complete,不满足混合闭包条件的一系列子类仍为 PSPACE-complete,并在时间依赖策略或有限状态控制器下证明若干 ME-POMDP 问题为 ∃R-complete。结果表明两类复杂度关系取决于具体子类。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop,将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次,其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下,参数量从 27.6M 降到 10.4M,held-out log loss 0.4583 对 0.4588,200 个 TALENT 数据集平均准确率 84.10% 对 83.92%,38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享,深度可在推理时选择,在训练范围内增加循环次数可提升精度且超出范围仍成立,用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由:论文在相同预训练与推理算力下对比权重共享与独立参数,给出参数量、精度和 Elo 的具体数字,可迁移到 ICL 模型的参数效率设计。
一项预注册实验将 148 个三人团队随机分配到五种使用同一语言模型的时序方案中完成产品设计任务。结果表明,把同样的 15 分钟模型使用时间从搜索阶段移到筛选阶段,专家评定的创造力下降 0.62 个标准差;全程可用的团队中 11% 的筛选阶段查询用于生成新选项,晚接入团队则达 29%,提交方案多 73% 但质量未提升。
arXiv 论文发现在 SALSA-CLRS 的广度优先搜索任务中,推理器即使完整复现训练 hints,在深图上仍会提前宣布节点可达,作者称之为 premature flood。论文追踪了两条成因:GRU processor 中带度数输入的隐藏状态携带洪泛,GIN 与 PGN 部分种子则从固定步数开始洪泛;在 1,600 节点的 Delaunay 图上,一个 GIN 种子从第 18 步开始洪泛。Clamping 度数输入或增加 200 个稠密训练图可消除 GRU processor 全部失败,作者建议审查每个输入与聚合的取值范围并在深图上测试。
研究者提出基于 WangchanBERTa 初始化的掩码语言模型,在双层画布(音节层硬约束韵、调、音节数,词层保证词完整)上逐格解码、temperature 0.4 单次采样,从短话题生成泰语 klon pad 诗节。在 78 个留出话题上,70.5% 生成诗节同时通过形式、词汇洁净与主题对齐,人工为 76.9%;洁净度与人工持平(85.9% vs 87.2%),差距在对齐项;预注册目标差 1.4 分。已知唯一公开的 KlonSuphap-LM 无一通过(形式 19.2%、洁净 3.8%)。
AlphaRLM 是一个强化学习框架,训练 LLM 直接从金融文献构建可执行的符号化因子,无需输入因子表达式。其引入 Literature-Guided Operator Assembly(LEGO)提供语义先验,并通过可执行有效性奖励和分组收益分离奖励与市场反馈对齐。在 CSI 300、CSI 1000 和 S&P 500 上的实验显示,其年化超额收益超越强因子挖掘与 LLM 基线,8B 模型也取得强跨市场表现。
论文提出 MCPDisCo,一个面向 MCP 原生智能体的生态级强化学习框架,在 70 个 MCP 服务器和 527 个工具、六个领域的真实服务器长程交互上训练。框架用 Thought-MDP 显式表示内部推理与路由、执行、终止,通过 token 掩码奖励归因和双向梯度手术缓解推理与工具学习之间的跷跷板干扰,以更少思维链 token 取得更高成功率,并在分布外 MCP-Atlas 与 GAIA 基准上保持单调增益。模型权重和实现已放出。
推荐理由:论文给出推理与工具学习互相干扰的失败模式及其梯度手术解法,在 70 个真实 MCP 服务器上训练并验证分布外泛化。
arXiv 论文提出 VC-OPD,一种接地感知的在线蒸馏方法,通过对比原始图像与破坏实例级证据的反事实图像下教师模型的分布差异,估计 token 级视觉依赖并重加权损失,优先蒸馏依赖图像证据的推理 token,并采用保质量归一化稳定更新。在多模态推理 benchmark 上的实验显示其提升了视觉推理性能与 token 级蒸馏效果。
arXiv 论文提出 FidelityQ 标量量化框架,在权重低至 2 bit 时保持大语言模型的预测保真度。核心包括 Hadamard 混合的 IAC 编码与基于教师-学生散度尾部分配校准预算的 KIC 方法;LLaMA-2-7B 在 W2A16 下 WikiText2 困惑度为 6.62,将 W2A4KV4 此前最好结果从 8.31 提升至 6.96,线性层权重内存相对 FP16 减少 8.0x。论文链接 https://arxiv.org/abs/2610.14934v1。
研究者提出 DRIFT,将依存句法树线性化后直接注入 LLM 提示词作为显式关系上下文,使模型对 aspect-opinion 依赖进行推理,并集成检索增强的 in-context learning 与基于 LLM 的语法感知裁决机制。在 SemEval Rest15、Rest16 和 ACOS 上,DRIFT 在对比的生成式 ASQP 方法中表现最佳,Rest15 和 Rest16 分别达到 54.47% 和 64.10% F1;裁决机制还表明 exact-match 指标系统性低估了语义正确的预测。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族,采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架,用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上,14B 强化对齐模型方剂生成 F1 达 37.0,超过总参数 671B 的 DeepSeek-R1 的 32.3;在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8,剂量一致性提升。
论文提出 Reward-Aligned Distillation(RAD),一种双层框架,通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下,RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B(non-thinking)6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点;在 LiveCodeBench-v6 上,Qwen3-1.7B(non-thinking)与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1,超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
arXiv 论文提出 Q-NeuS,一种查询自适应的 LLM 神经元调控框架,根据每个输入动态决定调控哪些神经元及调控幅度。该框架构建主题引导的候选神经元空间,用 Query-Adaptive Gate 生成逐神经元调制系数,并通过 Neu-GRPO 基于多种干预配置的相对表现训练。基座 LLM 全程冻结,推理时无需任务或主题标签,实验显示其在多模型与 benchmark 上均有一致提升并具跨 benchmark 迁移性。