新闻、仓库与研究，按时间排列。
autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark，通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化，每 token 仍激活 18B 参数，权重 124 GiB 为家族最小，单张 180 GB Blackwell GPU 可跑，双 DGX Spark 各承担约 62 GiB。
推荐理由：作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异，便于按硬件选型。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力，要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱，对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现，并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类，但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平，且性能排名随语言和主题变化。
arXiv 论文提出接受路径解码（APD），在长度受限下保证语义解析输出可被自动机接受，DRS 上 Smatch++ 较局部掩码提升 5.1 和 2.4 点，AMR 上提升 6.4 和 3.2 点。事后处理方面，训练数据受限时 10.2% 的输入在 8 个无约束采样下仍无有效输出，全量数据时降至 0.4%。训练中惩罚被自动机拒绝的 token 在 10% 训练进度后可将开发集 Smatch++ 提升 3.6-11.0 点，但该优势随训练推进逐渐消失。
一项针对五个开源权重模型（跨四个模型族、1.5B-14B 参数）的研究发现，任务变化会重新分配注意力头的 influence。在 Gemma-2-9B 和 Qwen3-14B 中，激活编辑可在保持指令不变的情况下切换模型读取的事实，同一批 head 会响应不同的图事实并以不同方式影响后续组件；对应的线性响应映射将预测均方误差在 Gemma 中降低 53.6%、Qwen 中降低 5.0%。这表明任务上下文同时改变共享组件响应的内容及其对后续计算的作用方式。
DevelopingDad 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 DGX Spark 部署包，封装 OrcaRouter 现有量化权重， checkpoint 约 183.5 GB，未做微调或重量化。包内含自动挂载运行时补丁的启动器，基于 ARM64 vLLM 0.30.0 提供 OpenAI 兼容 API，最大上下文 131,072 tokens，需 DGX Spark/GB10 与 128 GB 统一内存。K1b 配置实测单客户端 prose 吞吐 37.29 tok/s，较此前配置提升 48.9%，52/52 请求全部完成、无 OOM。
一项 arXiv 研究在 Qwen3-14B 上探索让模型学会何时拒答，比较训练模型本身与训练独立答案选择器两种方法。在 TriviaQA 上，学习型选择器将平均覆盖率从 20.2% 提升到 30.9%，已评分答案的错误率从 23.0% 降至 14.5%；但测试的强化学习方法未带来一致增益，NQ-Open 上选择器仍不如始终拒答，跨数据集的可靠拒答仍未解决。
论文提出 SAFE-QE，一种免训练、与检索器无关的查询扩展方法，基于子序列关联假说识别并降权幻觉扩展词。在 TREC 和 BEIR 基准上，其 nDCG@10 与生成式及语料引导扩展统计上无差异，但每查询不获支持的词仅 4.3 个，低于 Query2doc 的 27.8 和 HyDE 的 57.5；同时提出查询侧忠实度指标 HETR。
一项低资源语音识别（ASR）研究在四种低资源语言和英语的五种数据规模上，比较了 SpecAugment 等音频增强与基于文本合成音频的增强方法。音素级分析显示两者错误类型互补：SpecAugment 增加声调和腭化错误，文本方法引入辅音插入，组合后各自抵消对方的错误，且组合提升超过各自提升之和；但超加性在 100 小时数据量时消失。研究建议按训练暴露度和声学属性选择增强方法。
Ai2 AI 基础设施团队用包含 GPU 时间预算、层级公平共享和时间切片合约的调度系统替换了原有的优先级调度器，以提升高价值研究任务的资源分配。团队管理数千块 NVIDIA H100、B200 和 B300 GPU，集群规模从 88 到 1024 块，GPU 需求长期达供给的 2-3 倍。新方案把研究项目应得 GPU 时间的争论从逐案运营协商变成了透明的预算分配流程。
一项 arXiv 研究首次证明离散图扩散模型（GDM）存在记忆化。在 two-block SBM 上训练的 GDM 在反向扩散轨迹中能近乎完美恢复被破坏的训练图，而对 held-out 测试图则不然，作者称之为“条件性记忆化”。该现象伴随训练损失与 held-out 损失间泛化差距扩大，无法用 early stopping 缓解，且记忆化出现前生成的图均无社区结构。
arXiv 论文提出 ReplaySSM，将 SSM 状态表示为检查点加近期 SSM 输入缓冲区，跳过大部分步骤的状态写入，使混合模型的主要状态内存流量约减半。已在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现，batch size 256 下较调优后的 vLLM 基线加速 1.20–1.47×，在两个 120B 级模型上吞吐量约为 vLLM 投机解码的 1.8×，并支持低成本投机回滚与分离精度的检查点以降低精度损失。
研究者提出 DualQuant，一种双尺度、免校准的后训练量化框架，通过最小化权重重建 MSE 得到逐通道激活 rescaling，无需校准数据即可完成 W4A4 量化，并首次正式支持 MX 与 NV block 格式。在 Llama 和 Qwen 模型的 WikiText-2、C4 及零样本任务上，其精度达到或超过基于校准的 SmoothQuant。Llama-3.1-8B 在 RTX 4090 上的实测推理相比 BF16 最高实现 2.61x 内存节省和 2.46x 吞吐加速。
arXiv 论文研究发现，on-policy 自蒸馏中基于参考答案打分的教师信号既不能定位推理错误，也不能可靠区分正误 rollout。论文提出批评条件化自蒸馏：先让教师生成批评，再据此打分，产生的信号能定位错误并使概率转向"Wait""But"等回溯 token。该批评在测试时能解出原本无法解出的数学题，并在冷启动 GRPO 中为可验证奖励无法提供信号的问题提供优势信号。
研究者提出 Orthros attention，通过相位感知解耦实现线性复杂度 prefilling 与全注意力解码，相比标准 Transformer 获得最高 21.9× prefilling 加速。该模块支持数据高效的 Transformer-to-Orthros 转换，转换后性能甚至超过原 Transformer。128K needle-in-a-haystack 测试接近满分，保持长上下文能力。
研究者提出一种针对德国交通法（StVO）的多任务预训练方法，结合 NSP、知识图谱引导聚类（CLU）与知识图谱感知段落分类（CLS）三个目标，将结构化法律知识直接编码进模型权重，实现零样本法律推理而无需离散图遍历。在 9 个 Transformer 编码器、324 次实验中，模型在合成 StVO 问答上相对基线提升 10.3%–155.0%，并在 LexGLUE 七项基准中的四项超过既有结果，在奥地利驾驶法规上取得 3.4%–15.8% 的零样本迁移增益。该工作已被 EMNLP 2026 共同举办的 NLLP 2026 Workshop 接收。
Adaptive DHiSparse 在层级稀疏 KV 上支持 DSpark、DFlash2 等投机解码，并按负载自适应调整缓存驻留。100K 上下文、并发 128 下，GLM-5.3 配 DFlash2 达每解码 GPU 793 output tokens/s，为 HiSparse 的 1.45 倍；同等延迟约束下并发最高 4 倍、输出 2.3 至 3.7 倍。DeepSeek-V4.1-Flash 在 500K 上下文、并发 512 下输出达常驻服务配 DSpark 的 1.85 倍。
论文提出 Loopless Variance-Reduced PG（LVR-PG），一个统一的理论框架，抽象出一类结合递归更新与防御性重要性采样的一阶估计器，涵盖 PAGE-PG 和 STORM-PG 等已知方法。该类算法在弱梯度支配条件下，仅用一阶更新即实现 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 的 last-iterate 全局收敛。通过将下界扩展到连续参数化策略，论文给出 $\Omega(\epsilon^{-2})$ 样本复杂度极限，证明该框架在对数因子和 horizon 项内达到极小极大最优。
研究者提出离群维度感知注意力线性化方法 OAL，指出少量离群维度贡献了 softmax 注意力线性化近似误差的主要部分。该方法通过 Hadamard 积形式与分组二次核保留离群维度的差异化处理，在 Qwen2.5-0.5B 上较 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%；配合 LoRA 微调将 WikiText-103 困惑度从 31.71 降至 27.50，并提升 PIQA、HellaSwag 和 ARC-E 准确率。
arXiv 论文 UPTURN（arXiv:2610.13672）提出无需微调的推理自纠错框架：用 130K 参数 MLP 头在冻结编码器上学习失败 rollout 的干预位置，再以新用户回合注入指令并重新生成后缀。研究发现固定生成预算下行内注入无法可靠重定向推理，而新回合注入可以；在四个推理模型和六个数学基准上，UPTURN 在所有设置下平均准确率均超过 32-rollout 基线，在匹配纠错预算下优于自纠错和反思 token 注入基线，并可跨模型迁移至 GPQA-Diamond，与 GRPO 和自纠错方法互补。
推荐理由：这篇论文提出了免微调的自纠错框架，用新用户回合而非行内注入来重定向推理，并给出了跨四个推理模型与六个数学基准的验证结果。
一项 arXiv 研究重新在当前策略下估计样本难度，并设计 GRPO 分阶段课程，将活跃难度带逐步推向更难样本。GSM8K 实验中，三个随机种子下递进到中等偏难难度带使测试准确率达到 0.6591±0.0077，高于固定中等难度的 0.6449±0.0024；但进一步递进到更难难度带则降至 0.6405±0.0053。结果表明难度递进的收益是非单调的，有效课程应超越中等难度但避免过度拔高。
一篇 arXiv 论文提出由 analyst、coder 和 recorder 三个角色组成的多智能体 LLM 调优框架，配合实验日志与沙盒执行环境，仅自动调优指定组件而不改动网络整体结构。在五个任务上验证：MNIST 与 Digits 脉冲网络分类准确率分别提升 13 和 6 个百分点，GNLSE 单孤子解误差降低约 2491 倍、不变量保持误差平均降低超 100 倍，KS 方程质量漂移降低 14 倍。
一项受控研究在 ARC-AGI-1 上以统一协议考察预训练和测试时训练（TTT）预算对视觉风格模型 VARC 与递归模型 TRM 的影响，交叉对比五种预训练预算与四种 TTT 预算。结果显示，增加 TTT 样本呈现次数在所有设置下都提升两模型的 ARC pass@2 指标；增加 TTT 任务变体数只对 TRM 持续有益，VARC 往往在更少变体下表现更好。VARC 不预训练也保持竞争力，而 TRM 更依赖预训练，研究据此呼吁在可比预算下报告结果。
论文提出一个约束获取工具，可从输入数据及多问题实例的正负示例解中生成规模无关的约束程序。系统先基于全局约束与二元约束上的典型模式找到规模特定模型，再泛化为可运行于未见数据的规模无关模型，并输出 MiniZinc 代码与模型的文本描述。作者在 PTHG21 Challenge 示例问题上评估了该工具，验证了方法的可行性。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
论文提出 Multi-Stream Attention Residuals（MSAR），将 Attention Residuals（AttnRes）扩展为多头深度注意力机制，通过多尺度因果卷积从序列上下文获取流多样性，并以轻量自适应混合合并各流。在 18B 和 28B MoE 规模的全部 12 个下游基准上，MSAR 一致优于标准残差连接、mHC 和 AttnRes。Scaling-law 实验显示其相对标准残差基线实现 1.58× iso-loss 计算加速，高于 AttnRes 的 1.35× 和 mHC 的 1.30×。
arXiv 论文 zip2zip++ 提出仅改进压缩层与 LZW codec、不动底层预训练模型，来缩小 LZW 动态词表压缩带来的质量差距。方法包括解耦输入/输出动态 embedding 层、size-aware RoPE 定位以及支持选择性合并和多视角分段的改进 LZW codec。在四个模型上，该方案在所有评估语料上降低了 perplexity 并提升数学推理准确率，在相近压缩比下弥合约一半与未压缩基线之间的质量差距。
AudioTETRIS 是一个 training-free 的两阶段框架，利用音频编码器的表示几何作为声学先验，计算逐 token 融合分数并跨 decoder 层进行渐进式 top-k token 选择。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 token 即可在多项语音任务上保持接近未压缩的性能，并在中等压缩率下达到或超过全 token 准确率，持续优于现有 training-free 基线。
arXiv 论文提出多智能体框架 MENTOR，针对 RLVR 训练中的“零奖励坍缩”问题，实时诊断失败根因并动态生成针对性教学提示词，引导学习智能体的下一次尝试。它作为即插即用模块可无缝集成到 GRPO 等策略优化管线，无需改动训练基础设施。数学与代码生成实验显示其优于 SOTA 基线，Llama-3.2-3B-Instruct 相对基座模型平均相对提升最高达 78.3%。
该 arXiv 论文提出 Step-wise Truncation Probing（STP）方法，在固定采样推理轨迹的多个保留前缀上重复生成答案，以刻画模型-任务层面的过度思考现象，并定义 Overthinking Ratio 与 Accuracy Degradation 两个指标。论文将动态路由、固定预算和动态提前退出纳入统一框架，基于 STP 测量为各策略构建 token-精度 Pareto 前沿。作者还开发了可复用基准 OTBench，覆盖 70.5B 推理 token、六个模型和四组基准。
一项 arXiv 研究发现 S-Space——多模态语言模型（MLLM）内部一个线性表示子空间，其中 object-token 表示编码水平、垂直和距离轴上的连续坐标，充当模型的内部空间工作空间。因果干预表明感知将物体位置编码其中，内部推理在其中变换视角，语言响应选择性读取它。诊断进一步显示 MLLM 能形成有效的空间表示，但在视角变化所需的空间变换上存在关键瓶颈。
研究者提出归因框架 Explanatory World Models（EWM），用前沿语言模型生成的解释替代按时间邻近性传播奖励的方式，识别促成最终结果的早期事件。在 Crafter 和 WordCraft 上 EWM 大幅超越 PPO 与 LaRe，奖励越延迟收益越大；在 KuaiRand 上离线优于 SFT 与 LaRe，在线优于 A2C，并在工业级生成式推荐器离线评估中提升 Recall。
论文提出 Humanize MLE Agents（HMA），通过两个智能体在共享工作区上交替执行、每会话最多 k 次实验并重置上下文，避免单会话长程减速和自定义 harness 随模型升级失效的问题。在 MLE-bench 的 75 个 Kaggle 任务上，HMA 达到 78.2% 的 any-medal 率，超过最强开源基线 8.0 个百分点且只用其四分之一时间预算；跨五种异构智能体对的六种配置平均提升 6.4 个百分点，另有核优化案例达到 878 个周期、距社区榜首 1.6%。
推荐理由：论文给出双智能体会话轮换的 CR-SMDP 理论条件与 75 个 Kaggle 任务实测数据，读者可据此评估工作流级方法相对单智能体的优势边界。
研究者提出 BranchOPD（Branching On-Policy Distillation），基于学生不确定性与师生分歧选择信息量大的决策点，从共享前缀分支重采样并对主轨迹与分支施加 token 级教师监督。共享前缀复用使学生生成 token 开销在 ALFWorld 和 WebShop 上分别降低约 19% 和 31%（相对 7 条独立轨迹）；相比 Vanilla OPD，平均数学准确率（avg@16）提升 18.55 个百分点，ALFWorld ID/OOD 平均成功率提升 13.8 个百分点。
Pablo Manrique 等在 arXiv 发布 SqueezeBench，一个抗饱和的数学能力基准，每题固定一个仅在小区间取值已知的整数函数 f(n)，提交者用机器证明的 Lean 函数给出更优上下界记录，成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录，前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录；两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由：提出以记录递进式构造衡量数学能力，缓解基准饱和问题，并给出多代模型代理的实测数据。
论文提出 Oído 推理引擎，在 ESP32-S3（240 MHz 双核、512 KB SRAM、无神经加速器）上运行 13M 参数 Conformer-CTC int8 模型，实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%，加 1.3M 参数语言模型后降至 3.33%/7.15%，transducer 头达 2.99%/6.67%，比同芯片厂商识别器少 2.3-2.8 倍错误，也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由：论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据，方法与测量细节都可复现。
研究者提出 Rollout-Time Intervention（RTI），在 rollout 阶段利用奖励侧证据（评测 rubric）将错误轨迹转化为成功轨迹，缓解智能体 RL 的 on-policy 推理瓶颈。过滤分布偏移过大的轨迹后，这些 off-policy 轨迹仍能有效引导策略优化。在五个 benchmark 上 RTI 持续超越 RL 基线，使后训练策略接近更强的当代 LLM 并突破原有能力边界，代码已开源。
该 arXiv 论文提出面向系统辨识的统一概率元学习架构，将基于 Transformer 的编码器-解码器与针对长训练序列的机制结合，实现零样本预测和长时程校准。研究还展示预训练元模型可作为不确定性感知的合成数据生成器，在真实数据稀缺时为经典参数模型提供正则化。框架在标准非线性系统辨识基准和分布外场景上达到与 SOTA 方法相当的精度，仅靠输入侧适配即可应对显著分布偏移。
一项研究提出基于输入类别的专家选择偏置方法，引导 MoE 大语言模型中的 token 路由到专门的专家子集，从而缓解预训练数据不平衡对少数类别的容量限制。在最大 10.6B 参数的模型上，该方法在多模态、低资源语言和代码任务上带来提升，在最小与最大模型规模下分别相当于多训练 18.5% 和 2.7% 的 baseline tokens，且保留标准 MoE 推理。
一项 arXiv 研究系统考察了文生图 Transformer 中的 attention sink 现象，发现其在双向扩散模型和自回归模型中均存在但模式不同：自回归模型将注意力集中在首位和全局 token 上，双向模型则在模态边界、文本区域和空间角落附近形成 sink。扰动 sink 相关的注意力头比非 sink 头引起更大的生成变化；引入 register token 重分布注意力后，部分配置能保持或小幅提升生成性能。
论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。
推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。