新闻、仓库与研究，按时间排列。
arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案，并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道，带错误理由的断言放在问题之前可把错误率从 1% 提到 67%，权威署名和肯定语气各提升 10-27 个百分点，而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。
推荐理由：论文把提示位置、信息来源和模型已有输出三个因素拆开比较，给出了可复现的错误率变化数字。
一项发表于 arXiv 的研究提出日英双语人设—台词冲突基准，诊断链式推理 TTS 中人设意图在何处丢失。结果显示规划器输出方向通常正确，但下游一致性明显更低；监督 QwenEmotion 将方向正确率提升至日语 75%、英语 84%，学习式文本到潜在接口分别达到 89% 与 88%。这表明修复规划到合成接口可恢复与文本情感相悖的语音表达，但效果因语言和声学维度而异。
ThinkBit 是一个严格标量的 2-bit 量化框架，用整数码字乘 bfloat16 组共享尺度表示权重，按敏感性给每层分配三值/2-bit/3-bit 位宽，经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上，再校准检查点 MATH-500 得 46.7，高于同数据训练的 EfficientQAT 的 30.0；QAT 后达 73.0；0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8，bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1
推荐理由：论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化，给出与 EfficientQAT 的 MATH-500 对比数据可参考。
一项 arXiv 研究诊断 GEPA 反思式提示词优化器中合并算子不稳定的成因：合并平均提升 gpt-4.1-mini 却降低 Qwen3-8B 表现。在五个数据集、两种模型上进行的九种配置扫描显示，配置得当时合并对两个模型均有提升，说明不稳定源于配置敏感性而非算子固有缺陷；提示词级静态特征也无法预测合并接受决策。基于行为探针的概念验证可在高风险任务上弃权以避免大规模合并失败，但未稳定超过 NoMerge，代码以 GEPA-MergeProbe 开源。
该仓库基于 RTHD 框架，用轻量探针分类器（Safe / AtRisk / Hallucinating）在解码过程中监测医疗 LLM 隐藏状态，实现幻觉早期检测与模拟干预。作者在 Kaggle 上用 4-bit 量化骨干完成了 4 组试点实验，各 20 条轨迹，分别组合 EndoDiag + Qwen3-8B、MedHallu + BioMistral-7B、MedQA + Mistral-7B-Instruct-v0.3、PubMedQA + Llama-3.1-8B-Instruct；四组 EDR@K 均为 100%，平均提前量 14.85–32.50 tokens，模拟幻觉降低 76.9%–100%。作者指出样本量小、标签由启发式生成、干预为模拟而非实时引导解码。
PreView 是一种辅助预处理器，无需再训练即可提升现有 GUI grounding 模型的输入质量，提供任务相关视图和候选-specific 线索（红圈标记与文字提示）两类特征。轻量辅助模型预测并微调中心点、裁剪局部视图并放大，冻结的 grounding 模型据此输出最终点击。在五个 benchmark 上，PreView 提升了 Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均 grounding 准确率。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding，使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上，其宏平均达 0.5488，为受评 0.6B 模型中最高，并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏，均值从 0.4813 提升至 0.5488，且模型权重、代码与数据集均已开源。
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现：以视听输入为对象，发现检索头在新模态中保持稀疏并跨模态大量共享，在 18 个语言、视觉语言与全模态模型中，全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%，但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分，并在三个模型族上改善文档检索。
一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架，用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败，并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息，但失败很少跨选项顺序持续，说明共享预测规律与依赖上下文的方向性效应并存。
论文提出投机解码方法 ReaDy，首次利用混合线性注意力（HLA）模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略，在数学、代码生成与对话七项基准上，ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速，吞吐较 DSpark 提升 7.97%，接受长度提升 8.50%，代码已在 GitHub 和 HuggingFace 开源。
一项 arXiv 研究发现，仅更改语料的收集日期元数据即可改变五个开源 LLM 在时间性问答中的答案：在 595 个 Wikipedia 页面上，交换前后两天的提问日期使后向引用 exact match 下降 37.6-51.4 个百分点。七种提示词变体（包括明确忽略收集时间的指令）均无法消除该效应；加入思维链可将 Qwen3.5 的损失从 30.1 降至 11.1 个百分点。该诊断可将元数据影响与证据变化分离，为时间性 QA 输入提供实用审计方法。
研究者构建了首个尼泊尔政治文本金标准数据集（Cohen's kappa = 0.777），并用机器学习、深度学习和 LLM 自动提取与分析选举承诺。fastText-LSTM 深度学习模型表现最佳（accuracy 0.914、macro F1 0.913），LaBSE-LR 为最优机器学习模型（accuracy 0.897），三个受评 LLM 中 Qwen3-8B 在 few-shot 设置下取得 0.848 macro F1。成果已集成进移动应用，借助 GAI 可视化承诺以提升透明度与问责。
arXiv 论文发现，2021–2026 年的 11 个冻结文本编码器普遍存在解耦现象：线性探针能以最高 91.3% 准确率从嵌入中解码句子情感极性，但余弦相似度的极性分离边际仅 0.003–0.064，Qwen3-Embedding-4B 探针准确率 91.3% 而 retrieval MAP 仅 64.3。作者提出 SISE 方法，用 0.13M–0.69M 参数的监督对比头在 CPU 上数秒训练，可将 retrieval MAP 提升最高 +26.0，但 128 维头在 STS-B 上损失 38–41 个 Spearman 点，属于专精化而非免费收益。论文同时开源 CPU 可复现管线和 Attribute Alignment Gap 诊断工具。
一项 arXiv 研究用 601 对天城文-拉丁文审计身份对测试发现，Qwen2.5-7B 在马拉地语提示下，同一人名判断准确率从拉丁文的 35.1% 降至天城文的 8.5%。在 374 对马拉雅拉姆语对上复现了该效应，0.925 AUROC，且标量校准可恢复 87% 的模型-探针平衡准确率差距。对 Qwen 中间层的干预将马拉地语同一人准确率从 6.5% 提升至 33.5%，不同人准确率保持 98.5%。
arXiv 一项研究显示，经强化学习后训练的 Qwen3-8B 小型开源模型可完成以往依赖 Claude、ChatGPT 等专有模型驱动的工具选择功能，在 ToolBench 上超越 Llama-4-Maverick（402B）。该模型可直接迁移到不同检索器，并能泛化到不同领域的新工具库。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
arXiv 论文提出 RIFT，一组基于选择的 KV cache 压缩策略，用于缓解推测解码中随输出变长产生的 decode staleness 问题，平衡 prefill 信息与近期生成 token，并引入自适应 KV 刷新与基于稀疏注意力掩码的可压缩性训练。经压缩训练后，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K token 输入、4K token 输出和 8K token KV cache 预算下保留超过 98% 的全缓存接受长度。
一项基于 BBQ 基准的研究考察了 Qwen3、Gemma-3 和 SmolLM2 在多种规模与量化设置下的社会偏见与弃答行为。结果显示，更大模型问答准确率更高，但偏见无简单缩放趋势，量化影响因配置而异；26 个偏见响应更少的配置中有 20 个同时出现过度弃答增多。研究表明公平性评估需将偏见响应、弃答、提示词形式与选项设计联合考虑。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
arXiv 论文提出 ALIAS，用一致标识符重命名（CIR）在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%，但按行为评分后降幅缩小至约 3 和 0 个百分点，说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益，在未见任务上损失 4.9（Qwen）和 1.3（Gemma）个百分点。
该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案，用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B，面向十种语言的开放式问答（QA-OEG）。在相同解码设置下，目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%；在 Aya Evaluation Suite 评测中，macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性：目标语言的上下文问答及非目标语言的三项任务得分均有下降。
一项 arXiv 研究测试基于 LLM 的 System One 决策模型在法律权威验证中能否在正确答案缺失时弃权：扩展 CaseHOLD 数据集（5,314 项中 1,670 项替换正确 holding）后发现，生成式 LLM 在无正确选项时仍于 38-86% 的情况下强行选择，最谨慎的决策模型为 30%。在标准 CaseHOLD 上，决策模型以 1/55 的成本达到与最佳生成式 LLM 相当的准确率（88.1% vs 88.2%）；两者结合可将错误引用减半，其概率蒸馏到 Qwen3-8B 后可得校准良好的本地模型。
研究者提出动态智能体基准 Environment Duels，评估九个前沿 LLM 作为环境创建者与解题者的双重能力，发现解题与环境创作是两种不同的技能：最强解题者并非最强创作者，而较小的模型能写出最难的环境和最有用的提示词。在 Qwen3.8-27B 的强化学习研究中，模型在他人环境上的提示词提升能预测这些环境训练对 held-out 推理与智能体基准的改进。代码已开源。
Ju-Chun Ko 在 arXiv 发表论文（arXiv:2610.29342），测试 abliteration（去审查）模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本，以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration：原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05，且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06；abliteration 最多改变 0.06。
推荐理由：论文用配对模型实测 abliteration 前后偏差，显示去审查不等于去立场偏差，并给出脚本切换与立场方向的量化证据。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
论文提出 Agent S4，一种自主计算机使用智能体，从任务经验中构建可演化的智能体界面：元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库，再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上，Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score，为固定界面同模型的 3.8 倍，高于 GPT-5.5（13.0%）和 Claude Opus 4.8（20.6%），成本约为后两者的 4.3% 和 1.5%；在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。
推荐理由：论文提出让智能体自主演化操作界面，用无标签轨迹和种群进化构建接口库，并给出 OSWorld V2 与成本对比数据。
一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在：在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上，该数字在最后一个 prompt token 处存在且跨问题共享编码，readout 约 0.9，但常规单样本探测只读到 0.36 和 0.19（即使经过 5,249 个训练问题）。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合，在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号，且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字，而 patch 答案的同一位置可以，说明该值可读但未被使用。
论文提出 Progress-Aligned Recurrence（PAR），通过让第 k 次迭代的预测对齐前 k 步操作后的状态、并将循环状态重缩放至首轮范数，提升循环语言模型的长度泛化能力。基于 Qwen2.5-0.5B、仅在最多 32 步上训练的模型，在 swap-S₅ 任务外推到 512 步时达到 95.5% 平均全状态准确率，为训练长度的 16 倍，显著高于 RLT 的 55.7% 和显式思维链的 0.8%。消融实验显示去掉范数锚定会使外推倍数降至 2.2 倍以下，无中间标签时可借助前缀自蒸馏从最终答案学习对应关系。
研究者提出 CUA-Recovery 基准，用 ReRail 框架在持久桌面环境中合成多应用长时程任务，评估计算机使用智能体（CUA）的错误检测与恢复能力。测试集含 2,250 个经人工验证的错误状态（100 个任务），训练集含 8.6K 轨迹（377 个任务）；六款智能体错误感知率（EAR）最高仅 44.0%，Pass@3 最高 25.5%。用训练集微调 Qwen3.5-35B-A3B 后，其平均 EAR 从 19.9% 升至 35.2%，Rubric Score 从 5.0% 升至 16.1%，并在 MyPCBench 和 Odysseys 上分别提升 15.3 和 10.8 分。
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
一项基于 δ-SNLI 数据集的研究测试了 LLM 收到单条新信息时概率估计的移动幅度，涵盖 Qwen3-8B、OLMo-2-7B 两种本地模型及五种 agent 命令行配置。在直接陈述引导下，全部七种配置均朝标注方向移动 18-28 个百分点；改用“有人说”转述则降低移动幅度 2-5 个百分点。研究还发现，五次加权估计虽减少极端值，但在两个本地模型中使敏感度分别下降 43% 和 68%。
该 arXiv 论文提出在客户端本地将文本转为向量，并经 55.6M 参数的训练网络变换后，再交给托管方运行冻结的 Qwen3.8-27B 模型，托管方始终收不到文本或 token id。在 1,490 道训练外的 MMLU 问题上，该变换仅损失 1.5 个百分点准确率（80.7% vs. 82.3%），同时 30.1% 的内容 token 经最近邻查找已无法还原为原始 token。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
GitHub 上有研究者端到端复现了 Wilfrid Laurier University 团队的 FedLLM 论文，用 Qwen2.5-1.5B 结合 LoRA、4-bit QLoRA 与联邦学习做可解释交通流预测，仅训练 18,464,768 个权重（1.18%）。复现结果接近原论文：FedLLM 误差与论文相差 2% 以内，15/30/45/60 分钟预测的 R² 匹配到小数点后三位；复现中 5,000 条测试提示词 RMSE 为 31.84，低于论文的 35.66。仓库包含完整代码、LoRA adapter、合并模型与运行日志，GRU、DCRNN 等基线未在本次发布中运行。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。
推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。