按兴趣浏览，循来源深入。
arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案，并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道，带错误理由的断言放在问题之前可把错误率从 1% 提到 67%，权威署名和肯定语气各提升 10-27 个百分点，而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。
推荐理由：论文把提示位置、信息来源和模型已有输出三个因素拆开比较，给出了可复现的错误率变化数字。
ThinkBit 是一个严格标量的 2-bit 量化框架，用整数码字乘 bfloat16 组共享尺度表示权重，按敏感性给每层分配三值/2-bit/3-bit 位宽，经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上，再校准检查点 MATH-500 得 46.7，高于同数据训练的 EfficientQAT 的 30.0；QAT 后达 73.0；0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8，bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1
推荐理由：论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化，给出与 EfficientQAT 的 MATH-500 对比数据可参考。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
Ju-Chun Ko 在 arXiv 发表论文（arXiv:2610.29342），测试 abliteration（去审查）模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本，以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration：原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05，且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06；abliteration 最多改变 0.06。
推荐理由：论文用配对模型实测 abliteration 前后偏差，显示去审查不等于去立场偏差，并给出脚本切换与立场方向的量化证据。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
论文提出 Agent S4，一种自主计算机使用智能体，从任务经验中构建可演化的智能体界面：元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库，再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上，Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score，为固定界面同模型的 3.8 倍，高于 GPT-5.5（13.0%）和 Claude Opus 4.8（20.6%），成本约为后两者的 4.3% 和 1.5%；在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。
推荐理由：论文提出让智能体自主演化操作界面，用无标签轨迹和种群进化构建接口库，并给出 OSWorld V2 与成本对比数据。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。
推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。
论文提出 LM2LM，用强化学习训练大语言模型生成语言模型改进提案，并以研究世界模型（RWM，一个冻结 LLM）从真实实验记录预测提案收益作为奖励，定期执行高排名提案以更新上下文保持反馈可靠。在八个自回归与扩散 LM 开发环境中，Qwen3.8-27B 经 LM2LM 训练后在留出任务上超越获得 300 条真实实验记录的 GPT-6-sol，数据生成成本降低 33%，并能泛化到训练未见的模型家族。论文链接 https://arxiv.org/abs/2610.23344v1
推荐理由：论文用研究世界模型替代真实训练反馈来训练改进提案模型，并给出跨八个环境与 GPT-6-sol 的对比数据，方法可参考。
arXiv 论文 2610.23194 提出 OfficeTown，一个从自然语言组织描述生成职业组织模拟的框架，成员协调分工、委派任务给助手智能体并评审产出，产物与未决事项持续存在影响后续工作。配套 OfficeTown Bench 含 23 个模拟组织、8 个专业领域的 406 个任务和 4,836 条评测标准；对 Qwen3.5-9B 做监督微调和 on-policy 蒸馏后在外部职业工作基准（含 GDPval）上明显提升，principal-assistant 框架得分高于所测单智能体与多智能体基线。
推荐理由：论文把组织模拟当作智能体训练数据源，任务与评审反馈可持续生成，还验证了主从协作框架优于单智能体基线。
论文提出 WebCoder，一个用工件锚定智能体强化学习训练的通用前端开发 Agent，并构建可执行环境 Webdev-World 与评测集 Webdev-Bench。WebCoder-27B 在 Webdev-Bench 上把需求满足分从基座 Qwen3.8-27B 的 64.8 提升到 72.8，超过 Claude-Opus-4.8（65.1）和 GPT-5.4（59.6）；在 Vision2Web 上平均视觉与功能分从 41.1 提到 62.4，与 Claude-Opus-4.8 相当。消融实验验证了工件锚定信用分配与长程训练的贡献。
推荐理由：论文提出以共享可执行工件为核心分配奖励与信用，并给出对齐 Claude 等闭源模型的实测分数，方法可迁移到长序列开发任务。
论文提出 Selective Rank-Preserving SFT（SRP-SFT），用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系，并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中，三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT；种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%，四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。
推荐理由：论文给出 SRP-SFT 的可行域刻画与多种子实验数据，读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。
arXiv 论文 WorkBorne 提出以 artifact transitions（工件转变）为核心 primitive 合成长时程终端 Agent 任务的框架，并构建了 1,061 个工件语料和 7,882 个任务环境，产出 15,485 条高质量轨迹，其中 53.6% 超过 30 个 assistant turns。
推荐理由：原文给出了任务合成的具体数据规模和 Terminal-Bench 2.1 的前后对比，读者可评估该方法对训练终端 Agent 的实际增益。
独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验，用600条环境执行验证的专家轨迹做 LoRA SFT，再经在线GRPO，完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%，单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout，附CPU可运行的证据核验脚本；作者说明这是域内训练与内部留出评测结果，域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。
推荐理由：作者给出完整训练链路、逐题成绩和可复现证据，读者可以在消费级单卡上照此复现小模型Agent后训练。
hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体，并配套可复现的规则化评测环境（开发用 24 题、测试用 40 题，pass^k 与无 LLM 的 DB 状态判定，遵循 τ-bench 方法但任务自建）。本地 4~14B 模型实测中，qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%；语音通道使 pass^1 从 16.2% 跌至 1.9%，规则化正则化挽回约一半至 8.8%；改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志，全部指标可从 reports/ 记录重新计算。
推荐理由：作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。