跳到正文
10月22日周四
  1. GitHub · 灵魂体仓库69

    omni-api 发布:把聊天、决策、嵌入、图像、视频、语音等本地模型统一到一个端口

    nvkudva 发布开源 CLI 工具 omni,在 127.0.0.1:10000 用一个网关统一运行和代理本地模型,应用按 chat、decide、embed、image、video、stt、tts 等角色调用而非模型名,兼容 OpenAI 格式,改 base_url 即可用 OpenAI SDK 接入。各角色独立进程运行并带健康检查与自动重启,空闲 10 分钟自动卸载模型,可钉住常驻;Apple Silicon 上 chat 约 140 tok/s(qwen2.5:3b)、warm embed 0.03–0.15 s、tts 约 12 倍实时,还附带浏览器 playground 可查看每角色的实时请求日志。

    推荐理由:原文给出完整的架构说明、各角色默认模型与 Apple Silicon 实测数据,读者可以据此评估这套单端口本地推理网关是否值得部署。

  2. GitHub · 灵魂体仓库75

    homelab-atlas:在二手硬件上跑通 Qwen3.8、GLM-5.3-Flash 与 DeepSeek V4.1 Flash 的实测手册

    akapug 发布 homelab-atlas 仓库,用 2017 服务器、2019 工作站、Ryzen 桌面等四台旧机器实测本地大模型部署,如 DeepSeek V4.1 Flash(748B MoE)在 RTX 6000 + Optane 上解码 12.69 tok/s,GLM-5.3-Flash 在 3090 Ti 上达 26.69 tok/s。仓库提供 PATCHES.md 补丁索引、按硬件分类的复现命令、失败记录,以及浏览器端 Recipe Maker 规划工具,用于在下载权重前预判 MoE 模型在 VRAM、DRAM、PMem 上的布局与速度。

    推荐理由:用二手服务器、老工作站和Intel冷门卡跑通大MoE模型,每个数字都附条件、命令和补丁来源,方法可直接照搬。

  3. GitHub · 灵魂体仓库41

    SharpAI 2.0 发布:.NET 本地 AI 推理库,兼容 Ollama 与 OpenAI API

    SharpAI 2.0 发布,这是一个 .NET 本地 AI 推理库,支持嵌入、文本补全和聊天补全,仅使用 GGUF 模型,基于 LlamaSharp 构建,可提供 Ollama 兼容和 OpenAI 兼容的 REST API。新版本默认按各模型 GGUF 内置聊天模板渲染请求,重建了 React 19 仪表盘,新增多租户认证与 RBAC(默认关闭)、四种数据库支持、Prometheus/OTLP 可观测性,以及 C#、JavaScript/TypeScript、Python SDK。所有推理均在本地完成,无需云端依赖。

  4. GitHub · 灵魂体仓库26

    combinatoratrix-ai/claude-models-list:每日自动更新的 Anthropic 可用模型 ID 列表

    GitHub 仓库 combinatoratrix-ai/claude-models-list 通过 GitHub Actions 每日从 Anthropic 官方 GET /v1/models 端点抓取模型 ID,以公开 JSON 快照形式发布,供没有 API key 的环境只读查询。最新快照(2026-10-22 刷新)列出 Claude Haiku 5.5、Sonnet 5.5、Opus 5.5 等模型,近期模型最大输入 1,000,000 token、最大输出 128,000 token。仓库为只读镜像而非 API 代理,采用 MIT License,仅按更新所用 API key 可见的模型范围生成快照。

  5. GitHub · 灵魂体仓库57

    BlackoutOps 仓库发布离线自我修复的 IT 运维 Agent,目标部署 Jetson AGX Thor

    BlackoutOps 项目发布,目标在断网的边缘设备 Jetson AGX Thor 上全本地运行大模型推论与小型 RAG,做出能自主诊断修复 IT 故障的 Agent,开发验证机为 NVIDIA DGX Spark(GB10,128 GB unified memory)。2026-10-20 起正式推论引擎由 TensorRT-LLM 改为 vLLM,跑 Nemotron-3.5-Bolt-74B-A9B-24GB(Spark 舞台用 Nemotron-3.5-Lightning-30B-A3B-NVFP4,DSpark speculative decoding 下 decode 提速 27–49%)。

    推荐理由:项目给出了完整的部署架构、故障目录规模和多轮实测数据,读者可据此了解全离线自我修复运维 Agent 的工程做法。

  6. arXiv · cs.CL54

    SPARE 提出基于路由熵的 MoE 分层剪枝稀疏度分配方法

    论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1

    推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。

  7. arXiv · cs.CL33

    MAPS:面向 RAG 检索动量调控的宏自适应并行推理框架

    提出搜索动量(search momentum)概念来刻画 RAG 推理过程中查询意图的演化,发现子查询生成倾向于沿既有检索轨迹持续演化。据此提出 MAPS(Macro-Adaptive Parallel Reasoning)框架,保留检索知识与精炼推理状态,并将顺序推理扩展为并行推理以调控检索动量、缓解查询意图漂移。在六个问答 benchmark 上,MAPS 在不同 backbone 模型下均优于代表性 RAG 方法,代码已开源。

  8. arXiv · cs.CL42

    循环均匀扩散语言模型研究:训练 FLOP 最多降低 3.3 倍

    研究者将循环技术引入均匀扩散语言模型(UDLM),在保持训练目标和采样器不变的前提下显著提升训练效率:达到非循环模型约 0.5 万亿 token 的验证 NLL,在 OpenWebText 上最多节省 2.8 倍训练 FLOPs,FineWeb-Edu 上为 3.3 倍。相同 NFE 预算下,循环 UDLM 的生成困惑度最多降低 9.8%。训练时更频繁采样较小循环次数,可在不损失精度的前提下减少 12% 的推理循环。

  9. arXiv · cs.CL49

    P2NPCBench:用对抗性多智能体重写检验 LLM 在配对 P 与 NP 完全问题上的真实推理能力

    研究者推出 P2NPCBench 基准,将 12 个问题族中的 NP 完全问题与同表面的 P 问题配对,并用 AgentGAN 对抗性多智能体框架改写题目以消除教科书式提示,生成 2,114 条经人工验证的题目。评测 12 个专有与开源模型发现,模型在 NP 完全题目上的 pass@1 为 35.4%,显著低于 P 题的 63.8%;十倍时间限制仅将 NP 完全准确率从 28.5% 提升至 31.9%,说明失败源于程序错误而非速度,且对抗性加固使复杂度类差距从 24.8 收窄至 14.6 分。

  10. arXiv · cs.CL50

    LongZero:从零数据提升大语言模型的长上下文推理

    Zhennan Wan 等提出 LongZero,让 LLM 自行合成带证据的多跳推理与多轮检索任务,再用 GRPO 训练,无需任何外部数据即可提升长上下文推理。模型先以紧凑结构化形式生成问题、答案与证据,再将其扩展为长多文档上下文;在两个 LLM、五个长上下文推理基准上优于基于外部语料合成数据的 RL 基线,代码与数据已开源。

  11. arXiv · cs.AI29

    每个部分都有其角色:词性对 LLM 后训练的影响

    一项 arXiv 研究将概念增强(用语义相关词替换目标词的句子增广训练)从名词扩展到动词和形容词,考察词性对 LLM 训练效果的影响。结果显示:概念增强对新闻类文本的困惑度改善最稳定且不依赖词性,而动词带来最可靠的下游任务增益;CKA 和 linear probing 的表征分析表明,下游增益最大的条件未必最改变模型内部表征。

  12. arXiv · cs.AI19

    综述:机器学习与大语言模型用于材料数据与知识的自动化提取

    这篇 arXiv 综述梳理了从规则流程、NLP 模型、Transformer 编码器到 LLM 与智能体系统的材料数据提取方法演进,可处理文本、表格和图形等多模态信息。这些进展支撑了可查询材料数据库与知识图谱的构建,以及跨材料科学问答、AI co-scientist 和与自主实验室结合的闭环优化发现。作者评估了数据集质量、提取精度与计算成本,并指出样本级四要素提取、基准数据集稀缺和非标准术语等开放挑战。

  13. arXiv · cs.AI46

    ThreadRAG:用图拓扑与能量驱动寻路保持 RAG 上下文一致性

    新框架 ThreadRAG 通过 Semantic Topology Mapper 将检索文档组织为保留上下文的语义节点并构建语义拓扑图,再由 Energy-Driven Pathfinding 经能量扩散定位相关子图并线性化为连贯文本证据路径。在三个多跳 QA 基准上,ThreadRAG 在 HotpotQA 上较文本中心方法提升 14.4% EM,在 2WikiMultihop 上超最佳基线 5.8% EM,同时 token 成本降至最强基线的 23.3%。

  14. arXiv · cs.AI45

    ToM2Vec:用于多智能体协作的连续心智理论 token

    研究者提出 ToM2Vec,通过固定预算的连续推理 token 让 LLM 智能体在潜在空间中形成抽象心智理论。在 Overcooked-AI、Hanabi、多方谈判等合作、竞争与混合动机环境中,其表现持续优于基线模型,且能泛化到训练时未见过的模型家族(包括 GPT-5.4)。分析显示潜在 token 编码的是心智理论而非任务特定信息,且以文本表达推理时性能会下降。

  15. arXiv · cs.AI35

    哪些差异真正重要?决策模型中规则迁移、联合可靠性与信息使用的受控测试

    一项 arXiv 研究(arXiv:2610.30045)通过可执行的算术规则与受控输入变化,将决策模型的表现拆分为规则迁移、联合可靠性和定向信息使用三个可分别测量的维度。实验显示适应增益随最近源答案一致度增加,完全冲突的四元组池化增益很小且在不同源划分下增益符号不同;等价改写在任务层面产生相反效果。测试的决策服务对等价措辞的回答变化大于相同文本重复,且通常遵循被改动表格数值或映射所隐含的答案目标。

  16. arXiv · cs.AI46

    图表作为认知动作:面向经验驱动的智能体数据分析

    一项 arXiv 预印本研究提出将图表作为数据智能体推理循环中的内部认知动作。团队构建了包含 200 个受控任务的 \probe{} 测试集,发现智能体能从自生成图表获得与数值输出同等的得分,但并不会稳定地主动使用图表。其提出的 \method{} 方法从轨迹 rollout 中蒸馏两类经验并经验证门筛选,在三个 held-out 基准、四个 LLM 骨干上提升分析准确率与视觉证据质量,且不改动模型参数。

  17. arXiv · cs.AI48

    Quant-Arena:面向量化交易研究的 LLM Agent 基准测试

    Quant-Arena 是一个基于真实 A 股数据的端到端量化研究基准与公开排行榜。模型构建特征和股票打分代码,仅在 2022-2023 数据上获得反馈,并将策略冻结后在密封的 2024 年数据上评估,计分以实际超额收益为主,辅以信号质量与特征多样性,评估器还纳入交易约束、成本及基于模拟订单簿估算的市场冲击。在九个前沿模型中 GPT-6 Astra 得分最高,但没有模型在 2024 年跑赢等权市场;该基准开放任何模型或 agent 框架提交。

  18. arXiv · cs.AI43

    Environment Duels:一个 LLM 共同进化的微观世界

    研究者提出动态智能体基准 Environment Duels,评估九个前沿 LLM 作为环境创建者与解题者的双重能力,发现解题与环境创作是两种不同的技能:最强解题者并非最强创作者,而较小的模型能写出最难的环境和最有用的提示词。在 Qwen3.8-27B 的强化学习研究中,模型在他人环境上的提示词提升能预测这些环境训练对 held-out 推理与智能体基准的改进。代码已开源。

  19. Reddit · r/LocalLLaMA53

    用户在 RTX PRO 6000 上用 vLLM 实测 Flint NVFP4 量化版

    Reddit 用户 /u/DataCraftsman 在 RTX PRO 6000 上通过带 flint PR 的 vLLM 跑通了 Flint NVFP4 版本,模型可正常调用其知识库、网页抓取并按给定人设对话。他抽样实测 LiveCodeBench v6 得 82.2(官方称 80.8),SWE-bench Verified 抽测 50/500 任务得 80(官方称 74.1);单流约 110-180 tok/s,64 并发时峰值约 2500 tok/s。他称可能用它替换 qwen3.8 27b,附了 docker compose 配置和 chat_template 修复,并希望社区找到给它加上视觉能力的办法。

  20. arXiv · cs.AI38

    HMDLM:层级掩码扩散语言模型

    研究者提出层级掩码扩散语言模型(HMDLM),为每个 token 位置引入层级标注,通过两阶段生成让高优先级位置优先揭示,同时保持完全并行解码,无需额外标注。在 LM1B 上困惑度比 ADLM 降低超过 1.5 点,WikiHow 上最高降低 4.4 点(对 ADLM)、7 点(对 MDLM),LLM judge 偏好其生成结果超过基线 2 倍;Sudoku 多步推理任务上准确率最高提升 8.6% 绝对点。

  21. arXiv · cs.AI37

    Flat-RLVR:基于锐度感知的可验证奖励强化学习,提升 LLM 推理能力

    研究者提出 Flat-RLVR,在 LLM 后训练中通过锐度感知最小化寻找平坦奖励区域,并结合 GRPO 变体进行可验证奖励强化学习(RLVR)。该方法在理论上将平坦奖励最优与缓解分布锐化(distribution sharpening)联系起来,经验上提升了样本多样性,同时保持单次尝试准确率,在采样效率与推理容量之间取得更好权衡。

  22. arXiv · cs.AI21

    潜在空间配置(LSC)方法加速神经网络嵌入检索并降维

    一项 arXiv 研究提出针对神经网络结构化潜在空间(LS)的检索算法,借助 O(1) 复杂度的候选子集搜索加速 top K 检索。作者用 Latent Space Configuration(LSC)方法微调 ArcFace 预训练的 IResNet50 模型,相比基线穷举搜索,GPU 上最高提速 3 倍、CPU 上提速 40%;且 LS 降维可进一步加速搜索,甚至改善 rank-N 指标。

  23. arXiv · cs.AI29

    何时接近纳什均衡:一般和博弈中的解证明方法

    这篇 arXiv 论文提出一种在线证书方法,利用求解器已有的 regret 累加器和终局分布累加器来认证一般和扩展式博弈中加权平均策略的 NashGap,每个检查点成本与终局历史数线性相关,且在交替更新和三人及以上博弈中保持可靠。在 biased Leduc 基准上,16 个免训练 regret-matching 求解器的组合协议在阈值 10⁻⁵ 下解决 64 个实例中的 89%,预注册保留集和第三组各 64 个实例上分别解决 92% 和 89%;零最佳响应证书对样本内、新样本各 57 个全部认证成功。代码已开源。

  24. arXiv · cs.AI12

    YingLan:面向异构海洋观测统一表征学习的多模态海洋基础模型

    研究者提出多模态海洋基础模型 YingLan,融合物理属性条件动态编码、Spatiotemporal Increment Coupling(STIC)与海洋状态演化感知预训练,统一处理卫星影像、网格化海洋场和浮标观测等异构数据。模型基于 MindSpore 实现,在华为 Ascend 910B NPU 上训练;在深圳近海七天海表盐度预报任务中,平均 RMSE 为 0.687508 PSU,较 LangYa、XiHe、GloNet2 分别降低相对误差 0.58%、5.31% 和 12.42%。

  25. arXiv · cs.AI31

    PLRM:可并行化的概率潜在推理框架,用于多样推理轨迹

    研究者提出概率潜在推理模型 PLRM,一种可并行的变分框架,将推理移入紧凑连续潜在空间以表达多条有效推理路径。PLRM 采用 JEPA 式目标,后验从观测轨迹并行推断潜在分布,并引入离散策略变量与混合先验以保留多轨迹的高斯混合结构。实验显示其在单轨迹数据集上与确定性潜在推理模型性能相当,在多轨迹数据集上持续超越随机基线。

  26. arXiv · cs.AI44

    Sanko 求解器首次解决位置超劫规则下的围棋局面

    新求解器 Sanko 在位置超劫(PSK)规则下实现可靠证明迁移,恢复了置换表、死活识别与安全剪枝三大能力。它用六个线程 16 分钟证明 5x5 围棋(此前方法需 5.25 小时),并首次给出二十三个局面的 PSK 价值,其中十一个此前在任何规则下均未解决。超劫改变博弈价值:4x7 在基本劫规则下是全盘获胜,在 PSK 下仅值 12 点。

  27. arXiv · cs.AI31

    基于非线性 Schrödinger Bridge 与分支扩散的生成建模新框架 SBNL

    一项 arXiv 研究提出基于正向-反向偏微分方程的生成建模框架 SBNL(Schrödinger Bridge NonLinear),将平均场博弈与非线性 Schrödinger 系统的联系重新诠释为生成建模问题。该框架通过基于分支扩散的模拟算法求解,具备高并行性、可扩展到高维,并在 MNIST 和 FFHQ 人脸图像合成任务上完成验证,同时统一了 score-based 生成建模与扩散模型。

  28. arXiv · cs.AI41

    DPT:通过路径多样性提升大语言模型并行思考能力

    一篇 arXiv 论文提出 Diverse Parallel Thinking(DPT),一种面向大语言模型并行思考的强化学习方法,通过惩罚并行思考路径的前缀相似度来奖励模型发展不同的推理策略,缓解 RL 并行思考中推理路径模式坍缩导致的同质化问题。在多个推理 benchmark 上的实验显示,DPT 超越以往并行思考方法,达到 SOTA,代码已开源。

  29. arXiv · cs.AI15

    块扩散用于纵向电子健康记录:精度、效率与表示的权衡

    一项研究在 MIMIC-IV 数据集上以相同的 tokenization、上下文长度和模型容量对比块掩码扩散(BD)与自回归模型在纵向 EHR 建模中的表现。B=8 配置实现约 1.43× 更快的推理速度,其表示的线性探针在临床预测任务上与 AR 性能接近。结果表明块扩散是计算上更具吸引力的可行方案,但生成质量仍低于 AR。

  30. GitHub · 去对齐工具与仓库74

    Pollard Weights 开源:按目标设备内存定制模型量化方案

    WestWaters 在 GitHub 开源 pollard-weights,一套按目标设备 RAM/VRAM 预算构建模型量化的工具,通过 pollard-sensitivity 测量各张量的 KL 敏感度后分配比特,保护 attention、router 和 embeddings,压缩专家 FFN。一次测量分配可输出 GGUF、GPTQ、MLX、EXL3、MX/NVFP4 五种格式,配套 pollard-verify 真实重建校验。在 Qwen2.5-7B 和 14B 上,同尺寸 1-bit 混合精度比均匀 trellis 量化困惑度低约 14%;其误差反馈 GPTQ 在 4-bit 恢复约 46% 的 round-to-nearest 误差。

    推荐理由:原文给出了在 Qwen2.5-7B/14B 上与均匀量化的困惑度和 KL 对比数据,读者可以据此评估这套按内存预算分配精度的方法是否值得用。

  31. GitHub · 去对齐工具与仓库30

    Ollama:本地运行开源模型,支持连接 Claude Code、Codex 等工具

    Ollama 是可在本地或云端以完全隐私方式运行开源模型的工具,支持 macOS、Windows 和 Linux 安装,并提供官方 Docker 镜像。用户可通过 ollama launch 连接 Claude Code、Codex、Copilot CLI、DeepSeek Harness、Droid、OpenCode 等集成,也可运行 Gemma 4 等模型,用 REST API 或 Python、JavaScript SDK 进行调用,后端基于 llama.cpp。

  32. arXiv · cs.CL40

    基于 LLM 的外生世界建模用于动态调度(arXiv 论文)

    一项 arXiv 研究提出 AWMP(Afterstate World-Model Planning),用预训练 LLM 作为世界模型的外生组件,预测动态调度中的不确定未来任务到达。方法结合 afterstate 分解、信念条件调度策略、短场景 rollout、惊讶触发的 LLM 查询刷新与在线残差自校准。在动态 job-shop 和柔性 job-shop 基准上,相对八种经典优先级调度规则中的最优者,加权延期分别降低 6-21% 和 22-46%。

  33. arXiv · cs.CL16

    OSynth:面向会议理解的纵向、上下文敏感评测数据集

    研究者提出 OSynth,一个模拟组织的大规模合成数据集,包含 570 小时会议音频、相关文档及潜在真实状态。人类评审基于 150-300 词片段,区分 OSynth 会议与真实会议转录的准确率仅 56%。测试显示,引入日历、以往会议等额外上下文可使多个 LLM 在实体敏感维度显著提升。

  34. GitHub · 灵魂体仓库70

    MoonBit 从零实现端侧 LLM 推理引擎 MoonLM,M0 至 M3 阶段完成

    soehi 发布 MoonLM,一个用 MoonBit 从零实现的端侧 LLM 推理引擎,同一份源码可编译到 native 与浏览器 js 后端,产物 669 KB / brotli 74.5 KB,推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样(M0/M1)、Web Demo(M2)和带沙箱工具的 Agent 运行时(M3)完成;与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%,浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s,native 单线程 decode 18.4 tok/s(纯标量、无 SIMD,比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍)。

    推荐理由:从零实现的端侧推理引擎,对拍数据、性能数字与零网络验证都给了实测细节,可迁移到自建本地推理项目。

  35. arXiv · cs.CL25

    B-CARE:面向立场分类错误排序的盲评类相对证据评估框架

    B-CARE(Blind Classwise Assessment of Relative Evidence for Stance Error Ranking)是一种预测盲的错误排序框架,用固定 LLM 验证器对各候选立场标签赋证据分,对比最强替代类与预测类的证据来构建风险分。该框架在 4 个立场基准和 3 个异构基座 LLM 上的 12 个数据集-模型组合、5,206 条测试实例中评测,取得平均 AUROC 0.735、平均 AUPRC 0.524,并在风险最高的 20% 预测中捕获 41.06% 的错误;其证据信号可跨模型复用,与置信度基线互补。

  36. arXiv · cs.CL52

    arXiv 论文提出长上下文持续预训练的经验缩放律:不要过早停止 LCCP

    arXiv 论文(arXiv:2610.29352)通过五个模型规模、百余种 token 预算配置,建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律,可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议,稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹;128K 上下文扩展和监督微调后增益仍保持,在评测范围内未见饱和,支持继续扩展 LCCP 而非提前停止。

    推荐理由:论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律,并用 1.22B 模型轨迹验证了可预测性与增益持续性。

  37. arXiv · cs.CL56

    OnQ 论文提出低比特量化下恢复推理能力的新管线

    论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1

    推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。

  38. arXiv · cs.CL56

    ECHO 论文揭示偏好优化中共同模态偏移导致词表坍缩的机制

    arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移,即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移,相对排序损失几乎察觉不到其累积;该偏移投影到输出层形成词表井,使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下,同样的坍缩出现在 17 个 base 模型谱系中的 14 个,且注入该偏移可复现坍缩、屏蔽该成分可预防;教科书式 DPO 偏移较弱,而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好,两个公开奖励模型反而越少偏好其样本,揭示了标准排序指标的盲区。

    推荐理由:论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来,并给出可在坍缩前预警的表征层信号。

  39. arXiv · cs.CL33

    Harness Scaling:面向可泛化智能体强化学习的新扩展维度

    一篇 arXiv 论文提出 Harness Scaling,将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间,选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上,该方法持续提升对未见 white-box 配置的泛化,且能迁移到未见的外部 black-box harness,优于单一复杂 black-box harness 训练的模型。