跳到正文
#编码
10月17日周六
  1. Reddit · r/LocalLLaMA27

    用本地 LLM 从 400 万份斯洛伐克法院判决中抽取结构化事件图谱

    一位开发者在构建覆盖约 400 万份斯洛伐克法院判决的法律检索与分析引擎，已用稠密嵌入加 BM25 实现基础检索，但在复杂查询上难以接近 100% 精度。纯嵌入和扁平 JSON 抽取分别败于枚举爆炸与递归法律逻辑（如多层嵌套的撤销-驳回-请求链）丢失证据性信息，作者正权衡三种架构，包括带 ID 关联和认知限定符的事件图谱方案。

  2. Reddit · r/LocalLLaMA31

    Nemotron 3.5 Bolt 真实任务评测：与 Qwen Flash Next 各胜一局

    一位数据工程师用两个真实 ETL 任务（重构 run.sh、编写 orchestrator.py）实测 Nemotron 3.5 Bolt，并以 Qwen Flash Next（UD-IQ4_XS、llama.cpp）的已完成结果作对照，由 Gemini 评审。结果两者各胜一局：Nemotron 在脚本重构上胜出，Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载，在其服务器上平均速度约 130t/s，且 2-bit 量化下表现令人印象深刻。

  3. GitHub · 3D 生成新仓库23

    OmniYield：基于 Gemini 的多模态工业诊断应用开源

    开源项目 OmniYield 是一个多模态 AI 工业诊断应用，将缺陷零件图像、实时机器遥测数据（温度、振动、压力）和设备手册片段融合为单一诊断，输出根因、具体修复动作和置信度。后端为 FastAPI 服务，调用 gemini-2.0-flash 生成结构化诊断结果；前端为 React 仪表盘，可部署到 Google Cloud Run 和 Firebase Hosting。

  4. Reddit · r/LocalLLaMA30

    Qwen 27B 实测：牺牲上下文长度换取更高量化精度，利弊分析

    一位 LocalLLaMA 用户实测 Qwen 27B 模型，将 Unsloth IQ4_XS（96K 上下文、KV-F16）换成 UDQ4KS（75K 上下文、KV-Q8）后，模型质量提升使草稿错误减少，同一 Pac-Man HTML 游戏生成测试从 8 小时缩短到 6 小时以内。结论是 GPU 显存不足时，牺牲上下文换取更高量化精度反而更省时间。

  5. GitHub · 灵魂体仓库43

    Ru-Agent：面向 Windows 的本地优先编程 Agent 发布 0.1.1-preview.1

    开源项目 Ru-Agent 发布 0.1.1-preview.1，这是一个面向 Windows 的编程 agent，提供 WinUI 3 桌面应用和终端 TUI 两种界面，用户自带 API key 并可自选模型提供商，API key 存于 Windows Credential Manager。其编排本地运行但不含本地模型，支持读改文件、运行构建测试、web 搜索/抓取及 SKILL.md 可复用工作流。目前仅提供 Windows x64 Preview 安装包且未签名，尚无 Stable 版本，采用 MIT 许可证。

10月16日周五
  1. GitHub · 3D 生成新仓库35

    SleepTCN 睡眠质量分期检测项目：用 31.4 万参数模型自动生成睡眠报告

    一个开源睡眠分期项目用自研 SleepTCN（Temporal Convolutional Network，314,019 参数）读取原始 EEG 和 EOG 信号，将每 30 秒 epoch 分类为 Wake、NREM 或 REM。在 SHHS2 的 52 名留出受试者上验证准确率达 87%，Wake 与 NREM 的 F1 分别为 0.91 和 0.90，REM 仅 0.70。指标经 Mistral 7B Instruct v0.2 以 4-bit 量化生成结构化临床摘要，整个流程可在单个免费级 GPU 上训练。

  2. Reddit · r/LocalLLaMA65

    Reflection 发布开源 MoE 模型 Beam 501B A23B，支持 1M 上下文

    Reflection 在 Hugging Face 发布开源模型 Beam，采用 MoE 架构，总参数 501.3B、激活 23.4B，支持 1M token 上下文，提供 BF16、FP8 和 NVFP4 三种数值格式。官方称其推理 token 用量约为同类领先开源模型的 1/3，并给出 SWE Bench Pro v1 66.1%、AIME 2026 97.7%、GPQA Diamond 90.6% 等基准成绩，主打 agentic 工具调用、编码与推理能力。

    同一新闻，精选展示《Reflection 发布开源 MoE 模型 Beam 501B，Hugging Face 提供推理与训练全流程支持》

  3. arXiv · cs.CL51

    MuninAI：面向独立研究组的自托管科研Agent框架

    Munin是一个开源自托管科研助手框架，可索引研究组文献库和引用图谱，并把任意开放权重模型包装成带阅读、检索和计算工具的智能体。在199组配对文献问题上，框架将基座模型准确率从0.387提升到0.874，而朴素检索式回答在所有测试骨干模型上均低于无辅助模型；移除来源论文后系统在约九成问题上放弃作答，300条伪造引用中未产生虚构的本地引用；断网状态下两个Qwen骨干模型仍超过已发表的PaperQA2准确率，其中gpt-oss-20b可在单张消费级GPU上运行。

  4. Hugging Face Blog75

    Reflection 发布开源 MoE 模型 Beam 501B，Hugging Face 提供推理与训练全流程支持

    Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源，为 501B 参数 MoE（每 token 激活 23B），支持 1M token 上下文，采用 Apache 2.0 许可，主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点，transformers、vLLM、SGLang 均已 day-0 支持，并附 LoRA SFT 与 Miles GRPO 训练配方；Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。

    推荐理由：官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方，便于评估上手成本。

  5. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud，限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布，Ollama 作为 day-zero 合作伙伴限时免费提供，Beam 端点全程零数据保留（ZDR）。Beam 是 MoE 模型，总参数约501B、每 token 激活23B，上下文窗口100万 token，采用 Apache 2.0 许可，面向软件工程、推理和长程 Agent 任务，可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由：官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表，读者可直接比较 Beam 在各编码基准上的位置。

  6. GitHub · 灵魂体仓库45

    ignite-corp 开源 ai-dev-pr-review：用 Claude + Codex + Gemini 做 PR 评审

    ignite-corp 发布 ai-dev-pr-review 仓库，提供可复用 GitHub Actions workflow，由 Claude、Codex、Gemini 三个 LLM 并行或串行评审 pull request，通过内联评论、去重和基于规则的聚合给出统一结论。需要配置 OPENAI_API_KEY、GOOGLE_AI_API_KEY，以及 CLAUDE_CODE_OAUTH_TOKEN 或 ANTHROPIC_API_KEY 之一；仓库默认 @v1 浮动标签供消费者引用。

  7. GitHub · 去对齐工具与仓库57

    Clodex 开源：面向 Claude Code 与 Codex 的多智能体会话管理器

    avirtual 在 GitHub 发布 Clodex，一个把 Claude Code 和 Codex 会话作为终端运行的编码智能体集群会话管理器，采用 Apache 2.0 许可。它在会话外加了三层：显示每个会话状态、上下文填充和待处理权限对话框的侧边栏，让智能体通过 [agent:dm]、[agent:spawn] 等文本意图互相协调的 IPC 消息总线，以及把其他机器的会话并入同一集群的 peer wire。同一引擎可作为 macOS 桌面应用运行，也可在 Linux 上以 systemd 用户单元无头运行，clodexctl 以 kubectl 风格的命令管理会话和部署节点；wirescope 代理提供每轮 token 与成本遥测，团队模式支持角色工单和自动测试评审门禁。

    推荐理由：原文给出了会话状态、IPC 消息总线和跨机 peer 的完整机制说明，读者可以据此判断这套多智能体编码会话管理是否适配自己的工作流。

  8. arXiv · cs.AI19

    OliO：基于 ODE 的线性转移算子用于自监督时间序列预测

    研究者提出自监督学习方法 OliO，通过线性常微分方程（ODE）导出的转移算子，将双向时间流建模为连续且结构一致的动力学系统，以对齐任意时间跨度上的潜在表征。对转移矩阵施加严格上三角约束，确保数值稳定并防止无约束 ODE 模型的指数发散。实验显示 OliO 在多种骨干架构与基准上取得显著提升，MSE 较最强 SOTA 基线最多降低 5.75%，代码已开源。

  9. GitHub · 3D 生成新仓库50

    开源仓库 ai-commercial-proposal-assistant：LLM 抽取加确定性计价自动生成商业提案 DOCX

    开源仓库 ai-commercial-proposal-assistant 从自由文本客户需求中抽取项目参数，用确定性 Python 业务规则计价，并通过 python-docx 生成结构化商业提案，全程保留人工审核环节，不自动发送任何文件。评测显示正则抽取器在干净集上 87.5%、脏数据集上 45.5%，而经 Ollama 的 gpt-oss:120b-cloud 达到 100% 和 95.5%（平均 3.3 秒），LLM 还正确忽略了嵌入的 prompt injection 指令；qwen2.5:3b 在纯 CPU 上单次需 4-5 分钟，被判定不可行。

  10. GitHub · 3D 生成新仓库42

    ogpt.nvim：支持 Ollama、OpenAI、Gemini、Anthropic 等多 Provider 的 Neovim LLM 插件

    ogpt.nvim 是一个 Neovim 插件，支持 Ollama、OpenAI、textgenui、Gemini、Anthropic 等多个 Provider，未指定时默认使用 Ollama（默认模型 mistral:7b）。它提供交互式问答、基于 Persona 的对话和可自定义的代码动作（语法修正、翻译、docstring 生成、测试补充、代码优化、bug 修复等），可通过 JSON 或插件配置定义自定义动作，并支持搭配 edgy.nvim 使用侧边窗口布局。

  11. GitHub · 去对齐工具与仓库42

    mo-ri-ch 开源 build-an-llm-from-scratch：从零构建小型 LLM 的交互式课程

    GitHub 上的 build-an-llm-from-scratch 项目提供交互式课程，从一列数字开始逐步构建一个小型语言模型，每课以模型答不上的问题收尾、下一课解答。课程面向零 AI 基础的初学者，只需基础 Python 和 PyTorch，无需 GPU 或微积分；前 4 课（Tensors、文本转数字、预测下一个词、模型学习）已上线，共规划 10 课，涵盖 Embeddings、Attention 和 Transformer block。代码可在 Google Colab 或本地运行，最终模型是在 Grimm's Fairy Tales 上训练的小型 transformer，可在浏览器中运行。

  12. GitHub · 去对齐工具与仓库63

    FlatType 开源：把 API JSON 压成 key: value 文本以省 token 的 TypeScript 工具包

    karammm 在 GitHub 发布 FlatType，一套 TypeScript 工具包，可将后端 JSON 响应编码为紧凑的 key: value 文本（Flat Notation）并映射到带类型的模型，支持 React、Vue、Angular、Svelte、Solid 及 Claude 等 LLM。基准显示 1000 用户列表比压缩后 JSON 小 45%、比 TOON 小 50%，解码 0.73ms（TOON 为 5.9ms）；核心包 3.7KB min+gz、无第三方依赖、无损可逆，@flattype/ai 提供 toPrompt、fromModelOutput、countTokens 及 MCP/Claude 工具结果支持。

    推荐理由：README 给出了与 JSON 和 TOON 的体积与解码耗时对比数据，并说明节省主要来自列表和不压缩场景，便于判断适用范围。

  13. GitHub · 灵魂体仓库29

    Qubrio：基于多智能体 LLM 协作的高性能量子编译开源代码（NeurIPS 2026）

    NeurIPS 2026 论文 Qubrio 的官方代码开源，通过多智能体 LLM 协作实现高性能量子编译。支持 DeepSeek-V3.2、GPT-5.4 和 Qwen-3.5（经 OpenRouter）作为骨干模型，因 DeepSeek 已退役 V3.2，重跑将改用 DeepSeek-V4.1-Flash，也可用 --model deepseek-v4-pro 指定 DeepSeek-V4-Pro。基准测试包含 QFT-18、QAOA-60 等 8 个 QASMBench 电路，报告硬件运行时间 T_exe 与端到端保真度 F。

  14. arXiv · cs.CL18

    MAS-Bai：面向白文白语的自适应多智能体翻译框架

    研究者提出 MAS-Bai，一个面向白文（Bowen script）白语-中文翻译的语言学驱动自适应多智能体框架，针对汉字被语音借用导致的直译幻觉问题，按输入路由至轻量检索翻译路径或含词源与句法智能体的深度语文学路径，并以轻量反向翻译器的 cycle-consistency 作为推理时可靠性信号。团队构建了 6,536 句白语-中文语料，在 1,536 句测试集上 MAS-Bai 达到 16.23 BLEU 和 62.15 COMET，较 Standard RAG 提升 8.11 BLEU 和 6.85 COMET，在语音借词和语序差异场景增益最大。

  15. arXiv · cs.CL51

    arXiv 论文提出 LED：用 Lookahead Editing 改进掩码扩散语言模型

    arXiv 论文提出 Lookahead Editing（LED），在掩码扩散模型的解码中加入可重写的提案状态，让模型在提交 token 前多次前瞻更新以提升表达能力，同时保留易于优化的掩码转移调度。作者基于 Qwen2.5-7B 和 Qwen3-8B 微调得到 LED-7B 和 LED-8B，在八项基准上 LED SFT 平均比标准 MDM SFT 提升 +11.4 和 +7.7 分，且 LED-8B 仅用 SFT 就超过了经持续预训练、SFT 和强化学习训练的 LLaDA2.1-16B Q-mode。

  16. GitHub · 3D 生成新仓库30

    Article-Generation-Skill：面向海外 AI 平台检索引用的 GEO 英文生文 Codex 技能流水线

    开源的 wxue01609-cmyk/Article-Generation-Skill 将 Dify 工作流「海外GEO生文-wx-360gpt-v18-13」迁移为 Codex skills 流水线，用于生成能被 ChatGPT、Gemini、Claude、Perplexity 等海外 AI 平台检索引用的 GEO 英文内容。流水线由 geo-research、geo-plan、geo-write、geo-polish 四个 skill 按序接力，完成调研、规划、写作与质检。不再使用 360GPT，主线不依赖外部 API，可选配置 ChatGPT 接口用于「AI 问答结构提取」，未配置时自动退回联网检索兜底。

  17. GitHub · 3D 生成新仓库26

    NodeAI Studio v2.6.0 发布：全新响应式界面与引导式 Provider 配置

    NodeAI Studio v2.6.0 更新了工作室界面，新增可折叠桌面导航和首次运行时的 Provider 引导配置。该工具支持 Chat、Code Generator、AI Debugger 和 SQL Assistant 四种工作流，可连接 OpenAI、Google Gemini、Groq 或 OpenRouter，并保留便携式浏览器备份、首 token 延迟与估算吞吐量统计、安全 Markdown 输出及 BYOK 凭证管理。未连接 Provider 时生成请求会返回明确的配置错误而非伪造示例输出。

  18. arXiv · cs.AI52

    WebCoder：基于工件锚定智能体强化学习的通用前端开发 Agent

    论文提出 WebCoder，一个用工件锚定智能体强化学习训练的通用前端开发 Agent，并构建可执行环境 Webdev-World 与评测集 Webdev-Bench。WebCoder-27B 在 Webdev-Bench 上把需求满足分从基座 Qwen3.8-27B 的 64.8 提升到 72.8，超过 Claude-Opus-4.8（65.1）和 GPT-5.4（59.6）；在 Vision2Web 上平均视觉与功能分从 41.1 提到 62.4，与 Claude-Opus-4.8 相当。消融实验验证了工件锚定信用分配与长程训练的贡献。

    推荐理由：论文提出以共享可执行工件为核心分配奖励与信用，并给出对齐 Claude 等闭源模型的实测分数，方法可迁移到长序列开发任务。

  19. GitHub · prompt 工程新仓库54

    agenticloops-ai 开源 agentic-ai-engineering 教程仓库，从零手写 Agent 循环到生产级 eval

    agenticloops-ai 在 GitHub 开源 agentic-ai-engineering 教程仓库，主张不依赖框架、用 LLM API、工具和循环从零构建 Agent，路径覆盖从首次 LLM 调用到生产级 eval harness。内容包括 Anthropic Building Effective Agents 的架构模式、上下文工程、记忆、RAG、护栏等工程主题，以及 Skills、hooks、沙箱、MCP、子智能体与上下文压缩等扩展机制；还用 LangGraph、Pydantic AI、Google ADK、CrewAI、AutoGen 等 9 种框架实现同一 Agent 并对比权衡。

  20. arXiv · cs.AI36

    错误截断事后蒸馏：面向智能体 RL 的事后蒸馏新方法

    arXiv 论文提出错误截断事后蒸馏方法，解决轨迹级技能蒸馏与 GRPO 结合时错误动作后监督与当前状态失配的问题。该方法按轨迹结果与错误边界路由两类事后技能：Positive skills 强化成功轨迹及错误前决策，Negative skills 针对关键错误进行修正，错误后缀则仅由 GRPO 优化。实验显示其在任务表现与细粒度 credit 分配上有竞争力。

  22. Hugging Face · 趋势模型64

    ornith-ai 发布端到端自我改进的 Ornith-1.5-122B 开源模型

    ornith-ai 发布 Ornith-1.5-122B，一个 122B MoE 模型，将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout，通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文（YaRN 缩放后约 1M），可单张 80GB GPU 部署，并提供量化 Mobile 变体。基准中 SWE-bench Verified（non-hack）84.5、TerminalBench 2.1 为 81.2，评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。

    推荐理由：模型卡同时给出多基准成绩与防 reward hacking 的评测细节，读者可对照同参数量级模型比较编码与智能体表现。

  23. GitHub · 灵魂体仓库21

    nehalvaghasiya/agentic-rag 仓库 CI 工作流与本地校验说明

    nehalvaghasiya/agentic-rag 仓库配置了 clean-install CI 工作流，在每次 PR、main 推送、手动触发和 merge-group 检查时运行。必检项包括 actionlint 1.7.12 与 ShellCheck 0.11.0 的 workflow 校验、Python 3.11.16/3.12.14/3.13.15 矩阵下的 Ruff 与 basedpyright 质量检查和离线 pytest 回归测试，以及前端 ESLint、Vitest 和 Vite build。工作流仅请求 contents: read 权限、禁用持久化凭据并固定外部 action 的 commit SHA，缓存命中时目标运行约 10 分钟。

  24. arXiv · cs.CL40

    先写哪个字节很重要：UTF-16 编码如何改进多语言字节级边界预测

    一项 arXiv 研究提出 UBE 编码，对三字节 UTF-8 码点改用低字节在前的 UTF-16 存储，提升字节级语言模型边界预测能力。在 FLORES-200 上 13 种婆罗米系文字 17 种语言的单符号前瞻测试中，码点边界的平衡字素边界误差从 UTF-8 的 8.76% 降至 0.06%；韩语和中文相对 UTF-8 平均误差分别降低 72.91% 和 35.29%，且训练仅需 25% 和 37.5% 即可超过 UTF-8 最终误差。

  25. arXiv · cs.AI60

    免训练 on-policy 蒸馏方法提出，仅用前向传播即可合并专家模型

    一篇 arXiv 论文提出 training-free on-policy 蒸馏：不用训练，仅通过前向传播就能把多个单独微调的专家模型能力合并到一个学生模型中，合并后平均精度高于任一专家。当专家共享同一 base 模型时，蒸馏有精确的逐层解，等价于一个最小二乘问题，只需几百条 rollout 的前向计算即可得到二阶矩。去除重复循环截断的回答后，在 AIME25 上将合并模型从 task arithmetic 水平提升到专家水平；在 Olmo 3 7B 上，每个专家只需几 GPU 小时的前向计算，即可在七个数学和代码基准上保留各专家的大部分增益。

    推荐理由：给出免训练合并多个专家模型的具体方法，层式最小二乘解只需几百条 rollout 的前向计算即可落地。

  26. arXiv · cs.AI42

    研究解析：脚手架为何仍能提升环境无关编码智能体表现

    一项研究用 Codex 智能体在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上对比两种几乎相同的提示词变体，仅改动一条“报告困难并交还控制权”的指令即可提升前两个环境的平均分。但即使搭配 GPT-5.6-sol，通用智能体仍低于 ARC-AGI-3 专用参考方案，把 reset 决策交给脚本控制器可挽回部分差距，额外教程经验反而可能降低 AGI Maze 表现。收益同时带来更高的 token 成本，作者发布了 EnvTraverse 框架与基线智能体。

  27. arXiv · cs.AI37

    EliteReplay：用质量多样性搜索在 LLM 强化学习后训练中保留多样化解法

    EliteReplay 是一种将 GRPO 与质量多样性搜索构建的"精英"档案回放损失相结合的后训练方法，可在提升 LLM 可验证任务准确率的同时保留基础模型的解法多样性。在多个 text-to-SQL 任务上，其 pass@128 超过所有基线，比最强基线多产出最多 77% 的不同正确策略；在 AmbiQT 模糊问题上覆盖两种解释的频率接近最强基线的两倍。

  28. arXiv · cs.AI69

    MLExpert 论文提出后训练方法，将 35B MoE 模型训练为自主机器学习工程智能体

    论文提出面向长时程自主机器学习工程优化的后训练方法，训练出 35B Mixture-of-Experts 智能体模型 MLExpert。方法包括构建可执行任务的 Kaggle-MLE Factory、层级 agentic SFT，以及将两次实验结果之间的多轮决策作为一个执行窗口并赋予共享结果奖励的 Windowed Interaction RL（WIRL）。在 MLE-Bench Lite 上，MLExpert 将基座模型平均奖牌率从 37.9% 提升到 72.7%，达到与 Kimi-K3、GLM-5.3 等更大前沿模型相当的水平，并在 NatureBench Lite、agent scaffold 优化和算法优化上显示能力可泛化。

    推荐理由：论文展示了用层级SFT加窗口化RL把35B模型训练成自主机器学习工程智能体的完整后训练方法，MLE-Bench Lite数字可作参考。

  30. arXiv · cs.CL33

    FGSS-BO：基于 LLM 的贝叶斯优化中的反馈引导式假设管理

    研究者提出 Feedback-Guided Search State（FGSS），用 LLM 反射器提出并修订假设、确定性 curator 校验假设并维护测试记录，将语言引导与观测证据和参数干预相连，并基于 LLAMBO 实例化为 FGSS-BO。在两个回顾性协议/媒体任务上，其最终最优样本均值和 search AUC 超过匹配的 LLAMBO 基线及非 LLM 基线；六个直接训练的超参数优化任务显示迁移效果因任务而异，在 diabetes SVM 上最强。

  31. arXiv · cs.CL31

    LLM 弱标注用于网络安全推文分类：Teacher-Student 框架研究

    研究者提出 Teacher-Student 弱监督框架，用 LLM 作为 Teacher 为无标注网络安全推文生成弱标签，无需大规模人工标注即可训练网络安全领域专用 PLM。仅用 LLM 生成标签训练的 PLM 在所有评测架构上 F1 均超过 0.92，与全人工监督模型的差距保持在 3 个百分点以内。结果表明 LLM 弱标注在专家标注资源有限时是构建网络安全训练数据的可行替代方案。

  32. arXiv · cs.CL44

    TRACER：面向 LLM Agent 的轨迹感知工具检索方法

    TRACER 是一种检索前端，用 trie 索引观察到的 tool-call 序列并结合经验与上下文先验对延续排序。在 retail-telecom 混合 $\tau^2$ 环境中，它将 GPT-5.4 的工具选择准确率提升 4.7 点，每步输入 token 减少 80%，仅暴露 128 个工具中的 5 个。跨 6 个环境和 4 个模型，24 组模型-环境对中 21 组优于全注册表选择，平均提升 6-10 点。

  33. arXiv · cs.CL24

    混合生成-标注解码方法用于高效电商商品属性值抽取

    研究者提出混合生成-标注解码架构，用于电商商品属性值抽取：对高频属性用标注头直接从源文本抽取值，生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后，该方法将属性覆盖率提升 10%，多抽取出 63% 的正确属性值对，精度不受影响，同时延迟降低 44%。

  34. arXiv · cs.CL38

    注意力头排序与划分用于语言模型的稀疏与持续强化学习微调

    一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分，实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务，微调高排名注意力头的效果稳定优于低排名者，且常能匹敌更稠密的微调基线；按任务划分注意力头可减少跨任务干扰、提升旧能力保留，同时保持对新任务的适配。

  35. arXiv · cs.CL43

    OPRD：面向长程编码智能体的在线策略提醒蒸馏方法

    研究者提出 On-Policy Reminder Distillation（OPRD），通过 Multi-Scope Reminder 监督结合基于结果的路由，改进仓库级长程编码智能体。在 SWE-bench Verified、SWE-bench Pro 和 SWE-bench Multilingual 上，OPRD 较开源 Qwen3.5-4B 基线平均任务解决率提升 11.3 个百分点，聚合错误事件数从 446 降至 222，减少 50.2%。推理阶段学生模型无需 Reminders 即可运行。