混合生成-标注解码方法用于高效电商商品属性值抽取
研究者提出混合生成-标注解码架构,用于电商商品属性值抽取:对高频属性用标注头直接从源文本抽取值,生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后,该方法将属性覆盖率提升 10%,多抽取出 63% 的正确属性值对,精度不受影响,同时延迟降低 44%。
新闻、仓库与研究,按时间排列。
研究者提出混合生成-标注解码架构,用于电商商品属性值抽取:对高频属性用标注头直接从源文本抽取值,生成头则专注稀有属性和不可复制的隐含/归一化值。集成进 vLLM 推理后,该方法将属性覆盖率提升 10%,多抽取出 63% 的正确属性值对,精度不受影响,同时延迟降低 44%。
一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分,实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务,微调高排名注意力头的效果稳定优于低排名者,且常能匹敌更稠密的微调基线;按任务划分注意力头可减少跨任务干扰、提升旧能力保留,同时保持对新任务的适配。
研究者提出 On-Policy Reminder Distillation(OPRD),通过 Multi-Scope Reminder 监督结合基于结果的路由,改进仓库级长程编码智能体。在 SWE-bench Verified、SWE-bench Pro 和 SWE-bench Multilingual 上,OPRD 较开源 Qwen3.5-4B 基线平均任务解决率提升 11.3 个百分点,聚合错误事件数从 446 降至 222,减少 50.2%。推理阶段学生模型无需 Reminders 即可运行。
Waypoint-OPD 是一种门控在线策略蒸馏方法,利用同一 RL 训练中的中间 teacher checkpoint,比较早期与后期策略偏移的方向一致性,并在两者方向相反时抑制端点偏移的迁移。该方法只需额外一次 frozen-teacher 打分,以 RL 训练的 Qwen3-4B 为 teacher,在 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 学生模型的数学与代码推理任务上,全部六个领域-学生设置中取得最高领域平均分;消融实验显示移除或打乱门控会降低 Qwen3-8B 的数学推理表现。
研究者提出一种结合微调本体嵌入模型与 LLM 的轻量级本体精炼流程,用于修复 CASTON 铸造领域本体中的类层级 subsumption 错误。嵌入模型提取待修正候选公理及替换候选,再由 LLM 给出修复建议。在专家评估中,使用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置产生的六个高置信度替换全部被两位领域专家接受,实现代码已开源。
研究者提出一种工具增强 LLM 框架,将计算器规则与算术执行分离为确定性工具,并用受限提取器把病历映射为可计算输入。在 MedCalc-Bench 上达到 86.73% 最终答案准确率,分别比 one-shot 提示和监督微调基线高 24.0 和 17.27 个百分点。消融显示增益主要来自基于规则的工具合成与 schema 约束提取,该方法可缓解算术幻觉。
研究者提出在 FlashAttention 前向传播中直接累积注意力统计量,无需显式构建注意力矩阵,用于训练紧凑幻觉检测器。在 H100 上,五个已发表检测器所需统计量对 Qwen3-8B 前向(2K token)仅增加 16% 延迟,35K 时降至 1.4%,每 response token 存储 22.5 KiB。基于 0.6B–8B 冻结 Qwen3 代理模型训练的探针表现强劲:4B 代理在三个 benchmark 中的两个上 F1 超过九个最强零样本 4-9B LLM 评判,注意力特征在 12 组 benchmark-代理配对的一半中显著提升 F1。
论文提出 MetaExp 框架,通过带跨任务结构的可验证任务族训练语言模型智能体把交互反馈变成可迁移的经验学习能力,设计了 Shared-Tool 和 Shared-Workflow 两种任务族。团队在 1,000 个任务族上收集并过滤得到 4,956 条轨迹,微调 Qwen3.5-122B-A10B,参数冻结后在 SpreadsheetBench 提升 +8.5、APEX-Agents 峰值 +2.3、AutomationBench 提升 +14.8,领域排除训练下增益仍保持。论文地址 https://arxiv.org/abs/2610.21492v1
推荐理由:论文用可验证跨任务环境训练经验学习能力,并在三个基准上给出领域排除训练下的迁移增益数据,可参考其环境构造思路。
Poison Valleys 方法在两个合成 Python 案例的 1,844 次模型请求中,追踪代码修复智能体失败时上游错误机制与失败形式的关联。研究发现,将错误机制从假设阶段移到实现计划阶段,使 PersistQueue 失败率增加 32.2%,Dijkstra 增加 28.9%。不同错误机制产生了不同的、依赖模型的义务违反模式。
arXiv 论文提出一个 LLM 覆盖率收敛 agent,用 cocotb-coverage YAML 从仿真报告读取覆盖率,并由独立于模型的 scoreboard 检查数据完整性。在异步 FIFO、UART 发射器和 AHB2APB bridge 三种 RTL 设计上,该 agent 在 8 次迭代预算内将覆盖率从 91.7%、88.9% 和 67.4% 提升至 100%。作者承认证据存在局限:仅三种设计、无基线、无消融实验,且 LLM 生成测试的数据完整性尚未经独立校验。
一项研究评估用 Claude Opus 4.8 和 Codex GPT Sol 5.6 直接重建 iPhone 发往 Apple 定位服务的 protobuf schema,发现多数结果含严重错误且难以察觉,不适合取证与隐私分析。研究者改用 Claude 编写 Python 工具 Extractor,可从 Apple 二进制文件可靠恢复 protobuf schema,并通过已知答案、已发表 schema 和网络实测验证。该工具被用于解码越狱 iPhone 8(iOS 16.7.11)的定位服务网络流量。
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。
prompts.chat 收录由 @f 贡献的新 prompt「SemVer Bump Advisor」,可读取 Conventional Commits 或 changelog 片段,分类 fix/feat/breaking 变更并推荐下一个 SemVer 版本(patch、minor 或 major)。该技能附带仅依赖 Python 3 标准库的 `semver_bump.py` 脚本,输出理由表和版本预览,并覆盖 0.x 预 1.0 规则、pre-release、monorepo 多包等边界情况。
中科院研究团队提出 Doc2Harness,首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建,GPT-6 Astra 以 53.05% 通过率居首,最弱模型为 27.44%;即使最强模型也失败近半数用例,失败集中在跨模块功能划分上。
Qiushi Sun 等人在 arXiv 发布论文,提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准,同一 rubric 既筛选监督语料又驱动强化学习;据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集,两个模型在开源中大幅领先并接近闭源系统,代码与数据已开放。
推荐理由:论文把渲染正确性拆成可核查的评分标准,同一套 rubric 既筛数据又当强化学习奖励,方法可迁移到其他多模态任务。
FSPO(Function-Space Policy Optimization)是一种单策略强化学习框架,将稀疏历史 next-token 分布存为固定时序目标,无需维护常驻教师模型即可实现时序分离,并引入特权分歧校正、可靠性自适应锚定与质量覆盖感知时序记忆。在推理与工具使用 benchmark 上,FSPO 在 5 小时训练预算内平均准确率最高,较最强基线平均提升约 4 个百分点,在 Olmo3-7B-Instruct 上峰值显存从约 70 GB 降至 56 GB。
ReproBAIT 评测衡量编程智能体在沙盒、无网络、有限信息条件下设计、实现并训练已发表生物 AI 工具的能力,覆盖 ProteinMPNN、RFdiffusion3 和一个闭源分子设计工具,并按 held-out 数据上的表现打分。结果显示部分工具复现能力可观,但高度复杂工具表现有限,且存在与记忆化一致的中等程度证据。作者提醒工具开发者公开信息可能削弱工具商业价值或影响双用途受控访问策略。
arXiv 论文提出 LAGO,将专用语言智能体作为可复用的时序扩展选项,由 meta-agent 检索或生成选项、分发子任务并验证结果,选项库跨任务增长且不更新模型权重。在 500 个 SWE-bench Verified 任务上,冻结的 Qwen3.5-35B-A3B 单次尝试解决率为 58.6%;在固定 150 任务子集上与 mini-SWE-agent、Terminus 2 同条件对比,解决率分别为 49.3%、57.3% 和 60.3%。50 任务消融显示去掉分解少解决 4 个、打乱复用内容少 2 个、去掉选项库少 6 个。
推荐理由:论文给出了同条件下的组件消融与横向对比数据,读者可以据此评估可复用 agent 选项库在长任务中的实际贡献。
Mistral 发布零样本预测时间序列基础模型 Timestral,含 5M、28M、123M、209M 四个参数版本,本次为 209M 检查点。模型支持单变量与多变量预测、协变量及 21 个分位数的概率预测,上下文最长 32,768 步、单次前向可预测 1,024 步。Timestral-209M 在 GIFT-Eval、TIME 和 fev-bench 三大基准上取得 SOTA 零样本精度,源码已在 GitHub 开放,采用 Modified MIT 许可证。
SolBehave 是一个评估 LLM 生成 Solidity 智能合约行为正确性的 benchmark,基于 250 个真实可复现的 Ethereum 合约,采用差分模糊测试、历史交易重放和 DCR 图引导的合成交易重放三种方法。对 7 个开源权重模型的评测显示,编译成功率介于 26.4% 至 92.7%,但差分模糊测试下仅 31.4% 的可编译函数与原函数等价,表明编译远非正确性的充分条件。
论文提出 PreciseCoder,在单元测试奖励基础上加入语义验证的局部编辑信号,让代码模型调试时更少改动且不幻觉出错误。在 4B、9B、27B 模型上,平均编辑行数从 7-15 降至 3,通过率持平;仅用单行 bug 训练即可泛化到仓库级修复。将 9B 模型的推理轨迹提供给 GPT-5.6 Sol 和 Qwen3.8-Max,可使编辑精度提升 4.6-12.4 分。
arXiv 论文提出 ARBITER,一个 35B MoE 智能体验证器,仅凭题面和源码判定候选程序正确性并生成反例作为可检验证据,基于 USACO 2026 构建了 USACO-JUDGE 评测集并用强化学习训练。训练将错误程序上的反例成功率从 40.61% 提升到 62.67%,USACO-JUDGE 二元判定准确率从 71.41% 提升到 87.41%,在代码选择与改进任务上均优于基线;IOI 2026 案例中 ARBITER 引导的改进使 GPT-OSS-120B 在官方提交限制下的期望分数超过金牌线。论文链接 https://arxiv.org/abs/2610.18760v1。
推荐理由:论文给出了反例生成与判定准确率在训练前后的具体数字,可据此评估这类可验证反馈验证器的实际提升幅度。
研究者提出多轮反馈引导(MFG)分子优化框架,用强化学习训练大语言模型基于前一轮反馈逐步优化分子,引入反馈向量与反馈对齐的奖励函数。在 GeLLM³O 上应用于十项多目标分子优化任务后,GeLLM³O-MFG 的平均相似度约束成功率(81.50%)超过基模型 GeLLM³O(70.81%)。
论文提出 AesCode,通过将设计目标表示为可归因属性的 design graph,结合确定性校验器与 VLM judge 的 Visual Graph Rubric 构建解耦跨模态奖励并用强化学习优化,以代码生成幻灯片、海报、仪表盘等视觉产物。AesCode-8B 和 AesCode-32B 相对同规模 Qwen3-VL 基线将视觉质量分别提升 31.1 和 22.4 个百分点,达到接近 GPT-5.5 与 Claude Opus 4.8 等闭源前沿模型的水平。
prompts.chat 将 Code Review Assistant 提示词由 JSON 格式改写为自然语言版,贡献者更新为 @sinansonmez。新版提示词要求模型分析代码的可读性、可维护性与风格、找出潜在 bug、提出性能改进建议,并按代码分析、具体反馈、改进建议三段格式输出,附 Python 找质数函数示例。
研究者提出 ReTerm,一种通过学习从自身失败任务中恢复来实现自我改进的终端智能体训练方法,并构建了用于 SFT 冷启动的 ReTerm-10K 数据集和从失败状态分叉生成多次自恢复尝试的在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% Pass@1,较基座模型提升 14.6 分,且在多类错误下的恢复率均高于标准 GRPO。代码、数据和模型已开源。
作者在 arXiv 发布技术报告,宣布从零训练出 2.5B 参数的泰米尔语-英语模型 Agaram 2.5B 并开放权重。
推荐理由:作者公开了从训练配置到评测弱点的完整细节,包括约 13300 美元成本和知识能力的短板,可作为小语种模型从零训练的参照。
论文提出 SeTPO(Selective Teacher guided Policy Optimization),通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督,解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量,在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。
研究者以临床试验方案数字化为测试场景,发布含 150 份公开协议 PDF、四个任务类别的专家标注基准 TrialPD-Bench,并评估九个模型在五种 coding-agent harness 下的表现。结果显示最强智能体也无法完全解决该任务,通常能定位所需证据但在转写与结构化的最后一公里失败;配套的领域 harness TrialScribe 加入任务技能与验证循环,使本地部署的开源模型在八项指标上提升 6.2-59.4 分,达到或超过 GPT-5.6-Sol 等专有模型。
推荐理由:原文用专家标注基准把编码智能体在长文档任务上的失败定位到转写与结构化环节,并给出可复用的领域harness改进数据。
Google 发布 Gemini 4 Argon,面向开发者、企业和消费者全球开放,API 定价为每百万输入 token 2 美元、输出 token 10 美元,支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一,ERQA 具身推理基准得 87%,在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一;安全方面对抗性违规减少近 2 倍,Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。
推荐理由:官方发布给出工程、科学与机器人三线的实测数据,可用于评估该模型在长程复杂任务上的真实表现。
inclusionAI 发布 Ling-3.1-flash,一个原生混合推理模型,总参数 560B、每 token 激活 25B,支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构(KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个),在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升,并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang(含 MTP 推测解码)和 vLLM 的部署配方,支持 Claude Code 等框架调用。
推荐理由:官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方,方便读者评估并直接上手这个混合推理 MoE 模型。
prompts.chat 将 Code Review Specialist 提示词重构为结构化 YAML 格式,包含 system 角色、persona 元数据、分步审查指令(语法与逻辑错误分析、行业标准评估、优化机会识别)及可操作的反馈交付物。新版本保留原代码审查定位,更新作者署名并标记为 FALSE 状态。
prompts.chat 更新了 Code Review Specialist(代码审查专家)prompt。新版聚焦代码质量与可读性、编码规范合规、优化与性能改进机会、潜在 bug 识别,要求提供清晰可操作的反馈、带示例的改进建议并保持专业建设性语气,且改为结构化 YAML metadata 格式。
prompts.chat 更新了社区 prompt「Code Review Specialist 2」。此次改动将该 prompt 置为 TRUE 状态,提交者由 nolanneff 变更为 dragoy18@gmail.com,prompt 正文规则本身未作修改。
prompts.chat 更新了 Code Review Specialist(代码审查专家)prompt。新版要求 AI 从代码质量与可读性、编码规范、优化机会、潜在 bug、改进建议五方面提供详细分析,指出优势与不足并给出可执行建议,规则要求反馈客观、语言简洁、兼顾技术与风格。新增 ${language}、${framework}、${focusAreas:code quality, performance, security} 三个可自定义变量。
该研究提出 Inference on Demand(IoD)抽象,通过类 CAMARA 的 API 在 5G 用户面路径上暴露 split inference 并带内传输感知切分的 tensor context。在基于可编程 UPF 的测试床上用可切分视觉 AI 负载评估表明,自适应切分选择可作为网络侧服务运行,避免静态配置的刚性成本结构。该论文已被 IEEE Future Networks World Forum 2026 录用。
Trace Evolution Bench(TEB)是一个将重新评分与上下文或权重更新分离的评测协议,主榜为代码任务,由封闭工作区的隐藏单元测试评分。在 40 个 held-out 任务上,DeepSeek v4 Pro 在 no_evolve 下仅重评分就变动 7.5、5.0 和 12.5 个百分点;九个受 GEPA、ACE、ExpeL 启发的文本更新单元有七个超出种子自身波动带,GLM 与 MiniMax 未复现该模式。
研究者基于 Qwen3.5 骨干的 9B 参数决策模型 Clef-Flash,用 QLoRA 微调在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 准确率、macro F1 0.9551,超过 ClinicalBERT 的 90.90%。单次前向推理每条记录耗时不足 80 毫秒,报告称较生成式 LLM 基线提速 31 倍。其提出的 Leave-One-Symptom-Out 反事实扰动框架可揭示症状级证据。
研究者提出 UltraBERT,一种在分类与检索任务上均达 SOTA 的双向编码器,GLUE 达 91.0、BEIR 达 47.7。模型为批内低、高掩码率分别设置独立 LM head,并将蒸馏目标限制在低掩码率。研究还发现编码器在数万亿 token 后性能饱和,低掩码率利于分类、高掩码率利于检索。
arXiv 论文针对偏好模型在优化中可能被利用的错误,提出用模型集成间的分歧作为预测误差的代理,并将该搜索形式化为 Leader 与 Follower 之间的零和 Stackelberg 博弈。论文证明了有限上下文 Stackelberg 博弈的均衡存在性,在正则化下给出唯一性与闭式刻画,并提出具有线性 last-iterate 收敛性的 SMIDA 算法及神经策略梯度版本。合成 oracle 实验显示分歧是预测误差的有效代理,训练出的策略在保留数据上优于参考策略。