工具增强模型对比中的提示词敏感性问题
arXiv 论文提出一种匹配协议,将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤,以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现,工具在程序可作答的场景提升准确率,但会扩大许多两两对比的措辞敏感性,其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。
新闻、仓库与研究,按时间排列。
arXiv 论文提出一种匹配协议,将工具增强问答评测拆分为答案读出、推理、调用决策、工具返回和无调用报告五个步骤,以检验工具是否让模型对比更稳定。在五个领域、五种问法下测试六个开源模型后发现,工具在程序可作答的场景提升准确率,但会扩大许多两两对比的措辞敏感性,其程度随模型调用频率变化。作者建议在准确率之外同时报告调用频率和多措辞下的对比稳定性。
Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。
推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。
KRAFTON 从零训练的 Raon-1 mini preview 发布,为 30B-A4B(28.8B 总参数、每 token 激活 4.3B)MoE 模型,采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构,原生支持 262,144 token 上下文,以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务,支持 Hermes Agent、Pi 和 OpenCode 工具调用;官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。
推荐理由:模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案,可据此评估其真实定位。
arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。
一项 arXiv 研究(arXiv:2610.29812)在 SciFact 生物医学声明验证任务上,用 live PubMed API 作为唯一工具,对四种 harness 做受控消融,涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体,以及给定 gold abstracts 的 oracle,使用两种高效 frontier 模型作为固定骨干。
推荐理由:受控消融比较四种 harness,指出检索而非推理是生物医学声明验证智能体的瓶颈,方法可迁移到类似评估设计。
该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案,用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B,面向十种语言的开放式问答(QA-OEG)。在相同解码设置下,目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%;在 Aya Evaluation Suite 评测中,macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性:目标语言的上下文问答及非目标语言的三项任务得分均有下降。
论文提出 PAUSE 框架,在编码智能体发出首次源码编辑请求前拦截,由独立 Planner 读取任务和编辑前转录生成一份修复计划,无需学习监控器、检查点搜索或额外模型调用。以 Qwen3-coder 为 Executor、GPT-5.6 Sol 为 Planner,在 SWE-bench Verified 的 OpenHands 上提升 16.8%,在 Multilingual 的 SWE-agent 上提升 14.7%,并优于 LivePlan 3.2% 和 3.7%,Planner 开销约为 SICA 周期性监督的 11-15%;离线模式下从记录前缀恢复可挽回 35.4% 的合格失败任务,比重启少用 33-41% 的 Executor token。
推荐理由:论文给出单次规划干预的无搜索引导框架,用 SWE-bench 实测提升幅度与 Planner 开销对比,方法可参考。
HiddenLens 是一个六层 BERT-LLM 流水线,可检测、分类、质疑并解决软件需求中看似清晰实则隐含的假设。配套的 HiddenLens Corpus 含 312 条需求、847 个隐藏假设标注,覆盖六类非功能需求。该框架端到端 F1 为 0.79,较 keyword 和 QuARS-Adapted 基线分别提升 71% 和 61%,其 BERT NFR 分类器 F1 达 0.847。
Code Comprehensor 是一个混合检索-推理框架,结合代码依赖调用图、基于代码感知 LLM 生成分层文档的 CodeScribe,以及 CLIP 风格双编码器 CodeContrast,实现文本-代码对齐检索,并经 MCP 编排器回答领域查询。在 OpenCV 和一个 500 万行代码的私有仓库上,CodeScribe 衍生监督显著提升 text-to-code 检索准确率;RAGAS 评测显示输出 faithfulness 超过 90%。该论文已被第 42 届国际软件维护与进化会议(ICSM)接收。
一项 arXiv 研究提出 Behavioral Localization 方法,通过对比冻结 Agent 有无文本技能时的行为差异,定位对技能效果贡献最大的轨迹位置,再用这些位置监督训练短软提示。在 SpreadsheetBench 上用冻结的 Qwen3.6-35B-A3B 实验显示,轨迹中前 10% 的位置捕获 96.12% 的正向技能增益;共享提示设置下成功率从全轨迹监督的 30.36% 提升至 36.79%,任务特定设置下达到 57.38%,超过完整文本技能和 OPCD 基线。
研究者推出 SWE-DIVE,一个用于多轮环境评测编码智能体的动态交互式验证框架,弥补 SWE-bench 等基准只使用一次性、结构化 GitHub issue 输入的不足。框架包含可模拟不同行为模式的用户模拟器和评估其输出是否符合初始需求的对话验证器,整体嵌入 Harbor 环境,负责编排智能体、用户模拟器与验证器并执行测试环境。结果与源代码已在 GitHub 仓库公开。
Quant-Arena 是一个基于真实 A 股数据的端到端量化研究基准与公开排行榜。模型构建特征和股票打分代码,仅在 2022-2023 数据上获得反馈,并将策略冻结后在密封的 2024 年数据上评估,计分以实际超额收益为主,辅以信号质量与特征多样性,评估器还纳入交易约束、成本及基于模拟订单簿估算的市场冲击。在九个前沿模型中 GPT-6 Astra 得分最高,但没有模型在 2024 年跑赢等权市场;该基准开放任何模型或 agent 框架提交。
研究者借助 AI 智能体框架 AI-greement 发现了面向地理分布式状态机的新共识协议 A-greement。在 5 或 9 副本的六种部署中,该协议在写密集和读密集负载下分别将地理分布式键值存储的平均延迟较最快基线降低 12.2% 和 33.3%,只读负载下持平。AI-greement 集成协议知识库、模块化实现骨架和基于 Lean 的验证框架,其形式化还发现了既有共识协议中多个此前未报告的漏洞;作者强调人类专家在搜索前后仍不可或缺。
推荐理由:原文给出 AI 智能体在 Lean 验证框架下发现新共识协议的完整方法与延迟数据,还附对既有协议漏洞的发现。
研究者提出 RegoBench——首个包含 1,159 个真实缺陷的 Rego 策略自动化基准,以及反馈引导的多智能体框架 RegoMender。该框架在 RegoBench 上取得 82.9% 的语法修复成功率和 77.9% 的语义修复成功率,超越最强基线 13.4%,并在 132 个真实 CVE 漏洞上达到 86.4% 修复率。
一项 arXiv 研究提出基于正向-反向偏微分方程的生成建模框架 SBNL(Schrödinger Bridge NonLinear),将平均场博弈与非线性 Schrödinger 系统的联系重新诠释为生成建模问题。该框架通过基于分支扩散的模拟算法求解,具备高并行性、可扩展到高维,并在 MNIST 和 FFHQ 人脸图像合成任务上完成验证,同时统一了 score-based 生成建模与扩散模型。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。
推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。
prompts.chat 更新了 Code Review Assistant prompt:原先的自然语言描述版 prompt 被 JSON 结构化版本替换,新格式指定 language、framework、focus_areas 上下文,并要求按 severity(high|medium|low)、category、line_number、suggestion、code_example 字段返回审查结果。贡献者由 @sinansonmez 变更为 @f,共替换两处相同内容。
prompts.chat 更新了一条名为"The Technical Co-Founder: Building Real Products Together"的提示词,让 AI 扮演产品开发伙伴,把用户的想法变成可直接上线的成品。提示词定义了 5 个开发阶段(发现验证、战略蓝图、迭代开发、质量打磨、发布与知识交接),并约定用户任 CEO 掌握最终决策权、AI 任 CTO 负责建议和执行,要求零术语沟通、诚实评估风险、禁止半成品功能上线。
prompts.chat 重写了 Code Review Specialist prompt:由原 YAML messages 结构改为简洁文本格式,任务聚焦代码质量与可读性、编码规范符合度、优化与性能改进机会、潜在 bug 识别,要求提供清晰可执行反馈并附改进示例。新 prompt 标记为 TRUE 并更换了提交者。
prompts.chat 新增一条 "Error Handling taste" prompt,汇总 TypeScript 后端工程师的错误处理实践共 23 条,每条附置信度评分。要点包括用 Zod 在边界校验输入、区分预期领域错误与意外 bug、用 Result 类型建模失败、禁止空 catch 吞错、集中式错误处理器统一映射 HTTP 响应,以及只对幂等操作做指数退避重试并强制网络调用超时。
Sahil Joshi 等在 arXiv 发布论文,提出 Stratified Sparse Attention(SSA),将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上,SSA 均优于基线;RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下,32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%,分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后,1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍,代码已开源。
推荐理由:论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据,方法可复用,代码已开源。
研究者构建 RTLRepairDataset(5,784 组(broken, fixed)训练对)和 RTLRepairBench(459 个保留测试用例,含 374 个语法变异和 85 个行为变异),并支持仿真与形式等价评测。审计发现两个测量混淆:仿真与形式化评分对是否提供规格说明的效应符号相反,六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
一项 arXiv 研究提出用领域专用语言(DSL)作为表示层,帮助语言模型将抽象自然语言指令展开为具体动作。在 Hexagons 任务上,基于人工策划 DSL 的代码生成比直接推理最高提升 10 个绝对 F1 点、达到人类水平,且提升集中在高抽象层级;Text2CAD 基准也验证了这一模式。但模型自行归纳的 DSL 仅能恢复部分增益,跨运行不一致且逊于人工策划版本。
研究者推出 DeclineCraft,一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准,并评估 27 个 LLM 的正确弃答率(CAR)。实验显示:单次检索在 38/40 配置中显著提高 CAR;迭代 RAG 反而在 30/40 配置中降低 CAR(均值 46.4%),答案准确率基本不变(68.5% 至 69.3%);模型越大回答越准(Spearman ρ = +0.60),但模型规模与发布时间均与 CAR 无显著关联。
研究者提出 CopyGen,一个面向冻结 LLM 的轻量复制约束解码插件,将复制分解为是否进入复制模式、预测复制长度和逐 token 验证三个决策,并只输出最长有效前缀。在涵盖合同、科学文献、代码和随机序列的 benchmark 上,CopyGen 无需微调即可将平均 exact match 相对提升 35%,与 SFT 结合再提升 4%,同时显著加速生成。代码已开源。
SDDC(Self-Decomposing Diffusion for Code)提出先由扩散语言模型生成程序分解契约、再据此并行实现各单元的代码生成框架。在五个 benchmark 和两个 7B 扩散骨干上,SDDC 的 pass@1 最高提升 31.1 个百分点,解码比基座模型快 7.5–13.7 倍,并比微调基线最高高出 23.5 分且延迟更低。
研究者提出一个下钻式评测框架,将 Text-to-SQL 查询分解为逐步更复杂的可执行子查询,沿生成路径考察基于规则的幻觉类别,区分“复现性幻觉”与“涌现性幻觉”。在 BIRD-mini 扩展基准上对五个 LLM 的评测显示,多个类别有可观的复现概率,clause abuse 的条件涌现相对更高;加入对话历史后复现概率普遍升高、涌现概率普遍降低。代码与评测工件已在项目仓库开源。
一项 arXiv 研究提出在 token 级别建模 AI 代码署名、并同时在行、块、文件三个粒度预测的检测框架:冻结的代码语言模型配两个低秩适配器,用逐 token 对数似然比提供局部证据。该方法在含 11,773 个 AI 参与文件的内部测试集上达到 72.4 macro F1(1% FPR),在未适配的 HybridCodeAuthorship 外部基准上行级 F1 达 62.5,高于原文报告的 56。在 19,445 个 2022 年前仓库的人工代码文件上,假阳性率保持在 0.55% 至 0.81%。
一项研究针对 14,159 个 OSS-Fuzz 案例分析了历史软件构建的环境退化问题,发现 69.7% 的案例无法完成重建与验证,且多数失败呈现少量重复出现的症状。研究提出 RELAY 框架,用 LLM 从代表性失败中推导并验证确定性修复规则,规则可无需模型调用直接复用,未解决案例再交由逐案智能体处理。评估显示混合方法比单独使用规则或智能体都能恢复更多构建,且成本低于纯智能体方案。
一项系统性实证研究分析了 LLM 在跨语言代码翻译中的幻觉现象。研究覆盖 3 个 benchmark 数据集、6 组语言对、7 个 LLM,人工标注了 13,919 个幻觉案例,并归纳出语义一致性冲突、事实知识冲突和项目上下文偏差三类分类体系。基于该分类,研究者提出 HaluCodeTran 缓解框架,结合基于 BM25 的相关翻译示例检索与分类感知的反思式精炼,为构建更可靠的 LLM 代码迁移工具提供实用基线。
prompts.chat 更新了 Code Review Specialist 提示词模板,扩展为包含详细代码分析、亮点与改进点标注及可执行建议的结构,规则要求反馈客观、语言简洁、兼顾技术与风格。新模板支持 ${language}、${framework}、${focusAreas:code quality, performance, security} 三个自定义变量,聚焦代码质量、规范遵循、优化机会与潜在 bug 识别。
prompts.chat 的每日 prompt 更新重写了 Code Review Specialist 提示词:让 AI 以资深软件开发者身份审查用户代码,评估是否符合行业标准和最佳实践,找出优化空间、逻辑错误、bug 及潜在安全漏洞,并给出建设性反馈。新版还要求评审客观公正、兼顾功能与非功能层面、保持专业尊重的语气。
prompts.chat 新增一个「Bug Report Normalizer and Triage Card」prompt:把原始 bug 报告规范化为严格的 JSON 分诊卡片。它要求区分事实与推断、不虚构版本号或日志,用 [REDACTED] 脱敏令牌、密码、邮箱等敏感数据,并按 S1_critical 到 S4_cosmetic、P0 到 P3 输出严重级与优先级;复现步骤不足时须在 missing_information 中提问,多个无关问题则拆分到 related_issues_to_split。
prompts.chat 每日 prompt 新增一条 "Git Workflow taste",描述 trunk-based 团队的 Git 工作流偏好:短生命周期分支两天内合入 main、提交主题用祈使语气且不超过 72 字符、使用 Conventional Commits 前缀、PR 控制在约 400 行改动以内、合并前需一个 approving review 和 green CI,并禁止直接 push 或 force push main,每条规则附 Confidence 分数。
prompts.chat 收录一条名为 "Terraform taste" 的云平台工程师 Terraform 实践 prompt,共 24 条建议,每条附带置信度分数。要点包括锁定 Terraform 及 provider 版本并提交 .terraform.lock.hcl、远程存储 state 并按环境拆分、用 for_each 替代 count、在 CI 中运行 fmt/validate/tflint 并仅从 CI 应用计划文件、CI 通过 OIDC 认证云厂商、不在 tfvars 中存放密钥,以及对数据库等有状态资源使用 prevent_destroy。
研究者提出 RELIEF 方法,用编码 Agent 修订代码生成模型产出的交互界面,并将改进融入原始生成轨迹作为微调监督数据。评测基于 200 个合成网站、355 段交互记录和 24 名用户的反馈,对两款代码生成模型变体做了微调。结果显示反馈效果随基座模型能力而异,其中从人类交互记录推断的 critique 带来最大的可用性提升。
一项 arXiv 研究提出反事实评估框架,将 LLM 生成的修复动作拆分为目标记录与数值更新两部分逐组合执行。在 114 个交通修复动作中,76 个的联合修正收益超过单独修正收益之和;数据库修复中,仅替换为参考更新使 108 个动作中的 17 个恶化,这些动作均选择了未受影响的记录。在留存观测上,候选方案重组后的目标-更新配对选择可恢复参考动作损失降幅的 61.6%,高于仅在方案间选择的 58.0%。
研究者提出 ASTOR,一种推理时框架,先将自然语言决策问题映射为文法引导的抽象语法树(AST),再确定性地编译为可执行的优化代码,用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR,ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率,且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。
Recursive 发布了面向编码智能体的 MoE 语言模型 Flint,总参数 39.8B、每 token 激活约 2.5B,在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层(2 稠密 + 47 MoE)、262,144 token 上下文,以 Apache 2.0 许可发布,附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本,unsloth 提供 GGUF 格式和运行指南。
推荐理由:官方模型卡给出了架构细节、评测设置和基准分数来源标注,读者可以据此了解这款小激活参数编码智能体模型的实际规格。