KAPPA:用 Lean 4 与语言模型智能体核查统计学论文中的证明
研究者推出开源工具 KAPPA,由 Claude Code 驱动的语言模型智能体将 LaTeX 统计学论文中的证明逐条翻译为 Lean 4(配合 Mathlib 库)并逐一核查,给出四种判定结论。对三篇已发表的统计论文进行盲测,该工具均在勘误所指步骤找出了已发表的错误,并发现了经人工确认的其他问题。作为对照,同一模型直接面对论文时在最长一篇上分类正确率更低,而 KAPPA 的所有判定均未超出其 Lean 证据范围。
新闻、仓库与研究,按时间排列。
研究者推出开源工具 KAPPA,由 Claude Code 驱动的语言模型智能体将 LaTeX 统计学论文中的证明逐条翻译为 Lean 4(配合 Mathlib 库)并逐一核查,给出四种判定结论。对三篇已发表的统计论文进行盲测,该工具均在勘误所指步骤找出了已发表的错误,并发现了经人工确认的其他问题。作为对照,同一模型直接面对论文时在最长一篇上分类正确率更低,而 KAPPA 的所有判定均未超出其 Lean 证据范围。
研究者提出 S3AC(Stabilized, Selective, and Scalable Actor-Critic),为 LLM 推理的 RLVR 训练引入实用的 critic 训练方案,提供 token 级优势和 prompt 级基线,并配套 Difficulty-Aware Prompt Sampling(DAPS)减少 rollout 浪费。该方法在 1.5B 到 397B 参数的稠密和 MoE 模型上优于 GRPO 变体 GRPO-X,35B 规模下可维持单 rollout 训练,而测试的无 critic 基线在初期提升后退化。
研究者提出 MATE(Mission Assistant for Training and Evaluation),一个基于 RAG 的完全离线语言辅助系统,利用条令和战术手册内容回答自然语言问题,辅助空战飞行员训练与战术决策。系统全部由开源组件构建,本地完成文本预处理、嵌入生成、语义搜索与语言生成。三名巴西空军战斗机飞行员用 Llama 3.1 8B、Qwen 2.5 14B 和 Mistral NeMo 12B 评估了 5 个战术问题的回答,平均评分在 4.00 到 4.40 分(满分 5 分)之间,Mistral NeMo 12B 得分最高。
论文提出 Misbehavior-driven RL(MiRL),针对终端智能体在长程任务中反复出现的错误行为做定向强化学习训练,从错误发生处启动 rollout,仅在通过测试且避免错误行为时给奖励。在 Qwen3.5-4B 上,八类错误行为占错误步骤的 52.1%;训练后在未见前缀上错误重复率平均降低 43% 到 57%,Terminal-Bench Lite 得分 51.8% 超过 TMax-4B 的 47.4%,Terminal-Bench 2.1 上 21.3% 对 20.6% 持平,rollout 用量仅为其 35%。
推荐理由:论文给出面向终端智能体的错误定向 RL 方法,附错误占比与基准对比数据,方法思路可迁移到其他长程任务训练。
研究回顾性比较了非生成式决策模型 JEV 与 schema 约束的 Qwen Flash 在临床试验预筛评估上的表现,测试基于 TrialGPT 及源自 MIMIC-III 和 MIMIC-IV 的 2,048 个患者-标准对,并在 Zero Data Retention (ZDR) 政策下评估。批量模式下两者在 TrialGPT(0.652 vs. 0.660)和 MIMIC-IV(0.807 vs. 0.814)上 macro-F1 相近,但 JEV 在 MIMIC-III 上明显领先(0.768 vs. 0.534),主要源于对信息不足条件的召回率更高(56.3% vs. 9.9%)。
一项 arXiv 研究比较了三种不预设模型调用方式的简单 LLM 框架(单次调用、SQL agent 和 Codex coding agent)与五个已发表的 RCA agent 及非 LLM 方法,在 RCAtlas 的 90 个验证案例上测试。简单框架最准确,三个中端模型上 PR@1 达 65-77%,超过已发表 agent(16-53%)和非 LLM 方法(6-39%)。更强的模型主要提升可靠性,更高推理 effort 最多改变几个百分点准确率却使耗时最多增至 7 倍。
论文提出 dSpark,一种面向扩散大语言模型(dLLM)的调度蒸馏框架,通过构建优先揭示能让其他位置更易预测的 token 的 unmasking 调度,并以 KL 散度正则化蒸馏进模型,实现更快的并行采样。在 GSM8K 上,该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12× 和 5.12× 加速,同时保持更优的任务性能,代码已开源。
推荐理由:论文给出了让扩散语言模型更早揭示关键 token 的调度蒸馏思路,GSM8K 上的加速倍数可直接对照不同基线参考。
REVA(REal-time Vulnerability Analysis)将智能体式漏洞检测所需的安全上下文与代码理解压缩为 LLM 的一次前向传播,对每个新函数提供预计算的威胁模型、静态分析结果和调用图信息,并用探针读取 LLM 内部表示。在 PrimeVul 测试集上,REVA 基于 GLM-5.3-Flash 达到 60.0% 准确率,每函数约 1 秒,与 SOTA 智能体检测器 VulTriage(59.2%)持平,速度快 250 多倍、成本不到其十分之一;同一提示下探针比 LLM 直接判断准确率高 14% 至 17%。
研究者提出 PAPO(Primary Advantage Policy Optimization),解决 LLM 后训练中多目标 RL 加性奖励聚合导致的“优势优先级反转”问题。该方法非对称融合主优势与辅助优势,目标一致时保留辅助监督、冲突时平滑衰减,保持主目标符号一致,可应用于 GRPO 的序列级优势和 actor-critic PPO 的 token 级优势。多领域多模型实验显示,PAPO 在主目标上取得最优表现,辅助目标也保持最优或具竞争力,代码已开源。
论文提出 QERA,一种先提问再作答的证据推理架构,用于用户网络痕迹的真实生活上下文学习。在 CL-bench Life 全部 405 个任务上,QERA 配合四个前沿 LLM 平均解题率达 21.0%,高于最强推理时基线的 18.2% 和直接作答的 14.6%,且 token 用量仅为 Ctx2Skill 的 4-5%。该架构无需训练,每任务约四次 LLM 调用,将请求转为需求清单并经代码验证引用后受控局部修复。
研究者推出 DocTalk,一个基于脱敏出院小结生成图表依据式回答的医生辅助问答系统,并通过句子级分解、链式推理引导和专家审核构建了 500 组临床 QA 数据对。六个开源 LLM 经 LoRA 指令微调后在 DocTalk-QA 上全面提升,最优的 Llama-3-Med42-8B 达到 ROUGE-L = 0.40、BERTScore-F1 = 0.76、UMLS-F1 = 0.49。系统已部署为安全的网页平台用于交互式 EHR 查询,Llama-3.1-8B-Instruct 在 PubMedQA 上准确率从 0.931 提升至 0.977。
研究者提出 NumTrace 基准,审计金融分析师 Agent 生成的每个数字声明的来源与财务语义,目前包含 540 道题、覆盖 2,163 份 SEC EDGAR 文件。该基准对每条声明给出 value、binding 和 support 三项判定,可检出“数字对但归属错”(RNWA)错误。在审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个 Agent 时,RNWA 错误占各自失败声明的 67.5-81.8%;在 13F 共同申报组问题上约 91% 的声明通过 value 检查,但通过 binding 检查的不到一半。
一项实证研究考察编码智能体 harness 能否通过经验自我演化:让 Claude Code 运行 \retro 技能,在 30 个 SWE-bench Verified 问题上回顾会话并提出 125 项修改建议,实施其中 24 项,并在新会话中评估 12 项 harness 改动。在目标问题实际出现的 7 次评估中,2 项改动消除了目标行为,1 项减少其发生,4 项无效,部分改动还在无关问题上增加了工作量。研究指出 harness 自我演化还需要验证改动是否有效、并修订或移除无效改动的机制。
一项实证研究将大推理模型(LRM)的推理轨迹转化为结构化动作序列,在四类编程任务中挖掘出四种通用推理模式:代码生成的设计到实现、执行推理的状态追踪、调试的证据—修复—复检、翻译的语义映射。基于正负模式的三种应用(任务识别、模式引导提示、模式感知早停)可在未见过的模型上泛化,其中早停能大幅减少 API 报告的 token 用量,pass@1 仅轻微下降。
一项 arXiv 研究提出多尺度策略优化方法 MPO,结合多尺度优势估计(MAE)与 turn 级重要性采样,将长程 LLM Agent 的信用分配与策略更新对齐到 assistant turn 尺度。在搜索、工具使用和自动化任务上,4B 与 30B-A3B 模型的实验显示其持续优于强 RL 基线。
prompts.chat 每日 prompt 新增「FastAPI Service taste」,一份带置信度评分的 Python API 工程师 FastAPI 实践准则。内容涵盖 Pydantic v2 模型与 response_model、通过 Depends 注入依赖、pydantic-settings 配置、APIRouter 分模块、SQLAlchemy 2.0 async 与 Alembic 迁移、lifespan 替代已弃用的 on_event、/v1 路径版本化、pytest + httpx.AsyncClient 测试,以及用 Celery、Arq 或 Dramatiq 处理慢任务等 22 条规范,每条附 0.70-0.95 的 Confidence 分值。
南北阁团队发布 Nanbeige4.3-33B,定位为 Nanbeige4.3 系列的教师模型,用于后续向更小模型(如 Nanbeige4.3-3B)蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先,并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文,提供 enable_thinking 与 preserve_thinking 等可配置聊天模板,可用 Transformers、SGLang 或 vLLM 部署。
推荐理由:原文给出与同规模开源模型的完整基准对比和推理部署配置,可借此了解 30B 级开源智能体模型的实际水平。
arXiv 论文 2610.33958 测试了嵌入搜索和代码图工具对小模型编码 Agent 定位能力的实际收益。在 SWE-bench Verified 上对 Qwen3(0.6B 到 32B)和 Gemma 4 共十个模型做工具消融,共 79k 次实验。结构化工具使 Qwen3-8B 和 Gemma 4 E4B 的 grep-only 准确率翻倍,收益在 1.7-4B 达峰 17-21 点,到 32B 降到 4-5 点;8B 以上约一半收益来自提交格式而非定位。
一项研究对 3,997 次生成尝试、横跨九个 OpenAI 与 Anthropic 模型/API 配置(基于 HotpotQA 和 FinanceBench 问题)进行了 schema 失败分类。研究发现相近的有效率掩盖了不同失败模式,Markdown 围栏 JSON 是最常见失败:681 次围栏失败中仅 48.0% 在去除围栏后通过验证,其余多为字段长度违规。作者提出四项工程实践并开源了分类器、生成结果与标注。
prompts.chat 的「Code Review Specialist」提示词被更新为结构化格式,改用 system role 与 metadata 组织内容,新增 persona(专业语气、coding 专长)、分步任务(分析语法与逻辑错误、评估行业标准遵循、寻找优化机会)、deliverables 和 text 格式、moderate 长度等输出约束。规则上更强调聚焦重大问题而非细微风格偏好,并确保反馈便于开发者直接实施。
arXiv 论文 2610.33882 提出 Intervention-Certified Amplification(ICA),用于门控 σ 加权 SFT/RL 混合后训练。作者展示 DIAA 在锚数据中移除全部 Python fence 后仍在 MATH-500 上 29% 的 prompt 输出未执行的 TIR,为 vanilla GRPO 的三倍;ICA 将 TIR 降至 13.8%(冻结)和 11.2%(在线),准确率从 47.5% 提升至 48.7% 和 49.3%,并无需重调即可迁移到 GSM8K。论文共 13 页,发表于 EMNLP 2026 Findings。
论文提出 FlashScript,将成功的 Agent 运行编译为可复用的神经符号程序(NSP),动作与数据转换变代码、实例值变参数、需模型判断的决策保留为 LLM 调用。在 120 个 WorkBench 分析任务上配合 Claude Haiku 4.5,NSP 每次运行做出相同工具调用,输入 token 约为 skill 引导 Agent 的 1/70、运行时间约 1/3;复合任务中 skill 引导 Agent 准确率降至 23%,NSP 保持正确,并成功泛化到 108 个未见过实例。
推荐理由:论文把成功的 Agent 运行轨迹编译成可复用的神经符号程序,给出 token 用量与运行一致性的量化对比。
prompts.chat 的每日 prompt 更新了 Code Review Specialist(代码审查专家)提示词,由原 messages 结构改写为直接指令格式。新提示词要求 AI 扮演经验丰富的开发者审查用户代码,聚焦代码质量与可读性、编码规范符合度、优化与性能改进机会以及潜在 bug 识别,并提供清晰可操作、带示例的反馈。该条目同时标记为 TRUE 并更换了提交者。
Federico Lucca 发布 arXiv 论文(arXiv:2610.32955),介绍自托管个人收件箱智能体 Foyer 及一套在训练前获得真值的测量协议。基于 739 封真实意大利语/英语邮件,对比生产关键词规则、TF-IDF+逻辑回归基线、typed decision models(Tev1、Nimble、Nimble v4-max)与生成式 LLM(Qwen2.5-7B、Gemma 4 26B/31B),发现约 200 标签下逻辑回归在各字段准确率最高但从不预测最稀有的两类;准确率并非产品指标,最准确的系统组合成动作后最常忽略需行动的邮件(18%),对噪声概率设置成本阈值后可减半并成为最便宜的方案。
研究者提出 AdaBPE(Adaptive Frequency Threshold Byte Pair Encoding),一种基于自适应频繁模式挖掘的分词方法,可根据候选 token 的长度和类型动态调整最小频率阈值。该方法能将词表容量高效分配给 LaTeX 等特定领域记法。在涵盖 LaTeX 与自然语言的五个数据集上,AdaBPE 在领域内容上提升了编码效率和下游语言模型性能,且不损害通用语言表现。
研究者提出 SemantEq,用于检验自动形式化生成的 Lean 4 语句是否忠实于原数学陈述,要求双向转换只能经由允许的推理步骤链完成。其无模型搜索 SemantEq-Eval 在 ProofNetVerif 测试集上达到 100% 精确率和 65.6% 召回率(BEq+ 为 95.8% 和 61.8%);配套的 SemantEq-ProofAudit 审核模型证明时拒绝了全部 104 对非等价语句,并在最佳提示下把 407 对等价语句的召回率从 65.4% 提升至 81.1%。代码与数据已开源。
一项 arXiv 研究测量了 11 个开源模型在 EffiBench 全部 1,000 道题上的代码优化能耗,发现性能优化并不等于节能:44 个配置中有 42 个生成的代码比人类参考解更耗能,开销从 +4% 到 +886%。推理能耗在 0.79 至 8.68 MJ 之间,约相当于 250 至 2800 次 GPT-4.1 查询;限制最大输出 token 可最多降低 69% 能耗,MoE 架构比同等规模稠密模型更省电。该论文已被 ICSE 2027 接收。
研究者提出 PoKER,一个面向超视距(BVR)空战的杀伤概率估算模型,用机器学习结合目标随机行为与导弹脱靶距离来预测击杀概率。不同于基于最大、最小和不可逃逸距离等静态区间的传统武器交战区(WEZ)模型,PoKER 还纳入弹头杀伤力、目标与射手姿态及具体交战条件,动态量化交战成功概率,可辅助 BVR 飞行员的作战决策。论文已发表于 The Journal of Defense Modeling and Simulation,代码已开源。
论文提出 HarnessMM,通过受保护的决策复用与递归自我改进(RSI)降低 Agent harness 的 token 消耗,actor 权重保持不变。在 HumanEval 上,Codex 成功率保持 90.82%,Tokens/task(k)从 66.72 降至 47.02(节省 29.54%);DeepSeek Harness 成功率从 71.43% 升至 85.71%,Tokens/task(k)从 96.28 降至 11.62(节省 87.93%)。MBPP 消融显示成本比单次使用图低 26.91%,比保留回调低 19.52%。
论文提出 LLaCO,一个基于竞争感知语义调度的连续扩散文本生成框架。理论层面,它提出竞争阈值理论(CTT),指出嵌入范数衰减导致欧氏距离产生虚假超车,并据此提出语义保留调度(SRS)。LLaCO 通过嵌入方向适配器与基于测地线插值的球面加噪过程改造预训练骨干,8B 版本性能超越此前连续扩散基线,并与同等规模的离散扩散模型相当。
研究者提出 CONSTRAINTDIAL 框架,通过协议变异自动构建智能合约安全任务,防止 AI 评测依赖记忆或照抄公开链上攻击代码的答案。该框架基于 203 个公开案例构建了 3,045 个涵盖 detect、exploit 和 patch 的任务输入;相比仅重建合约,协议变异使模型借助公开答案的成功率平均下降 10.9 个百分点,照抄线上答案解决的任务比例下降 9.3 个百分点。
AutoMIL 是一个开源框架,将自动化机器学习原则应用于全切片图像分类,自动完成预处理、训练和评估等流程。在默认设置的基准评测中,其 ROC-AUC 分别达到 UBC-OCEAN 0.94、PCam 0.99 和 TCGA-NSCLC 子集 0.93-0.96,与相关工作的专用流程相当。集成主要在不均衡数据上提升性能,表明自动化流程需适应数据集特性。
SCI-AGENT-EXAM 是一个面向科研工作流的智能体评测基准,包含 120 个专家标注任务,覆盖 11 个科学领域和 7 种研究任务类型。它采用程序化验证与经校准的 LLM 评审相结合的混合评估协议,并对执行轨迹的进展与稳定性进行分析。对 10 个前沿 LLM 智能体的实验显示,GPT-6 Astra 以 80.9 的总分领先,但仅 26.0% 的运行超过 0.95 成功阈值。
论文提出 SWE-Shift,一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准,包含 120 个场景、12 类变更族,并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率 20.34%;工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由:这个基准专门测任务执行中途环境被改动时的表现,17 个系统的成绩都下降,暴露了保留已有工作与刷新证据的短板。
研究者构建了首个尼泊尔政治文本金标准数据集(Cohen's kappa = 0.777),并用机器学习、深度学习和 LLM 自动提取与分析选举承诺。fastText-LSTM 深度学习模型表现最佳(accuracy 0.914、macro F1 0.913),LaBSE-LR 为最优机器学习模型(accuracy 0.897),三个受评 LLM 中 Qwen3-8B 在 few-shot 设置下取得 0.848 macro F1。成果已集成进移动应用,借助 GAI 可视化承诺以提升透明度与问责。
一篇 arXiv 论文提出 Adaptive Skill Granularity 框架,将编码智能体的技能粒度作为基于任务结构、执行状态和宏技能失败的动作抽象策略来控制,系统由基于特征的粒度控制器和有限状态恢复执行器组成。在采用验证器定义成功、总成本及宏采用率、失败恢复、路由匹配等过程指标的确定性编码智能体协议中,运行时路由与显式的宏到微恢复比固定粒度执行更稳健,可恢复固定执行无法解决的受控宏失败。作者据此主张技能库应被视为可控、可验证、可恢复的执行抽象。
IQuest-Q1 是一款稀疏 MoE 智能体基座模型,总参数 320B,激活 15B,通过预训练、中期训练与多 scaffold 后训练三阶段流程构建。该模型结合 SFT、领域专项 RL 与 MOPD 强化智能体编码能力,并以开源形式发布。
这项研究探究了封闭集决策(如工具选择)所需编码器的最小规模及读取方式,发现 3200 万参数下逐选项打分比联合读取高 5.8 个机会校正分(约匹配训练算力时高 2.8),且不受选项顺序影响,而联合模型重排选项会改变 12-23% 的答案。发布的 6 个编码器中,6800 万和 1.5 亿参数模型在 209 个 System1-Arena 任务上分别超过 4.35 亿参数 DeBERTa-v3 零样本分类器 4.9 和 5.9 个准确率点,最小模型中位延迟仅 14 毫秒,对比 728 毫秒。
研究者提出 DeepOpen,一个针对 BANKING77 和 CLINC150 数据集分别配置的面向决策的意图分类框架。在 BANKING77 上,经 SAM(sharpness-aware minimization)继续训练的单一英文分类器达到 94.1234% 测试准确率;在 CLINC150 的 150 个 in-scope 类别上,一个 Laya 专家与三个 DeBERTa-v3-large 分类器的概率融合达到 98.0222%。不过统一评估路径下 SAM 均值仅比历史 checkpoint 高 0.0433 个百分点(95% 区间 [-0.2273, +0.3247]),未能确立可靠的准确率提升。
论文提出 ProductWebBench 基准,在真实前端仓库上同时评分需求完成与网站连续性,包含 320 个 Change 任务和 80 个 Build 任务。基于 13 个模型共 8,737 次运行,通过全部需求检查的 Change 运行中仍有 28.2% 未通过连续性检查,18.3% 破坏了已验证状态。此外,静态 DOM 通过的运行中有 29.5% 在交互环节失败。