KAPPA:用 Lean 4 与语言模型智能体核查统计学论文中的证明
研究者推出开源工具 KAPPA,由 Claude Code 驱动的语言模型智能体将 LaTeX 统计学论文中的证明逐条翻译为 Lean 4(配合 Mathlib 库)并逐一核查,给出四种判定结论。对三篇已发表的统计论文进行盲测,该工具均在勘误所指步骤找出了已发表的错误,并发现了经人工确认的其他问题。作为对照,同一模型直接面对论文时在最长一篇上分类正确率更低,而 KAPPA 的所有判定均未超出其 Lean 证据范围。
新闻、仓库与研究,按时间排列。
研究者推出开源工具 KAPPA,由 Claude Code 驱动的语言模型智能体将 LaTeX 统计学论文中的证明逐条翻译为 Lean 4(配合 Mathlib 库)并逐一核查,给出四种判定结论。对三篇已发表的统计论文进行盲测,该工具均在勘误所指步骤找出了已发表的错误,并发现了经人工确认的其他问题。作为对照,同一模型直接面对论文时在最长一篇上分类正确率更低,而 KAPPA 的所有判定均未超出其 Lean 证据范围。
研究者提出 S3AC(Stabilized, Selective, and Scalable Actor-Critic),为 LLM 推理的 RLVR 训练引入实用的 critic 训练方案,提供 token 级优势和 prompt 级基线,并配套 Difficulty-Aware Prompt Sampling(DAPS)减少 rollout 浪费。该方法在 1.5B 到 397B 参数的稠密和 MoE 模型上优于 GRPO 变体 GRPO-X,35B 规模下可维持单 rollout 训练,而测试的无 critic 基线在初期提升后退化。
研究者提出 MATE(Mission Assistant for Training and Evaluation),一个基于 RAG 的完全离线语言辅助系统,利用条令和战术手册内容回答自然语言问题,辅助空战飞行员训练与战术决策。系统全部由开源组件构建,本地完成文本预处理、嵌入生成、语义搜索与语言生成。三名巴西空军战斗机飞行员用 Llama 3.1 8B、Qwen 2.5 14B 和 Mistral NeMo 12B 评估了 5 个战术问题的回答,平均评分在 4.00 到 4.40 分(满分 5 分)之间,Mistral NeMo 12B 得分最高。
论文提出 Misbehavior-driven RL(MiRL),针对终端智能体在长程任务中反复出现的错误行为做定向强化学习训练,从错误发生处启动 rollout,仅在通过测试且避免错误行为时给奖励。在 Qwen3.5-4B 上,八类错误行为占错误步骤的 52.1%;训练后在未见前缀上错误重复率平均降低 43% 到 57%,Terminal-Bench Lite 得分 51.8% 超过 TMax-4B 的 47.4%,Terminal-Bench 2.1 上 21.3% 对 20.6% 持平,rollout 用量仅为其 35%。
推荐理由:论文给出面向终端智能体的错误定向 RL 方法,附错误占比与基准对比数据,方法思路可迁移到其他长程任务训练。
研究回顾性比较了非生成式决策模型 JEV 与 schema 约束的 Qwen Flash 在临床试验预筛评估上的表现,测试基于 TrialGPT 及源自 MIMIC-III 和 MIMIC-IV 的 2,048 个患者-标准对,并在 Zero Data Retention (ZDR) 政策下评估。批量模式下两者在 TrialGPT(0.652 vs. 0.660)和 MIMIC-IV(0.807 vs. 0.814)上 macro-F1 相近,但 JEV 在 MIMIC-III 上明显领先(0.768 vs. 0.534),主要源于对信息不足条件的召回率更高(56.3% vs. 9.9%)。
一项 arXiv 研究比较了三种不预设模型调用方式的简单 LLM 框架(单次调用、SQL agent 和 Codex coding agent)与五个已发表的 RCA agent 及非 LLM 方法,在 RCAtlas 的 90 个验证案例上测试。简单框架最准确,三个中端模型上 PR@1 达 65-77%,超过已发表 agent(16-53%)和非 LLM 方法(6-39%)。更强的模型主要提升可靠性,更高推理 effort 最多改变几个百分点准确率却使耗时最多增至 7 倍。
论文提出 dSpark,一种面向扩散大语言模型(dLLM)的调度蒸馏框架,通过构建优先揭示能让其他位置更易预测的 token 的 unmasking 调度,并以 KL 散度正则化蒸馏进模型,实现更快的并行采样。在 GSM8K 上,该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上分别取得 10.12× 和 5.12× 加速,同时保持更优的任务性能,代码已开源。
推荐理由:论文给出了让扩散语言模型更早揭示关键 token 的调度蒸馏思路,GSM8K 上的加速倍数可直接对照不同基线参考。
REVA(REal-time Vulnerability Analysis)将智能体式漏洞检测所需的安全上下文与代码理解压缩为 LLM 的一次前向传播,对每个新函数提供预计算的威胁模型、静态分析结果和调用图信息,并用探针读取 LLM 内部表示。在 PrimeVul 测试集上,REVA 基于 GLM-5.3-Flash 达到 60.0% 准确率,每函数约 1 秒,与 SOTA 智能体检测器 VulTriage(59.2%)持平,速度快 250 多倍、成本不到其十分之一;同一提示下探针比 LLM 直接判断准确率高 14% 至 17%。
研究者提出 PAPO(Primary Advantage Policy Optimization),解决 LLM 后训练中多目标 RL 加性奖励聚合导致的“优势优先级反转”问题。该方法非对称融合主优势与辅助优势,目标一致时保留辅助监督、冲突时平滑衰减,保持主目标符号一致,可应用于 GRPO 的序列级优势和 actor-critic PPO 的 token 级优势。多领域多模型实验显示,PAPO 在主目标上取得最优表现,辅助目标也保持最优或具竞争力,代码已开源。
论文提出 QERA,一种先提问再作答的证据推理架构,用于用户网络痕迹的真实生活上下文学习。在 CL-bench Life 全部 405 个任务上,QERA 配合四个前沿 LLM 平均解题率达 21.0%,高于最强推理时基线的 18.2% 和直接作答的 14.6%,且 token 用量仅为 Ctx2Skill 的 4-5%。该架构无需训练,每任务约四次 LLM 调用,将请求转为需求清单并经代码验证引用后受控局部修复。
Flash-Fusion 将数据问题转换为受限的类型化计划,经 schema 验证后用确定性 pandas 算子执行,结果附带路由、计划、验证、缓存和执行证据。该端到端边云设计(arXiv:2511.11885,preprint 审稿中)在大学校车队评估中相比原始遥测喂给 LLM 的基线,实现 73.5% 数据缩减、95% 延迟降低、98% token 用量与成本下降。仓库含 Python 3.12+ 本地安装、Vercel 托管聊天界面(使用 openrouter/auto),支持 bus、WISDM IMU 和 MIT-BIH ECG 数据集。
研究者推出 DocTalk,一个基于脱敏出院小结生成图表依据式回答的医生辅助问答系统,并通过句子级分解、链式推理引导和专家审核构建了 500 组临床 QA 数据对。六个开源 LLM 经 LoRA 指令微调后在 DocTalk-QA 上全面提升,最优的 Llama-3-Med42-8B 达到 ROUGE-L = 0.40、BERTScore-F1 = 0.76、UMLS-F1 = 0.49。系统已部署为安全的网页平台用于交互式 EHR 查询,Llama-3.1-8B-Instruct 在 PubMedQA 上准确率从 0.931 提升至 0.977。
研究者提出 NumTrace 基准,审计金融分析师 Agent 生成的每个数字声明的来源与财务语义,目前包含 540 道题、覆盖 2,163 份 SEC EDGAR 文件。该基准对每条声明给出 value、binding 和 support 三项判定,可检出“数字对但归属错”(RNWA)错误。在审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个 Agent 时,RNWA 错误占各自失败声明的 67.5-81.8%;在 13F 共同申报组问题上约 91% 的声明通过 value 检查,但通过 binding 检查的不到一半。
一项实证研究将大推理模型(LRM)的推理轨迹转化为结构化动作序列,在四类编程任务中挖掘出四种通用推理模式:代码生成的设计到实现、执行推理的状态追踪、调试的证据—修复—复检、翻译的语义映射。基于正负模式的三种应用(任务识别、模式引导提示、模式感知早停)可在未见过的模型上泛化,其中早停能大幅减少 API 报告的 token 用量,pass@1 仅轻微下降。
一项 arXiv 研究提出多尺度策略优化方法 MPO,结合多尺度优势估计(MAE)与 turn 级重要性采样,将长程 LLM Agent 的信用分配与策略更新对齐到 assistant turn 尺度。在搜索、工具使用和自动化任务上,4B 与 30B-A3B 模型的实验显示其持续优于强 RL 基线。
ScaffoldCoT 作者宣布数据集更新:原集更名为 Scaffold Chat,移除全部 276,389 条工具调用样本(因合成生成框架缺陷导致训练失败),现含 3,450,159 条样本、16 个领域、约 13GB。新数据集 Scaffold Agent 包含 19,652 条真实执行的编码 Agent 记录,来自 6,792 个会话、1,005M token,全部工具调用真实执行并经隐藏测试与两轮 LLM 评审筛选。作者正在训练一个 5-10B 范围的编码专用模型,结果待评估后公布。
作者开源 clinical-rag-evals,一个以 FDA 指南文档为语料的 RAG 评测框架,发布 14 种检索配置在 124 份文档、85 道手写问题上的完整对比表:混合检索(BM25+dense)比纯 dense 高 +0.103 recall@5,256-token 分块更好,重排序在 512-token 块上反而变差并定位到 cross-encoder 窗口截断原因。LLM judge 经 40 条人工盲标验证,正确性 κ=0.81、拒答 κ=1.00;生成零幻觉但有 11 次误拒答,集中在 multi-hop。
GitHub 新仓库 mugededeoglu/learning-relaxation 上线,围绕 QCQP 问题的学习松弛方法。仓库包含 GNN 分类器与回归器、QCQP 解析器(qcqp_parser.py)、融合求解器(qcqp_solverfusion.py)、数据生成与特征提取等 Jupyter 笔记本,并在 minlplib 与合成数据上开展实验。
GitHub 仓库 sast-llm-benchmark 包含 OWASP Benchmark Java 数据集、提示词、基于 Ollama 的 runner 及实验结果,可通过 prepare.sh 和 run.sh 脚本复现实验。支持 deepseek-coder:6.7b、qwen2.5-coder:7b、gemma4:e4b 等本地模型,提供 baseline、zero-shot、CoT、ToT 等场景,FindSecBugs 场景需额外配置 Java 和 Maven。每次运行的 JSONL 结果与 hash 记录存于 results/llm/raw/ 以便复现。
SapienzaNLP 发布 doc-context-mt-eval 官方代码仓库,对应其 Findings of EMNLP 2026 论文,研究文档级上下文对 LLM 机器翻译评估的影响。结果显示文档上下文的收益因数据集而异,可能部分源于输入重复,而 LoRA 微调始终能提升评估性能,且有文档上下文时增益更大。仓库包含数据预处理、评估、元评估和微调四个阶段,基于 WMT 数据,支持参考有无与段落级/文档级四种场景组合。
szymonkobus 发布 code-model-reliability 仓库,用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力(D50)和可靠性(D99)。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试;仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本,代码 MIT、数据 CC BY 4.0。
推荐理由:用同一难度尺度同时刻画模型能力 D50 和可靠性 D99,覆盖 71 个模型配置的可复现评测框架。
arXiv 论文 2610.33958 测试了嵌入搜索和代码图工具对小模型编码 Agent 定位能力的实际收益。在 SWE-bench Verified 上对 Qwen3(0.6B 到 32B)和 Gemma 4 共十个模型做工具消融,共 79k 次实验。结构化工具使 Qwen3-8B 和 Gemma 4 E4B 的 grep-only 准确率翻倍,收益在 1.7-4B 达峰 17-21 点,到 32B 降到 4-5 点;8B 以上约一半收益来自提交格式而非定位。
一项研究对 3,997 次生成尝试、横跨九个 OpenAI 与 Anthropic 模型/API 配置(基于 HotpotQA 和 FinanceBench 问题)进行了 schema 失败分类。研究发现相近的有效率掩盖了不同失败模式,Markdown 围栏 JSON 是最常见失败:681 次围栏失败中仅 48.0% 在去除围栏后通过验证,其余多为字段长度违规。作者提出四项工程实践并开源了分类器、生成结果与标注。
Forcebench 是一个开源基准,用真实的 Salesforce 工程任务评测 AI 模型,覆盖 Apex、governor limits、fflib、Lightning Web Components、Flow、SOQL、CI/CD 等 15 个套件。评分尽可能通过实际执行完成:部署到 scratch org 跑隐藏 Apex 测试和 Jest 测试、执行 SOQL 查询、对照 sf CLI manifest 验证命令。项目支持任何 OpenAI 兼容端点,代码采用 Apache-2.0 许可,任务与结果采用 CC BY 4.0,结果与排行榜见 forcebench.ai。
arXiv 论文 2610.33882 提出 Intervention-Certified Amplification(ICA),用于门控 σ 加权 SFT/RL 混合后训练。作者展示 DIAA 在锚数据中移除全部 Python fence 后仍在 MATH-500 上 29% 的 prompt 输出未执行的 TIR,为 vanilla GRPO 的三倍;ICA 将 TIR 降至 13.8%(冻结)和 11.2%(在线),准确率从 47.5% 提升至 48.7% 和 49.3%,并无需重调即可迁移到 GSM8K。论文共 13 页,发表于 EMNLP 2026 Findings。
论文提出 FlashScript,将成功的 Agent 运行编译为可复用的神经符号程序(NSP),动作与数据转换变代码、实例值变参数、需模型判断的决策保留为 LLM 调用。在 120 个 WorkBench 分析任务上配合 Claude Haiku 4.5,NSP 每次运行做出相同工具调用,输入 token 约为 skill 引导 Agent 的 1/70、运行时间约 1/3;复合任务中 skill 引导 Agent 准确率降至 23%,NSP 保持正确,并成功泛化到 108 个未见过实例。
推荐理由:论文把成功的 Agent 运行轨迹编译成可复用的神经符号程序,给出 token 用量与运行一致性的量化对比。
emmarion 发布了 Sleight 编程语言仓库,语言采用 s-expression 语法、受限依赖类型、每个 binder 标注 multiplicity(erased/many/unique)以及无逃逸的终止检查,编译器会检查程序声明的性能断言如尾调用。仓库含参考实现(OCaml)、自举编译器 slc 和 Lean 4 模型,附千余个测试程序及 checked_runs、no_false、eval_sound 等机器验证定理;palindrom、heapsort、msort 等认证程序中堆排序由 LLM 智能体经多会话写成,2026 年 10 月 14 日的 talk 报告了模型表现。
Reddit 用户 /u/1982_miguel 分享了论文 SCOPE,其思路是将复杂的项目策略拆解为多个小检查,而不是靠单个模型判断编码智能体是否遵守架构规则等约束。作者指出测试通过不等于智能体遵循了全部规范,并讨论 SCOPE 与 linter、测试、pre-commit hooks、CI 检查及 agent guardrails 等现有工具的整合可行性。
Federico Lucca 发布 arXiv 论文(arXiv:2610.32955),介绍自托管个人收件箱智能体 Foyer 及一套在训练前获得真值的测量协议。基于 739 封真实意大利语/英语邮件,对比生产关键词规则、TF-IDF+逻辑回归基线、typed decision models(Tev1、Nimble、Nimble v4-max)与生成式 LLM(Qwen2.5-7B、Gemma 4 26B/31B),发现约 200 标签下逻辑回归在各字段准确率最高但从不预测最稀有的两类;准确率并非产品指标,最准确的系统组合成动作后最常忽略需行动的邮件(18%),对噪声概率设置成本阈值后可减半并成为最便宜的方案。
研究者提出 AdaBPE(Adaptive Frequency Threshold Byte Pair Encoding),一种基于自适应频繁模式挖掘的分词方法,可根据候选 token 的长度和类型动态调整最小频率阈值。该方法能将词表容量高效分配给 LaTeX 等特定领域记法。在涵盖 LaTeX 与自然语言的五个数据集上,AdaBPE 在领域内容上提升了编码效率和下游语言模型性能,且不损害通用语言表现。
研究者提出 SemantEq,用于检验自动形式化生成的 Lean 4 语句是否忠实于原数学陈述,要求双向转换只能经由允许的推理步骤链完成。其无模型搜索 SemantEq-Eval 在 ProofNetVerif 测试集上达到 100% 精确率和 65.6% 召回率(BEq+ 为 95.8% 和 61.8%);配套的 SemantEq-ProofAudit 审核模型证明时拒绝了全部 104 对非等价语句,并在最佳提示下把 407 对等价语句的召回率从 65.4% 提升至 81.1%。代码与数据已开源。
一项 arXiv 研究测量了 11 个开源模型在 EffiBench 全部 1,000 道题上的代码优化能耗,发现性能优化并不等于节能:44 个配置中有 42 个生成的代码比人类参考解更耗能,开销从 +4% 到 +886%。推理能耗在 0.79 至 8.68 MJ 之间,约相当于 250 至 2800 次 GPT-4.1 查询;限制最大输出 token 可最多降低 69% 能耗,MoE 架构比同等规模稠密模型更省电。该论文已被 ICSE 2027 接收。
研究者提出 PoKER,一个面向超视距(BVR)空战的杀伤概率估算模型,用机器学习结合目标随机行为与导弹脱靶距离来预测击杀概率。不同于基于最大、最小和不可逃逸距离等静态区间的传统武器交战区(WEZ)模型,PoKER 还纳入弹头杀伤力、目标与射手姿态及具体交战条件,动态量化交战成功概率,可辅助 BVR 飞行员的作战决策。论文已发表于 The Journal of Defense Modeling and Simulation,代码已开源。
论文提出 LLaCO,一个基于竞争感知语义调度的连续扩散文本生成框架。理论层面,它提出竞争阈值理论(CTT),指出嵌入范数衰减导致欧氏距离产生虚假超车,并据此提出语义保留调度(SRS)。LLaCO 通过嵌入方向适配器与基于测地线插值的球面加噪过程改造预训练骨干,8B 版本性能超越此前连续扩散基线,并与同等规模的离散扩散模型相当。
研究者提出 CONSTRAINTDIAL 框架,通过协议变异自动构建智能合约安全任务,防止 AI 评测依赖记忆或照抄公开链上攻击代码的答案。该框架基于 203 个公开案例构建了 3,045 个涵盖 detect、exploit 和 patch 的任务输入;相比仅重建合约,协议变异使模型借助公开答案的成功率平均下降 10.9 个百分点,照抄线上答案解决的任务比例下降 9.3 个百分点。
AutoMIL 是一个开源框架,将自动化机器学习原则应用于全切片图像分类,自动完成预处理、训练和评估等流程。在默认设置的基准评测中,其 ROC-AUC 分别达到 UBC-OCEAN 0.94、PCam 0.99 和 TCGA-NSCLC 子集 0.93-0.96,与相关工作的专用流程相当。集成主要在不均衡数据上提升性能,表明自动化流程需适应数据集特性。
SCI-AGENT-EXAM 是一个面向科研工作流的智能体评测基准,包含 120 个专家标注任务,覆盖 11 个科学领域和 7 种研究任务类型。它采用程序化验证与经校准的 LLM 评审相结合的混合评估协议,并对执行轨迹的进展与稳定性进行分析。对 10 个前沿 LLM 智能体的实验显示,GPT-6 Astra 以 80.9 的总分领先,但仅 26.0% 的运行超过 0.95 成功阈值。
论文提出 SWE-Shift,一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准,包含 120 个场景、12 类变更族,并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率 20.34%;工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由:这个基准专门测任务执行中途环境被改动时的表现,17 个系统的成绩都下降,暴露了保留已有工作与刷新证据的短板。
研究者构建了首个尼泊尔政治文本金标准数据集(Cohen's kappa = 0.777),并用机器学习、深度学习和 LLM 自动提取与分析选举承诺。fastText-LSTM 深度学习模型表现最佳(accuracy 0.914、macro F1 0.913),LaBSE-LR 为最优机器学习模型(accuracy 0.897),三个受评 LLM 中 Qwen3-8B 在 few-shot 设置下取得 0.848 macro F1。成果已集成进移动应用,借助 GAI 可视化承诺以提升透明度与问责。
一篇 arXiv 论文提出 Adaptive Skill Granularity 框架,将编码智能体的技能粒度作为基于任务结构、执行状态和宏技能失败的动作抽象策略来控制,系统由基于特征的粒度控制器和有限状态恢复执行器组成。在采用验证器定义成功、总成本及宏采用率、失败恢复、路由匹配等过程指标的确定性编码智能体协议中,运行时路由与显式的宏到微恢复比固定粒度执行更稳健,可恢复固定执行无法解决的受控宏失败。作者据此主张技能库应被视为可控、可验证、可恢复的执行抽象。