INVAR-Agri:用微调 LLM 检测农机多语言操作手册中的差异
INVAR-Agri 概念验证比较了 EuroLLM-1.7B-Instruct 在农机操作手册差异检测上的两种训练方案:回译对比与直接对照检查。在 24 种语言、植入数字/单位/否定等错误的测试中,回译方案隐瞒了大量植入错误,而单独训练的 checker 检出大多数错误,但对单位和训练外数字变化较弱;真实芬兰语文本上误报率高,故只能辅助而非替代人工审核。
新闻、仓库与研究,按时间排列。
INVAR-Agri 概念验证比较了 EuroLLM-1.7B-Instruct 在农机操作手册差异检测上的两种训练方案:回译对比与直接对照检查。在 24 种语言、植入数字/单位/否定等错误的测试中,回译方案隐瞒了大量植入错误,而单独训练的 checker 检出大多数错误,但对单位和训练外数字变化较弱;真实芬兰语文本上误报率高,故只能辅助而非替代人工审核。
研究者提出多奖励策略优化方法 GPDPO,从冲突过滤后的 rollout 中恢复成对监督信号,将样本响应间的 Pareto 支配关系转化为辅助偏好信号,与原策略目标联合优化,无需额外采样或奖励评估即可更有效复用 rollout。在 API-Bank 上跨多模型规模与奖励配置的实验显示,GPDPO 持续优于竞争性多奖励优化基线,并降低组相对与成对奖励冲突。代码将开源发布。
研究者推出开源工具 KAPPA,由 Claude Code 驱动的语言模型智能体将 LaTeX 统计学论文中的证明逐条翻译为 Lean 4(配合 Mathlib 库)并逐一核查,给出四种判定结论。对三篇已发表的统计论文进行盲测,该工具均在勘误所指步骤找出了已发表的错误,并发现了经人工确认的其他问题。作为对照,同一模型直接面对论文时在最长一篇上分类正确率更低,而 KAPPA 的所有判定均未超出其 Lean 证据范围。
论文提出 window likelihood(WL)方法,改进全双工语音对话模型在用户打断与附和时的表现。作者发现时序奖励的 GRPO 整段 rollout 存在零梯度陷阱和 credit leakage 两类失败,WL 则在每个窗口闭式积分 stop 决策并最大化正确行为的对数概率。在 HumDial-FDBench 上,WL 在六个开源模型上取得最优 yield/hold F1,超过 Kyutai 发布的 GRPO checkpoint,且不重新打开话轮。
论文提出 EvoRouter,一个通过洞察引导在线蒸馏自我演进的多智能体路由框架,由专家从配置轨迹中提炼可复用路由洞察,特权教师结合执行反馈为路由器的规划轨迹提供密集 token 级监督,并用成本感知强化学习联合优化性能与开销。在 19 个域内数据集和 2 个域外基准上,EvoRouter 平均域内精度 68.69%,超过最强路由基线 7.23 个百分点,推理计算成本降低 50.95%,代码已开源。
研究者提出 MATE(Mission Assistant for Training and Evaluation),一个基于 RAG 的完全离线语言辅助系统,利用条令和战术手册内容回答自然语言问题,辅助空战飞行员训练与战术决策。系统全部由开源组件构建,本地完成文本预处理、嵌入生成、语义搜索与语言生成。三名巴西空军战斗机飞行员用 Llama 3.1 8B、Qwen 2.5 14B 和 Mistral NeMo 12B 评估了 5 个战术问题的回答,平均评分在 4.00 到 4.40 分(满分 5 分)之间,Mistral NeMo 12B 得分最高。
论文提出 Misbehavior-driven RL(MiRL),针对终端智能体在长程任务中反复出现的错误行为做定向强化学习训练,从错误发生处启动 rollout,仅在通过测试且避免错误行为时给奖励。在 Qwen3.5-4B 上,八类错误行为占错误步骤的 52.1%;训练后在未见前缀上错误重复率平均降低 43% 到 57%,Terminal-Bench Lite 得分 51.8% 超过 TMax-4B 的 47.4%,Terminal-Bench 2.1 上 21.3% 对 20.6% 持平,rollout 用量仅为其 35%。
推荐理由:论文给出面向终端智能体的错误定向 RL 方法,附错误占比与基准对比数据,方法思路可迁移到其他长程任务训练。
一项 arXiv 研究比较了三种不预设模型调用方式的简单 LLM 框架(单次调用、SQL agent 和 Codex coding agent)与五个已发表的 RCA agent 及非 LLM 方法,在 RCAtlas 的 90 个验证案例上测试。简单框架最准确,三个中端模型上 PR@1 达 65-77%,超过已发表 agent(16-53%)和非 LLM 方法(6-39%)。更强的模型主要提升可靠性,更高推理 effort 最多改变几个百分点准确率却使耗时最多增至 7 倍。
研究者推出 DECE(Diverse Eurogame Competitive Environments),一个涵盖十款 Eurogame 的 LLM 智能体统一评测竞技场,共享接口与评测协议。主要研究评测了 12 种 model-harness 配置(9 个模型、4 种执行 harness),共进行 480 场三人对局,主研究与补充研究合计 1,032 场对局。结果显示跨游戏排名大体一致但也存在游戏特定优势,同一模型在不同 harness 下表现不同,且性能优势并不总伴随更好的 token 与成本效率。
REVA(REal-time Vulnerability Analysis)将智能体式漏洞检测所需的安全上下文与代码理解压缩为 LLM 的一次前向传播,对每个新函数提供预计算的威胁模型、静态分析结果和调用图信息,并用探针读取 LLM 内部表示。在 PrimeVul 测试集上,REVA 基于 GLM-5.3-Flash 达到 60.0% 准确率,每函数约 1 秒,与 SOTA 智能体检测器 VulTriage(59.2%)持平,速度快 250 多倍、成本不到其十分之一;同一提示下探针比 LLM 直接判断准确率高 14% 至 17%。
论文提出 Certify,一种让搜索增强模型结构性判断证据是否充分的方法:将问题分解为需求超图,按需求检索并通过实体校验建立关联,再由 Horn 闭包给出最小充分证据证书或指明缺失需求的弃答。在三个含不可答对照的语料上,其决策准确率显著优于搜索智能体、图检索与充分性判断器;在 21M Wikipedia 语段上实体校验带来 4 到 13 个百分点的准确率提升,基于证书的回答正确率为 80%,高于使用全部检索语段的 57%。
研究者提出 TADA-Agent,用查询驱动的两个语义原子 Tagging 与 Categorization,将 LLM 语义处理与 SQL/Python 精确计算结合,处理文本列分析负载。在包含 40 个完整分析请求的 TABench 上,相比语义算子基线,TADA-Agent 行级语义质量相当、完整产物保留估计更高,且语义模型请求数少一个数量级以上。
一项 arXiv 研究系统刻画了全双工语音对话模型在长会话中的性能退化,发现多款公开模型的响应性、语音内容质量和音色一致性随时间下降。研究者提出基于自蒸馏的 LoRA 轻量适配训练框架,并引入双分辨率上下文(TRC)架构,将旧交互历史压缩为 KV 表示。在三个不同架构模型上,LoRA 适配缓解了十分钟会话内的性能退化,加入 TRC 后效果可超出训练会话长度,且 KV-cache 增长减少超过 90%。
研究者提出 CrashDB-QA,一个完全本地部署、以 schema 为基础的智能体工作流,支持对交通事故数据库的自然语言分析,包含只读 SQL 生成、验证与结果解释,另有检查问题-查询-结果一致性的 CrashDB-QA+ 扩展。在 440 万条 Wisconsin 事故记录和 300 个问题、九个开源权重模型的基准上,领域 grounding 显著提升查询准确率,一个 7B 代码专用模型取得最佳准确率-延迟平衡。
一项被 IJCNLP-AACL 2026(Findings)接收的研究探索冷启动电商搜索的合成数据:6 个 LLM 用 9 类 persona 条件提示词在 47 字段英国汽车 schema 上生成 118,098 条合成对,对比 1,214 条人工标注与 15,304 条生产查询。IPIP 人格组合在全部四组对照中提升解析器 F1(Holm 校正 p<.001);语法条件化最能把生成拉向真实流量,且对齐 sKL 与解析器 F1 相关(ρ=-0.917)。LLM 委员会判定所有解析器漏掉的 927 条查询中 37% 为幻觉,含语法条件的 4 类提示词幻觉占比最高达 38-42%,仅 IPIP 最低为 28%。
Flash-Fusion 将数据问题转换为受限的类型化计划,经 schema 验证后用确定性 pandas 算子执行,结果附带路由、计划、验证、缓存和执行证据。该端到端边云设计(arXiv:2511.11885,preprint 审稿中)在大学校车队评估中相比原始遥测喂给 LLM 的基线,实现 73.5% 数据缩减、95% 延迟降低、98% token 用量与成本下降。仓库含 Python 3.12+ 本地安装、Vercel 托管聊天界面(使用 openrouter/auto),支持 bus、WISDM IMU 和 MIT-BIH ECG 数据集。
Agents in the Wild 在 GitHub 发布开源数据集,收录 315 个真实、第一手的 AI agent 用例,涵盖 Claude、ChatGPT、Codex、OpenClaw 等智能体,每条附原文链接与可复用提示词,每周更新,最新版本为 2026-10-26。其中 308 条为人工核对的 Spotted 案例,7 条为经公开证据确认的 Verified 案例;数据以 cases.json 和 cases.csv 提供,采用 CC BY 4.0 许可。按主题划分,工程类 104 个最多,使用最多的 agent 是 Claude(90 个)和 Claude Code(73 个)。
ClinReason 推出 SectorBench Healthcare/Clinics v0.1,一个双语、本地优先的行业 LLM 评测规划包与可运行脚手架,首个领域为医疗/诊所,核心数据模型与评分引擎可扩展到金融与法律。项目已推进至 100+ 案例家族的里程碑,并完成 16-call judge-only 评分探针等验证实验。官方强调所有案例均为合成且未经验证(example_unvalidated/draft),在合格临床专家完成验证与 Gold Set 流程前不得用于临床决策。
GADAR(Generalizing Across Domains via Action Ranking)是一种无需搜索的策略,以域描述为输入,可在训练中未见过的经典规划域上构造落地动作。在八个基准域的 leave-one-domain-out 评测中,单个 GADAR 策略在七个训练域上解决 58.3% 的测试实例,仅比专用单域模型的 59.3% 低一个百分点;零样本时它在全部八个域上平均解决 22.6%,远高于随机选择的 3.3%,并在未见过的 Visitall 上达到 68%。
一项研究检验了保形事实性在 agentic RAG 中的表现,其中语言模型策略会自适应地发起后续检索查询或在生成回答前终止检索。研究在 GPT-6 Luna 和 Llama 3.1 8B 上评估 HotpotQA、Natural Questions 和 TriviaQA 六种配置,每配置 60 个固定问题、100 个种子分区、五个保形目标水平。95% 目标下,非空回答覆盖率介于 17.23% 到 60.17%,完整支持率介于 89.14% 到 95.56%,更高的目标水平伴随更高的完整支持率但更低的回答可用性。
研究者推出 ClinVerse,一个基于真实数据的交互式多智能体环境,用于训练和评估医疗诊断智能体。其底层 ClinPatient 数据集包含来自真实电子健康病历的 150k 诊断案例,支持医生智能体等六种临床角色的协作交互,并通过规则化打分框架量化信息获取、检查开单与诊断准确性,作为训练奖励信号。实验显示,三类共九种自我进化方法均能持续提升智能体的诊断能力。
研究者提出 NumTrace 基准,审计金融分析师 Agent 生成的每个数字声明的来源与财务语义,目前包含 540 道题、覆盖 2,163 份 SEC EDGAR 文件。该基准对每条声明给出 value、binding 和 support 三项判定,可检出“数字对但归属错”(RNWA)错误。在审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个 Agent 时,RNWA 错误占各自失败声明的 67.5-81.8%;在 13F 共同申报组问题上约 91% 的声明通过 value 检查,但通过 binding 检查的不到一半。
Qualcomm 团队提出 AIPC(AI Porting & Conversion),一种结合结构化 Skills 与工具链、运行时和 profiling 证据的 Agent 方法,用于在端侧 NPU 上部署 PyTorch 推理项目,覆盖模型适配、构建、执行、精度修复与性能优化全流程。在 Qualcomm QAIRT 的 NPU 路径评测中,Whisper-Small 优化案例 6/7 Skill-arm 达到精度与延迟标准(对照组 0/6),YOLO-Worldv2 端到端加速 2.791x(对照组 1.599x),部分运行实现零人工干预(0-HITL)。团队还考察了 Qwen3.8-27B 作为本地部署的 Agent 驱动模型。
研究者提出 AskGLP1,一个将在线患者叙述转为知识图谱并回答用药体验问题的 LLM 智能体。该系统基于 MedDRA 术语,从近 850 万条 Reddit 帖子中筛选出 163,135 条用药体验,结合 2,506 条 WebMD 评论,构建含 385,790 条药物-副作用与药物-用途关系的三元组。结果显示在线叙述与 FAERS 互为补充,且 tirzepatide 的恶心呕吐报告少于 semaglutide;智能体能提供可验证证据并拒绝医疗建议请求,代码与提示词已开源。
一项 arXiv 研究提出多尺度策略优化方法 MPO,结合多尺度优势估计(MAE)与 turn 级重要性采样,将长程 LLM Agent 的信用分配与策略更新对齐到 assistant turn 尺度。在搜索、工具使用和自动化任务上,4B 与 30B-A3B 模型的实验显示其持续优于强 RL 基线。
arXiv 新论文推出 PatentAgentBench,包含覆盖 8 个任务套件的 510 个实例,涵盖新颖性检索、FTO 检索、无效检索、权利要求对照表、专利撰写、审查意见答复和专利翻译等任务,基于真实专利记录并由专家标注。研究评估了 7 个 LLM 在 4 种 agent harness 下的表现,发现当前系统仍难以识别新颖性、评估风险和理解专利从业者意图。
一项 arXiv 研究诊断 GEPA 反思式提示词优化器中合并算子不稳定的成因:合并平均提升 gpt-4.1-mini 却降低 Qwen3-8B 表现。在五个数据集、两种模型上进行的九种配置扫描显示,配置得当时合并对两个模型均有提升,说明不稳定源于配置敏感性而非算子固有缺陷;提示词级静态特征也无法预测合并接受决策。基于行为探针的概念验证可在高风险任务上弃权以避免大规模合并失败,但未稳定超过 NoMerge,代码以 GEPA-MergeProbe 开源。
开源 Python 包 AutoREC 将等效电路模型(ECM)构建建模为马尔可夫决策过程,训练 DDQN 智能体从 EIS 数据自动生成电路模型。论文显示,该智能体在合成数据集上成功率超过 99.6%,并能泛化到多种电化学系统的未见实验数据。包内含数据准备、优先经验回放、死循环缓解、缓存评估、YAML 配置及 Jupyter 教程,论文已发布在 arXiv。
ScaffoldCoT 作者宣布数据集更新:原集更名为 Scaffold Chat,移除全部 276,389 条工具调用样本(因合成生成框架缺陷导致训练失败),现含 3,450,159 条样本、16 个领域、约 13GB。新数据集 Scaffold Agent 包含 19,652 条真实执行的编码 Agent 记录,来自 6,792 个会话、1,005M token,全部工具调用真实执行并经隐藏测试与两轮 LLM 评审筛选。作者正在训练一个 5-10B 范围的编码专用模型,结果待评估后公布。
moses-b-alexander 在 GitHub 开源了 baseball-bench 项目,用于评估开源权重 LLM Agent 在棒球换投手决策上的表现。仓库包含 README、DESIGN.md 等文件,采用 Unlicense 许可证,目前暂无 stars、forks 或 releases。
华盛顿大学 UbiComp Lab 学生开发的 ConvFill 训练 0.6B talker 模型与大型 reasoner 模型协作:用户语音转录后 talker 先快速接话争取时间,reasoner 生成合适回复再由 talker 朗读,兼顾语音智能体的速度与智能。作者认为方向可行但 talker 还需更聪明,论文将在 EMNLP 发表,demo 已上线可试用。
WoojinPark-Jay 在 GitHub 发布论文“Confidence-Guided Selective LLM Re-Evaluation for Emotion Classification in Social Media”的复现包。系统用校准的 DistilBERT 分类器做第一阶段,仅将低置信度样本路由到第二阶段,比较 Direct、CoT 与 SELF-DISCOVER 协议在 Llama 2 和 Llama 3 上的表现:Llama 3 SELF-DISCOVER 在 12,000 条 Reddit 测试集上准确率 97.2000%,在 Mixed Emotion 300 压力测试上达 92.6667%,高于 Direct 和 CoT。
一个 GitHub 研究仓库尝试诱导 LLM 发展并扩展 Balaban 纲领,以构造四维 Yang--Mills 理论(YM4),从紫外奇异性较轻的 QED3 和 YM3 入手。仓库声称包含 QED3 在无穷体积下的完整构造及场强张量的 Osterwalder--Schrader 公理证明,内容主要由 Claude 生成的数千页草稿经 Astra 精简而成,尚未充分人工核验。YM4 论证已存在但极长难以理解,作者欢迎协作完成形式化与消化。
作者发布 llm-collusion-audit 仓库,在 Apart Research AI Collusion Sprint(2026 年 10 月 23 至 25 日)期间构建黑盒因果审计,从存档的重复定价博弈中重启并施加单一干预(强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方),区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。
推荐理由:该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价,方法预注册、含失败结果,结论可直接用于 AI 串谋检测讨论。
该仓库发布 Apart AI Collusion Research Sprint(2026年10月23-25日)的研究产物,包含 480 局完成对局、48 个条件、每条件十个匹配市场与六家厂商模型的冻结数据,场景为脚本化顾问在重复三方采购中提出轮流抬标方案。仓库提供无需 API 密钥的标准库复现脚本,可校验哈希并重算原始结果、推断、投标筛查与关键词监控;另有复现队友 22 个数值输出文件的附加回放。作者强调结果衡量的是对给定方案的易感性,而非自发合谋或现实普遍性。
arXiv 论文 2610.33958 测试了嵌入搜索和代码图工具对小模型编码 Agent 定位能力的实际收益。在 SWE-bench Verified 上对 Qwen3(0.6B 到 32B)和 Gemma 4 共十个模型做工具消融,共 79k 次实验。结构化工具使 Qwen3-8B 和 Gemma 4 E4B 的 grep-only 准确率翻倍,收益在 1.7-4B 达峰 17-21 点,到 32B 降到 4-5 点;8B 以上约一半收益来自提交格式而非定位。
一项研究对 3,997 次生成尝试、横跨九个 OpenAI 与 Anthropic 模型/API 配置(基于 HotpotQA 和 FinanceBench 问题)进行了 schema 失败分类。研究发现相近的有效率掩盖了不同失败模式,Markdown 围栏 JSON 是最常见失败:681 次围栏失败中仅 48.0% 在去除围栏后通过验证,其余多为字段长度违规。作者提出四项工程实践并开源了分类器、生成结果与标注。
Ahaan Verma 等人在 Ashby Prize Hackathon 2026 发布开源研究工具 gutfeeling,通过热键截取任意切片查看器画面,约 2 秒内给出 SSL 与 HP 判读及证据。工具用 ConvNeXt-Base 与 MUSK 集成模型,在 977 张 MHIST 测试图上平衡准确率 0.888、AUC 0.956,与 7 病理医生共识上限相当;在 UniToPatho 上 HP 准确率 99.6% 但会低估 SSL。定位为研究工具,非诊断用途,许可证为 PolyForm Noncommercial 1.0.0。
研究者推出 HerHealthGPT,一个面向女性生殖健康、结合 RAG、上下文感知澄清与来源验证的对话式 AI 系统。在 540 条英文消息和 30 名成人的测试中,证据检索将关注类别准确率从 54.1% 提升至 59.3%,澄清路由器达到 85.6% 召回率与 86.2% 特异度,83.3% 的参与者偏好启用检索的配置。系统仍需进一步临床验证。
论文提出 OS-Wizard,一个面向专用桌面软件的自动轨迹采集框架,结合教程引导探索与 GUI 和代码混合动作空间,并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本,微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%,超过报告的人类水平 59.8%;仅用 GUI 动作也能提升通用桌面任务表现。
推荐理由:论文给出了一条自动化采集专用软件操作轨迹的完整路径,含方法、数据规模和微调后的对比结果,可作同类工作的方法参考。