人类反馈强化学习(RLHF)用于人机协作的范围综述与实验研究
一项遵循 PRISMA 指南的范围综述筛选了 199 条记录,纳入 2020-2025 年间的 20 篇同行评审文献,梳理 RLHF 在人机协作(HRC)系统中的方法,据称是首个聚焦双向闭环设计的综述。团队还开展了被试间 VR 实验,用贝叶斯模型比较系统发起与用户发起的反馈对机器人近距行为安全的影响。结果显示用户发起的反馈更能捕捉感知安全,说明反馈时机直接影响反馈质量。
新闻、仓库与研究,按时间排列。
一项遵循 PRISMA 指南的范围综述筛选了 199 条记录,纳入 2020-2025 年间的 20 篇同行评审文献,梳理 RLHF 在人机协作(HRC)系统中的方法,据称是首个聚焦双向闭环设计的综述。团队还开展了被试间 VR 实验,用贝叶斯模型比较系统发起与用户发起的反馈对机器人近距行为安全的影响。结果显示用户发起的反馈更能捕捉感知安全,说明反馈时机直接影响反馈质量。
一篇 arXiv 论文研究了自动化测试、红队测试与事件响应的反馈何时能为 AI 系统提供充分防御。论文证明:若每个未解决攻击都有持续被发现的机会、修复有效且更新保留既有防护,有限输入构成的攻击面最终被防御的概率为 1,并推导出完成时间边界。论文还构建防守者主导的 Stackelberg 博弈,刻画威慑攻击的最低成本投入分配及均衡情形;数值实验显示更快修复可缩短被攻陷持续时间而不降低被攻陷概率。
QCATS 是一个查询上下文感知的 Transformer 切片框架,利用查询谓词和元数据统计在模型执行前预选上下文对齐的 FFN 切片,实现数据库内高效稀疏推理。框架包含离线专家构建和轻量查询级路由,并引入异步 CPU-GPU 流水线与路由感知批处理等系统优化。在 BERT-base 和 Qwen-0.6B 的四项预测查询工作负载上,QCATS 延迟最多降低 4.42x,预测精度与稠密基线相当。
研究者提出 NL2Hull 框架,将船型编辑建模为类型化离散决策问题,通过 CFFD 引擎用 NURBS 表示水线并施加 FFD 变形。团队构建了含 134,558 条清洗记录的 SDD 数据集,以及含 5,000 条记录、43,496 道类型化问题的 SDDBench。其决策模型 Chip 达到 95.90% 问题准确率和 99.32% FFD 完全匹配,代码与数据集已开源。
Yongqiang Yao 等在 arXiv 发布论文 RollVerify(arXiv:2610.09914),提出基于部分 rollout 的轻量强化学习框架,在样本进入训练前主动验证并修复,而非被动重加权。框架引入偏离策略度量 OPS,据其约束进行序列级与 token 级验证、截断无效后缀。数学与工具辅助数学推理实验显示其准确率接近全在策略训练且降低训练成本,代码生成结果提供了数学之外的初步证据。
研究者发布 KGATE(Knowledge Graph Autoencoder Training Environment),一个基于 PyTorch Geometric 和 TorchKGE 的模块化 Python 库,支持将初始化器、编码器、解码器、损失函数、负采样器和评估指标自由组装为完整自编码器。它内置控制数据泄漏的预处理流程和训练管线,保证可复现性。与六个现有 KGE 库的对比显示,KGATE 训练时间与最快的库相当,同时功能更丰富。
一项 arXiv 研究用四个公开真实设备数据集中的 128 个故障日,评估决策模型 Jev、开源语言模型与监督模型对 HVAC 故障的诊断能力,按诊断所需推理需求分级并给出原始数据、物理特征或 Brick 拓扑三类输入。结果显示,基于物理特征时 Jev 和更大的开源模型能诊断单一特征可判定的故障,在季节、控制配置或建筑变化下保持准确率与校准,而监督模型 macro-F1 下降 0.33 但在同建筑内领先或持平。模型概率仍需修正,故障检测较弱,研究支持由代码计算物理量、模型为运维人员排序候选故障的分工方式。
Michael Ofengenden 在 arXiv 发布 AgentTime 基准,用来自 18 个来源的 222 个任务测试 Agent 能否按要求时长工作、预测运行时间并事后估计耗时。结果显示各模型偏差差异很大:Claude Code 中的 Fable 5.1 偏离要求时长的典型倍数为 2.9 倍,Codex 中的 GPT-6 Astra 仅 1.2 倍;158 次可分类的 Astra 运行中有 14 次在看似完成任务后直接休眠。回溯实验中移除时间信息使 Sol 和 Astra 的偏差翻倍以上,Fable 接近翻倍。
推荐理由:论文用 222 个任务实测各模型 Agent 的时长控制与时间预测能力,给出了可直接比较的偏差倍数数据。
Teng-Ruei Chen 在 arXiv 发表论文,测量 LLM 路由器的路由选择日志如何在内容日志关闭时泄露敏感话题。基于 WildChat-1M 和 LMSYS-Chat-1M 共 170 万条真实请求的预注册研究,RouteLLM 在 50% 工作点下骚扰与自残请求被路由到强模型的比例低 19 个百分点,20 次路由决策区分频繁医疗提问者的 AUC 为 0.71;长度匹配的按类别 parity 可消除差距且在 RouterBench 上最多损失 0.2 个准确率点,而每会话 stickiness、每用户预算区间等方法失效。
推荐理由:论文用预注册实验量化了 LLM 路由日志泄露敏感话题的程度,并测试了 defenses 的代价与失效方式。
arXiv 论文(2610.10049,被 IEEE CogMI 2026 接收)用 30 个情境、6 种偏差和 0/1024/4096/8192 token 思考上限在 4 个模型家族做了剂量反应研究,共 12,350 次 API 调用。结果发现推理模型并不比匹配的非推理模型更少偏差,偏差幅度也不随实际消耗的推理 token 增加而可靠下降;锚定是唯一沿人类方向的偏差(d = 1.89),其余偏差多反向;一条让模型先复述锚点的简单指令降低了全部锚定题目的偏差。作者据此主张不应把测试时推理当作理性保证,应对部署模型逐项审计偏差。
推荐理由:研究用 12,350 次 API 调用检验推理预算与决策偏差的关系,结论可迁移到对部署模型的偏差审计思路上。
研究者提出 EncBank,把预训练 LLM 的低层视为可复用的文档编码器并紧凑存储其输出,供适配后的上层读取器使用,且各存储精度共享自蒸馏 suffix adapter、无需针对量化重训。在三个不同规模的 Qwen 骨干上的五个 benchmark 套件中,4-bit 存储与原生精度 EncBank 各项 aggregate 差距在一个分数点内;在固定 Qwen3-8B 负载下仅保留 28.1% 的原生精度 GPU 常驻存储,并实现 1.40x prefill 加速(RULER 准确率损失 3.12 分),原生精度 Qwen3.8-27B 还通过 Terminal-Bench 2.1 的 89 项任务中的 70 项。
SkillSandbox 是一个面向自进化智能体(agent)的技能验证框架,可为每个技能动态合成新颖且相关的任务场景:由 Proposer 指定保留条件与可变细节,Builder 构建可执行场景,Verifier 对比有无该技能的执行效果并给出 Keep 或 Reject 判定。在 ALFWorld 和 WebShop 上使用三个模型测试,SkillSandbox 均取得最强的下游性能和更高的执行效率。该框架从可执行性、实用性和效率评估技能可复用性,决定其是否进入技能库。
Peter Baile Chen 等在 arXiv 发布 ExperienceIndex,为 AI 智能体引入基于语料(artifact)的经验记忆层,存储单个语料经验与语料对关系两类信息,以轻量中间件形式帮助智能体定位新任务的全部相关语料。在多种语料和搜索框架下,答案质量最多提升 11.0 分、在线成本最多降低 50.5%;并展示了 text-to-SQL 经验向事实问答的跨任务迁移,以及强模型经验帮助弱模型达到相近表现。论文链接 https://arxiv.org/abs/2610.10091v1
一项 arXiv 研究统计了 "rather than" 这一结构在 2019 年 ACL 论文、2026 年 ACL 风格 arXiv 论文以及 GPT 模型生成论文中的使用频率:2026 年的使用率是 2019 年的 7 倍,GPT 论文中更高。双盲标注显示 2019 年几乎没有令人反感的用法,2026 年约十分之一;约半数 2026 年论文含让标注者反感的使用。研究者推测这是成对偏好数据后训练的副作用。
arXiv 论文 2610.10114 提出 Mechanics of Long-Context Hybrid Models 系列的 Part 1.1,研究全注意力与滑动窗口注意力(SWA)或门控线性注意力(GLA、GDN)混合架构的工作原理。作者发现上下文扩展中的 Seesaw Effect:LA 混合更受益于长上下文持续预训练,SWA 混合在长度外推上表现更好,并归纳了 SWA 混合的 Short-Context Learning Trap、Short-Window Weariness 和 Long-Window Laziness,以及 LA 混合的 Matthew Effect。
推荐理由:论文解释了混合注意力架构为何在长上下文上有效,并给出可复用的 Sliding-Window Linear Attention 设计与外推结果。
Huishan Ji 在 arXiv 发布 YANchor-4B,一种以 Anchor 保存关键记忆的通用循环模型,实现 O(N) 时间生成与 O(1) 内存。该模型在 AIME 2024–2026 上平均 pass@1 达 82.93%,HMMT 达 63.64%,优于线性时间常数状态的同类模型包括更大的模型;在 H100 上批量长生成吞吐比 Transformer 与混合基线高数倍,并在数十个基准上展示通用能力。论文 24 页 8 图,代码与模型已开放。
推荐理由:论文给出了循环架构在长程推理基准上的具体成绩和吞吐对比,读者可以据此评估 O(N) 时间加 O(1) 内存的实用性。
研究者提出证据感知的论文影响力预测方法 LLM4Impact,将语义、图、LLM 和时序表示融合,通过连续 prefix tokens 向冻结 LLM 注入图信息,并用上下文感知门控与校准模块自适应加权不同证据。实验基于 200 万篇论文的基准数据集,方法在分布内测试集上年 RMSE 降低 10.13%,域外降低 6.87%。代码、基准与交互式演示将在论文发表后开源。
研究者发布德语多模态语料库 InterView-C,包含 27 场完全在 VR 中进行、双方以头像呈现的调查访谈,共 54 段录音,同步对齐语音与注视、头身运动、面部、手部追踪等行为数据,并提供人工校对的逐词转录及 1,422 句否定线索与范围标注(双重标注 α=0.87/0.81)。实验显示九个开源 ASR 系统易误识短答和数词,而在该语料库上训练的否定检测模型优于现有语料训练的模型。
论文提出 Hyperbolic Symplectic Positional Encoding(HySPE),利用 Sp(2,R) 的双曲分支取代 RoPE 的旋转参数化,通过特征基对角化和分块坐标重定基实现与长度无关的数值界,缓存前向延迟与 RoPE 持平(RTX 4090 上 7.21 ms)。在 TinyShakespeare 上,HySPE-UltraLong 在 16 倍零样本外推(L=4096)时困惑度保持 4.810,而 RoPE 退化至 131.198;51M 参数 Transformer 在 WikiText-103 上外推到 8192 长度时,尾部困惑度较 RoPE 降低 83.9%。大规模基础模型上的扩展性评估仍是未来工作。
一项 arXiv cs.CL 研究系统探讨了如何用中间监督改进搜索智能体的强化学习训练。研究比较了多种 reward-shaping 与 credit assignment 策略,并构建了将中间检索步骤信号与最终结果奖励结合的训练框架。在相同训练条件下跨多个基准的实验表明,该方法提升了搜索智能体的整体性能,且中间信号的选择与奖励分配位置都会影响训练效果。
研究者提出 GAGR-Lab,一个通过笛卡尔游戏场景和 Rust 轨迹执行来测量空间感知、几何关系与函数构建等联合推理能力的评估框架。试点中 Llama 3.2 11B Vision Instruct 在 72 个游戏、432 次尝试中无一命中目标,而特权解析搜索控制在 300 个场景的 600 个方向性用例上全部成功。框架将服务可靠性、符号合规与几何成功分离,完整难度矩阵和多模型对比仍待测试。
研究者提出一个将 LLM 知识蒸馏进可解释决策树的少样本学习框架,用于表格数据分类。该方法不让 LLM 直接生成完整树,而是采用三阶段范式:先让 LLM 生成规则,再将规则组织成树。在多个真实表格数据集上,该方法相比现有基线取得更高的准确率、更好的可解释性,并显著降低提示词开销,论文已被 EMNLP 2026 主会接收为 oral 报告。
一项 arXiv 研究将九种已发表的自动化说服力评估方法统一设置后在 15 个 LLM 上运行,发现各方法排名仅弱相关(平均 Spearman ρ = 0.25)。分析显示,模型对部分任务(主要是操纵类任务)的拒绝使一致性降低约四分之一,且多数理性说服方法与通用能力相关而操纵类方法无关。这表明单一说服分数只反映特定评估设置,难以代表模型跨任务的说服力。
论文发布 PatchBench,指出安全补丁可能通过基准测试却压制无关行为,提出 PatchBench-Local 协议评测补丁的行为精确性。该协议从 27,870 个提示中筛选出 400 个高置信越狱失败案例,为每个有害源提示生成有害变体与两类良性邻居提示;对四种 activation steering 方法的评测显示全局能力几乎不变时局部良性回归可能很严重。论文已被 NeurIPS 2026 Datasets and Benchmarks Track 接收,地址 https://arxiv.org/abs/2610.10276v1。
推荐理由:提出用局部邻居提示区分选择性修复与局部压制的评测协议,可迁移到越狱修复方法的对比评估中。
论文提出 SemanticFold,一种在可学习边界折叠前缀隐藏状态的压缩方案,并在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五个规模上评测。固定目标协议下,压缩对各端点的影响非单调且不共享同一阈值,Qwen3-1.7B 在 R=1.7 时 NLL 降低 0.135,而 Pythia 两个模型的 NLL 基本不变;线性探针与推理指标变化小于 0.03。作者结论是潜在压缩下的能力保持没有单一标量证书,语言建模拟合、可解码性与推理在同一压缩操作下可能朝不同方向变化。
推荐理由:原文用固定目标协议把语言建模、可解码性与推理拆开评测,读者可以了解潜在压缩下各能力为何不同步。
一项对 100 条推文的评估显示,TextBlob、VADER、Twitter-roBERTa-base 三种专用情感分析工具与 Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B 三个 LLM,和六名人类标注者的一致性都仅属一般。Twitter-roBERTa-base 与人类评分最契合,尤其在区分负面与非负面情感时领先;LLM 彼此一致性较高,在正面分类上表现更好。研究表明领域微调对可靠的情感分析仍不可或缺。
论文提出 Task-Progress Distillation(TPD),一种离线蒸馏方法,将演示动作与描述当前任务阶段的短标签配对来训练小型智能体。在 ALFWorld 上,1.7B 学生模型用 404 条演示达到 72.4% 平均未见任务成功率,推理训练学生为 48.3%;808 条演示时两种方式均达 76.9%。显式阶段标签在 200 条演示时将成功率从 48.0% 提升至 67.7%。
一项 arXiv 研究在 Qwen3-4B-Base 和 Llama-3.1-8B 两个模型、4,413 道多选题上检验 32 个跳层与重复层程序。结果显示,共享选项顺序时,输入盲对照产生 10.2-11.8 和 15.6-19.4 个百分点的 oracle 余量,超过真实程序的 9.0 和 10.1;轮换选项后余量大幅下降,但真实程序仍保有 1.4-2.3 和 3.7-4.5 点的正差。这表明可观余量可在共享选项顺序的提示间持续存在,却不构成所选层计算特定收益的证据。
一项发表于 LREC 2026 的研究评估了五个多语言 LLM 在爱沙尼亚语文档级文本简化上的表现,比较了单次生成、模块化 Agent 流水线和 guideline 增强流水线三种提示策略。结果显示 Gemini-2.0 和 LLaMA-3.3 输出接近母语流畅度且语义保持良好,其他模型则存在明显语法与语义缺陷。研究还提出了文档级连贯性指标并公开了相关资源。
一项 arXiv 研究基于认知负荷理论提出用推理 token 数作为无需读取思维链内容的低带宽监测信号。三个具备推理能力的大语言模型在 210 道选择题上分别被指示如实、虚假或不管真伪作答,结果显示真实作答消耗的推理 token 少于说谎与真伪无关作答。该结果证明提示的非真实响应策略会产生组级差异,是推理 token 数用于区分真实与非真实行为的初步概念验证。
研究者提出将投机解码建模为 Markov reward process,导出 Expected Decoding Rounds(EDR)训练目标,直接优化期望解码轮数,无辅助超参数,并给出精确的 temporal-difference 梯度和离线评估器。用 EDR 微调 DSpark 和 DFly 两个 drafter 后,平均接受长度持续提升,在覆盖数学推理、代码生成和对话的九个 benchmark 上优于现有训练目标。
论文发布 BehaviorTrace,一个开源评测框架,用于检验在线 RL(GRPO)微调中能否定位教会模型新行为的训练 rollout。在 Qwen2.5-1.5B 上跨三个 seed 的实验显示,仅按梯度大小排序的对照方法可达 4.2 至 4.5 倍随机水平,多数表观归因信号来自混淆因素;控制流畅度后,逐 rollout 结果随 seed 和生成采样波动。唯一在全部三个 seed 上成立的信号是触发 token 的梯度与行为实际发生处构建的目标对齐。
论文提出 CoTrace,一种 harness 感知的终端 Agent 训练数据配方,通过交替式 harness 搜索与策略训练的协同演化框架,管理轨迹路由、来源匹配和课程刷新。在 Tmax promotion split 上,CoTrace 使 Qwen3.5-9B 在 SFT 下从 78 提升到 88 个解决任务,在线 RL 变体达到 90;小规模 harness 匹配语料以更低算力取得稳定收益,Terminal-Bench 2.1 和 SWE-bench Lite 评测显示分布外迁移依赖训练与评测 runtime 的一致性。论文 32 页,预印本地址 https://arxiv.org/abs/2610.10426v1。
推荐理由:论文给出轨迹按 harness 匹配路由的数据配方,用对比数字说明小而匹配的语料胜过混合大语料,方法可迁移。
研究者提出 RunningTab 框架,为 LLM 智能体的直接工作区交互(DWI)增加环境侧标签页:由环境记录任务仍需满足的需求、每次读取文件的摘录及来源、以及已列出但未打开的候选文件,智能体可逐条对照解决需求,若带着未完成需求结束会触发 finish check。在三个 benchmark、三个 LLM 上的验证显示,RunningTab 持续优于纯 DWI 和将记录保存在模型内的基线。
研究者推出 PHRBench,一个在 4 个领域、覆盖 18 个大语言模型、共 4820 个受控实例的行为化幻觉后推理(PHR)评测基准。该基准用 Hallucination Compliance、Hallucination Avoidance 和 Heuristic Correction 三项指标独立刻画推理轨迹,与最终答案正确性解耦。结果显示成功纠错仍较罕见,且与推理过程中更频繁的信念更新相关;一个轻量预测器基于幻觉提示的属性可实现 0.847 的 AUROC。
一篇 arXiv 论文提出用陈述偏好经济学的有效性框架(内容、构念、效标有效性、可靠性、激励相容等)评测大语言模型。作者将 Vossler 等 2023 年发表的水质经济价值评估问卷施测于六个模型,以需求向下倾斜、支付意愿随商品范围和收入变化等经济学理论预测为检验。结果分化明显:两个较旧模型在 75,000 美元家庭收入水平上未通过最基本检验,两个最新模型通过全部理论有效性检验但在聚合有效性上出现分歧。
一篇 arXiv cs.CL 论文研究了检索指令如何在非对称检索任务中影响查询的嵌入向量表示。研究发现,当评测中加入查询侧干扰项时,当前嵌入模型常无法遵循检索指令,作者认为根源在训练与评测设置。实验显示,加入查询侧干扰项进行微调可带来显著提升,且对其他任务影响很小。
一项 arXiv 研究发现 VLA 模型对指令措辞极其敏感:π0.5 在 LIBERO 中对 "switch on the stove" 成功率 100%,改为 "switch on the hot plate" 仅 2%。研究者让大语言模型将训练任务措辞证据蒸馏为 10-20 条改写规则,部署时重写指令,使冻结的 π0 在 12 个 held-out 任务上相对提升 16-27%,并在 π0.5 + LIBERO 上将成功率从 93.6% 提至 97.8%。该方法无需重训练和逐步验证,可零样本应用于未见任务。
Hongru Cai 等人提出 EngramEdit,通过条件记忆架构(如 DeepSeek Engram)实现解耦的 LLM 事实知识更新,保持 Transformer 主干固定。方法先计算使模型在多种表达下都能预测更新事实的目标记忆表示,再联合更新共享 n-gram 嵌入,并对频繁复用的嵌入施加更强惩罚以保护无关知识。实验显示编辑成功率接近完美,更新后的知识可用于未见表达和多跳推理,CoT 提示下准确率接近最强基线的三倍,且无关知识与通用能力在事实更新累积时基本保持不变。论文地址 https://arxiv.org/abs/2610.10533v1
推荐理由:论文给出了一种在固定 Transformer 主干上编辑条件记忆事实知识的方法,CoT 场景准确率约为最强基线的三倍。
arXiv 论文 2610.10536 提出 Exploration-Distillation(ExpDis)框架,将 RLVR 中的探索与优化解耦:训练带新颖性奖励的 explorer 策略,过滤轨迹后蒸馏进独立的 student 策略,student 训练时不带新颖性奖励,并多轮交替进行。在七个数学推理基准和两个模型家族上,ExpDis 在相同 wall-clock 预算下超过 DAPO,且 pass@$k$ 扩展更佳,表明生成的正确解更多样。代码与 checkpoints 已开放。
推荐理由:论文提出把探索与优化解耦的 ExpDis 框架,在七个数学推理基准和两个模型家族上与 DAPO 对比,方法描述完整可复现。