循环神经网络在 100 个认知任务上的多任务交互研究
研究者在 100 个认知任务上同时训练分层 Almost-Linear RNN(AL-RNN),考察多任务间的迁移与干扰。结果显示性能随非线性容量与任务特征维度提升,分层联合模型优于单独训练模型和单一非结构化联合模型;许多任务单独可用线性动力学求解,却无法由共享线性模型共同求解。
新闻、仓库与研究,按时间排列。
研究者在 100 个认知任务上同时训练分层 Almost-Linear RNN(AL-RNN),考察多任务间的迁移与干扰。结果显示性能随非线性容量与任务特征维度提升,分层联合模型优于单独训练模型和单一非结构化联合模型;许多任务单独可用线性动力学求解,却无法由共享线性模型共同求解。
研究者提出在可训练权重平均(TWA)基础上,用 SVD 提取的 rank-one 权重主成分作为校正方向,并通过分布内分类目标学习其贡献,以改进 OOD 检测。在 ResNet50 上,该方法在使用 MSP 和 RankWeight 的多数据集评测中优于微调和标准 TWA,且无论是否使用 Outlier Exposure 均有效。基于 Mahalanobis 的评测结果好坏参半,分层分析显示校正靠近分类器层效果更佳。
论文提出 OS-Wizard,一个面向专用桌面软件的自动轨迹采集框架,结合教程引导探索与 GUI 和代码混合动作空间,并在树探索中检查点和回访关键状态。采集的 10.9K 条轨迹含 54.9K 个状态动作样本,微调开源 base 模型后在专用桌面工作流基准上提升 58.2 个百分点至 64.1%,超过报告的人类水平 59.8%;仅用 GUI 动作也能提升通用桌面任务表现。
推荐理由:论文给出了一条自动化采集专用软件操作轨迹的完整路径,含方法、数据规模和微调后的对比结果,可作同类工作的方法参考。
研究者提出反事实测试时增强(CTTA)方法,用辅助模型对输入生成改变捷径取值的反事实编辑,并对 LLM 预测加权平均,以在推理阶段去除模型对训练数据虚假相关性的依赖。论文证明最优捷径不变预测器属于 CTTA 家族,并据此开发出可在各方法间选择的 Select-CTTA。实验显示 Select-CTTA 优于测试时基线,性能接近在捷径平衡数据上微调的模型。
研究者构建了包含 11k 个争议话题和基于 Schwartz Value Survey 价值维度人设的数据集,通过 agentic pipeline 在对齐良好的商业 LLM 上以超过 47% 的成功率诱导出有害回应。研究以 UNESCO 全球公民原则作为区分正当价值表达与有害行为的底线,并提出可在推理时平衡人设遵循与安全性的可控对齐模型,在多数样本上比基线更安全且更贴合人设。该论文已被 EMNLP 2026 主会接收。
Forcebench 是一个开源基准,用真实的 Salesforce 工程任务评测 AI 模型,覆盖 Apex、governor limits、fflib、Lightning Web Components、Flow、SOQL、CI/CD 等 15 个套件。评分尽可能通过实际执行完成:部署到 scratch org 跑隐藏 Apex 测试和 Jest 测试、执行 SOQL 查询、对照 sf CLI manifest 验证命令。项目支持任何 OpenAI 兼容端点,代码采用 Apache-2.0 许可,任务与结果采用 CC BY 4.0,结果与排行榜见 forcebench.ai。
该仓库基于 RTHD 框架,用轻量探针分类器(Safe / AtRisk / Hallucinating)在解码过程中监测医疗 LLM 隐藏状态,实现幻觉早期检测与模拟干预。作者在 Kaggle 上用 4-bit 量化骨干完成了 4 组试点实验,各 20 条轨迹,分别组合 EndoDiag + Qwen3-8B、MedHallu + BioMistral-7B、MedQA + Mistral-7B-Instruct-v0.3、PubMedQA + Llama-3.1-8B-Instruct;四组 EDR@K 均为 100%,平均提前量 14.85–32.50 tokens,模拟幻觉降低 76.9%–100%。作者指出样本量小、标签由启发式生成、干预为模拟而非实时引导解码。
arXiv 论文 2610.33882 提出 Intervention-Certified Amplification(ICA),用于门控 σ 加权 SFT/RL 混合后训练。作者展示 DIAA 在锚数据中移除全部 Python fence 后仍在 MATH-500 上 29% 的 prompt 输出未执行的 TIR,为 vanilla GRPO 的三倍;ICA 将 TIR 降至 13.8%(冻结)和 11.2%(在线),准确率从 47.5% 提升至 48.7% 和 49.3%,并无需重调即可迁移到 GSM8K。论文共 13 页,发表于 EMNLP 2026 Findings。
论文提出 FlashScript,将成功的 Agent 运行编译为可复用的神经符号程序(NSP),动作与数据转换变代码、实例值变参数、需模型判断的决策保留为 LLM 调用。在 120 个 WorkBench 分析任务上配合 Claude Haiku 4.5,NSP 每次运行做出相同工具调用,输入 token 约为 skill 引导 Agent 的 1/70、运行时间约 1/3;复合任务中 skill 引导 Agent 准确率降至 23%,NSP 保持正确,并成功泛化到 108 个未见过实例。
推荐理由:论文把成功的 Agent 运行轨迹编译成可复用的神经符号程序,给出 token 用量与运行一致性的量化对比。
研究者提出经验合成框架 ReGE,其实现 ReGE-Syn 用单次 coach 调用将执行记录与产物合成为引导,供学生智能体在相同基座模型、无参数更新下执行。在四个 benchmark 上,GPT 平均提升 9.9 个百分点、Claude 提升 8.8 个百分点。相比改编的 AggAgent,ReGE-Syn 在 BrowseComp-Plus 匹配子集上构建引导的 token 消耗减少 98.2%(GPT)和 95.5%(Claude)。
Numina Fuse 是一个用于 Lean 4 数学形式化的智能体原生应用,围绕人类对智能体工作的监督设计,用户可通过蓝图、依赖图和 Lean 代码视图协作并让后端运行智能体数小时。它在 2026 年从固定人工节奏的流水线演化为自主调度专家、证明器和并行子任务的 orchestrator。Fuse 已用于三维 Kakeya 猜想的形式化,开源本地版本 Fuse Desktop 已可用。
作者发表论文 arXiv:2610.33849,指出查询时 RAG 投毒防御的高检出率主要由毒集构造线索预测而非内容本身,删除问题前缀即可让 RAGuard 的 AUROC 从 0.953 降到 0.758、漏检率从 0.191 升到 0.763。用词序打乱的填充文本补齐长度后,TrustRAG 集级阶段漏检率从 0.000 升至 0.827,作者的 12 项已发表防御评测中 8 项可验证使用了此类毒集,12 项未报告部署阈值处的误报率;作者发布了计算构造画像的脚本,并声明不主张任何防御方案。
论文提出 AutoTavern,一个由专业化 LLM 研究智能体组成的自改进系统,在 20 天内构建了炉石酒馆战棋的完整模拟器 TavernGym 和 23 个版本的 TavernAgent。TavernAgent 在天梯上自行完成对局,评分从 6,000 升至约 15,000,最近 20 场平均名次 1.60、80% 第一名,各项统计优于服务器前十玩家(2.34、59%);配套 TavernBench 含 40 个场景共 960 个任务,TavernAgent 答对 91% 对局任务而前沿 LLM 至多 63%,0.03 秒内决策且实时回合内保持 90%。TavernBench 和 TavernGym 将开源。
推荐理由:论文用实测数据展示了自改进 LLM 智能体建系统的能力强于其直接对局能力,结论对 Agent 研究方向有参考价值。
一项 arXiv 预印本研究提出通过保留冲突的反事实干预来评估视觉语言模型(VLM)的模态指向控制,用 Flip 和 Stay 两个指标衡量答案是否跟随对指定模态的编辑。方法上构建新词学习,仅训练新增的视觉与文本指向词嵌入并冻结预训练模型,并引入 Counterfactual Twin-Margin(CTM)反事实监督。在三个 VLM、三个现有基准及自建 Ground-CF 基准上,学习到的模态词优于自然语言指令,LoRA 整体最强,反事实监督在多个设置中提升控制效果。
EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型,训练全程不使用真实患者文本,由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1,99% 的笔记无遗漏标识符,而八个现成系统中最强者仅为 0.857 和 12%;量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48,三个手写上下文示例可回升 0.08 F1。
EEGBiFormer 是一种混合 CNN-Transformer 模型,可对 16 通道 EEG 信号进行专注/非专注状态的实时二分类,在 17 次独立会话中实现 91.3% 窗口级验证准确率、F1 94.5%,端到端延迟低于 100 ms。基于模型对听觉刺激排序生成的 EEG 个性化音频方案,在 37 人被试内对照实验中使综合注意力得分较静默对照显著提升 20%。
一项硬件-软件协同设计方法利用 systolic array 累加器中时序稳健位范围随电压-频率工作点变化的特性,提出累加感知训练,结合混合精度量化与非结构化剪枝,辅以 MSB 掩蔽、细粒度时钟门控和逐层动态频率缩放。在 2nm 工艺节点的低电压前沿运行时,该后布局架构相对标称电压实现节能 39%、energy-delay product 提升 23%,精度损失保持在 1% 以内。论文已被 ICCAD '26 接收。
多变量预测的核心难题是在通道间共享与特化之间权衡。研究通过 11 个数据集、3 个骨干网络的受控对比表明,信息性通道分配优于匹配的共享容量和随机分配,冻结 transformer 骨干上的持久通道混合平均优于输入依赖路由。作者还提出合成数据集 GalaxyTS 与即插即用方法 PCR,PCR-K4 在四个预测跨度上相对三个冻结骨干实现 3.86-14.25% 的均方误差降低,且所需可训练参数更少。
研究者提出 EnvLunch,一种无需人工标注的预热训练方法,让语言模型智能体在执行环境中采样有效动作轨迹,再仅凭最终观测恢复功能等价的轨迹。该方法使模型在下游强化学习各训练预算下平均超过基线 9 分以上,基线需 8 到 32 倍的标注样本才能匹敌其最小预算的准确率。
一项 XLand-MiniGrid 审计研究发现,LSTM 智能体对无记忆 MLP 的 25 个百分点优势,大部分来自知道时间步——回合在固定上限截断且奖励随时间衰减。分离训练 seed、地图与评估噪声的 60 次运行显示,"任务习得"二值判定中 76% 是评估噪声,检测 10 点差距需约 10 个配对 seed。给无记忆基线提供时间步后差距缩至 3.3 点内,作者已发布协议、工具与全部 checkpoint。
arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对(Ettin)在三种任务格式上对比 LoRA 与全量微调做提示词安全分类,每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp,编码器上学习率经同一搜索后差距消失;让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B,但在三个分布外语料中两个落后,对抗性越狱场景落后 8-23 pp,且把 27-66% 良性但形似有害的提示词误判为不安全,而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标,域内准确率不足以衡量鲁棒性。
LLMCL 项目记录少数据多模态持续学习与紧凑模型研究:基于 Qwen2-VL-2B-Instruct 与 LLaVA-OneVision-Qwen2-0.5B-OV 双骨干、1313 条训练数据与 21454 条测试,正式完成 8/16 组核验,唯一指标为 Answer F1。最新 FFN 真实删除对照使完整权重减少 199.5MiB(11.704%),但 DEV 宏 F1 从 43.791987 降至 19.620168,该构造已关闭;尚无权重更小且保留强参照质量的自研框架。
作者发布 Hive 仓库,一套本地优先的语言模型记忆、验证与路由栈,含 Splinter Memory 长对话记忆系统、The Hive Cascade 求解检测修复升级循环,以及评测套件 HiveBench,论文与实现可复现。状态页显示 35B 与 27B 档位已实测,176B 档生成净零收益,漂移基准无效正在重建;栈不绑定引擎,以角色槽适配 llama.cpp 等后端,MIT 协议开源,仓库地址 https://github.com/sky-is-green/hive 。
推荐理由:作者把记忆系统、无答案键的验证修复循环和评测套件合成一套本地栈,并公布了各档位的实测与失效数据。
prathamkashyap 在 GitHub 开源 fact-knowledge-layer,一个完全离线、确定性的跨文档事实提取与认识论推理引擎,原为 VIT 2026 实习作业开发。流水线用 PyMuPDF 解析多页 PDF,提取带逐字证据(文档 ID、页码、原句)的结构化事实,归一化后由规则推理器将事实对分类为 CORROBORATES、RECONCILABLE、CONTRADICTS 等 5 种关系。项目通过 FastAPI 提供零构建的 Fact Explorer UI,回归测试当前 444 个通过,并提供可接入外部模型的 LLMProvider 抽象接口。
研究者提出 Rectified Language Flow(ReLF),一种用整流流将噪声传输到 token 嵌入的语言模型,结合 Hellinger-SVD 固定 token 嵌入、交叉熵训练的 self-conditioning 引导与正则化 reflow。在 OpenWebText 上 64 次函数评估时,ReLF 在三种模型规模下均以相同多样性取得低于自回归基线的生成困惑度。经两轮 reflow 后,16 次函数评估仍优于自回归基线,batch size 1 下生成 1,024-token 序列快 15-19 倍。
研究者推出 IntentDelta,一个人工构建的多轮对话基准,涵盖 WebShop 和 TravelPlanner 上 638 条轨迹、3,766 轮交互,每轮配对用户话语、累积意图状态与人工参考动作。评测显示 11 个智能体平均 Intention Recovery 在 TravelPlanner 为 33.1%、WebShop 为 44.7%,平均 Action Score 分别为 31.6% 和 41.0%。智能体难以保留早期需求、区分软偏好与硬性约束,且意图恢复正确也不保证执行成功。
研究者推出 DynaReason-Pro,首个从蛋白质构象系综联合预测 GO 功能词条并生成自然语言功能解释的框架,针对固有無序蛋白(IDP)的动态特性。该框架在来自 Protein Ensemble Database(PED)的 IDP 基准上评测,采用序列与结构簇互斥的数据划分防止数据泄漏,分层评估显示在高构象变异区间增益最明显。
ProMo3D 论文提出基于探测的运动蒸馏方法(PMD),发现冻结的 3D 基础模型 token 中已编码可解码的运动相关信息。PMD 将相对固定锚点 token 的成对运动状态兼容性分数转化为密集运动掩码,仅用 160 段 YouTube-VOS 视频和单张 16 GB GPU 训练。该方法零样本迁移至 DAVIS、SegTrackv2 和 FBMS-59,优于免训练启发式方法,接近更重的监督与自监督方法。该论文已被 NeurIPS 2026 主会接收。
一篇 arXiv 论文回答“是否不必再向语言模型注入 UMLS 知识”这一问题:也许还没有。研究综述了现有医疗问答(MQA)工作,指出 UMLS 覆盖率低、子图检索流程薄弱等此前未被讨论的方法学问题,并说明 UMLS 图注入目前仅带来有限性能提升。作者据此提出可行建议,以释放 UMLS 作为外部知识源的潜力。
研究者提出 MTA-Zero,一个无需预计算多跳语料的在线多模态 QA-Solver 共训练框架,用 GRPO 独立优化 QA Generator 与深度搜索 Solver。在六个多模态深度搜索 benchmark 上,该框架将 Qwen3-VL-8B Solver 的平均准确率从 36.91% 提升至 51.58%,与相同 agent 工作流下的 GPT-5 表现相当,并使 Qwen3.6-27B Solver 提升 10.82 分。
该 arXiv 论文提出在推理时让冻结双编码器利用同一图像的多条描述提升文本到图像检索:当描述与查询来自相同标注者时,九个冻结编码器的 R@1 提升 3.4 至 16.8 点;改用现成 captioner 生成时降至 1.9 至 7.2 点,跨标注源时最多约 1 点。分析表明正确候选的支持方式与负例不同,且该增益源于匹配人类描述,并未改善图像-文本 grounding。
Scan2Instruction 将一段 iPhone 扫描编译为完整训练环境,自动合成带接地指令的可执行导航片段,PRPT-KS 则通过从重建场景直接读取的闭式 Pareto 效用适配策略,无需学习 critic 和人工标注。在五个真实环境中,RealNav 真机成功率达 85%,高于用人工示教后训练基线的 49%;在同建筑未扫描区域仍达 82%,基线为 41%。
研究者提出 SPAFT 框架,通过结构化剪枝结合自适应微调,将 PPG 基础模型适配到可穿戴设备等真实场景的目标预测任务。该框架基于参数重要性和结构冗余,把微调约束到更相关、更紧凑的参数空间。在 4 个 PPG 基础模型、5 个基准数据集和 10 个下游任务上,SPAFT 在回归和分类任务中分别取得 82.8% 和 87.5% 的胜率,常能达到 SOTA 性能。
研究者提出 RoboReason 方法,用真实机器人立体相机与腕部相机的时空排序任务评测 VLM 视觉推理,发现多个 SOTA 模型在帧排序、深度排序和左右排序任务上表现不佳。团队设计了可扩展的自主训练数据生成流水线,对该数据做监督微调和强化学习,显著提升了模型在时空排序任务及下游机器人与视觉推理任务上的表现。
InfiniteWorld 是一个物理推理基准,通过模拟器视频系统性改变物理参数来生成配对问题,涵盖定律识别、参数估计、时序推理、反事实比较和定律归纳五项任务。对多款视频-语言模型的评测显示,模型普遍偏好熟悉物理规律,即使在观测物理改变时仍常给出 Earth-normal 答案;视频帧能提升多数模型表现,但增益因任务而异。
这篇 arXiv 综述提出 System 1 决策模型分类法,将单次前向传播即可输出结构化决策的模型分为编码器分类器、奖励模型、非自回归决策引擎、对比决策模型和抽取模型五族。文章阐述 proper scoring rules 校准理论、RLCD(用于校准决策的强化学习)及 IIA 违反等现象,并介绍其在智能体工作流与 System 1 + System 2 级联中的部署。全文覆盖 18 个应用领域、190 篇参考文献,并附可运行代码、开源模型 zoo 与 22 道自测题。
TriageRAG 是一种失败感知自训练方法,对 LLM 自生成的问答对按学生模型表现分为 known、solved、context-failure、retrieval-failure 四类并分别路由训练信号。在 11 个数据集(Qwen3-4B)及 CS-Bench(Qwen3-8B)上,其性能超过预算相同的 SimRAG 1.2-6.4 个点,且是唯一能在检索反而损害基座模型的每个场景中恢复闭卷水平的方法。
研究者提出 FNO-MoE,一种带专家混合的 Fourier neural operator,单次调用即可预测近显式机制(如 Master Chemical Mechanism)在 30 分钟内的完整化学状态。该网络利用专家间分歧主动选取最有信息量的 box-model 模拟来指导自身训练,精度优于随机或均匀采样,经长轨迹微调后可在多小时运行中保持稳定。模拟器高保真复现数千个物种的演化,对未见化学组成仍准确,且比数值求解器快多个数量级。
一项 arXiv 研究提出在 GNN 求解双曲 PDE 时将输运尺度显式编码为边局部的 CFL 信号。在固定架构、仅改变边信息形式的条件下,当边表示已暴露方向与波速等输运交互时,CFL 条件化将末步误差降低 10.4-14.4%,且步长越大提升越明显;改进源于抑制激波附近的振荡而非平滑解。
研究者提出新指标 RelPPR(相对峰突率),利用人类文本信息流平稳、机器生成文本呈局部熵波动的结构差异,在源模型未知的黑盒场景下检测 LLM 生成文本。现有双模型与重采样检测器在指令条件下会失效,RelPPR 在多模型家族和数据集评测中达到 SOTA 黑盒检测性能,代码已开源。