SWE-Critix：面向编程智能体轨迹评估的后训练通用验证器
SWE-Critix 是一个用于训练编程智能体轨迹通用验证器的后训练 pipeline，结合 SFT 与 RL，基于 CodeForge-Preview 轨迹训练了 30B 模型，可预测任务完成标签并生成自然语言分析。在留出测试集上，分类准确率从基座 Qwen3-30B-A3B 的 57% 提升至 SFT 后的 66%、RL 后的 78%。模型、数据集与训练代码均已开源发布。
#论文/研究
新闻、仓库与研究，按时间排列。
arXiv · cs.AIAI 评分4646 arXiv · cs.AIAI 评分4545 AlphaNIST：二值任务奖励下涌现的机器人装配技能
一篇 arXiv 论文提出 AlphaNIST，仅用稀疏二值任务奖励，在仿真中从零训练单一策略完成 NIST Assembly Task Board #1 上全部 20 个装配任务，训练总成功率达 98.2%，无需示教、进度奖励塑形、脚本化原语或逐任务调参。该框架还能在一个回合内以任意顺序完成十对装配。学到的策略涌现出灵巧操作与类规划行为，如为后续装配选择抓取、利用环境几何重定向零件等。
arXiv · cs.CL精选AI 评分5252 T²Mem 提出测试时记忆构建框架，降低长对话记忆开销
论文提出 T²Mem，一种将记忆构建推迟到推理阶段的测试时记忆构建框架，离线只提取轻量级片段元数据作为检索线索，并在推理时随推理进程自适应组织查询相关记忆。在 LoCoMo 和 LongMemEval 上，T²Mem 跨多个骨干 LLM 持续优于强基线，同时大幅降低记忆构建开销。代码已开源。
推荐理由：论文把记忆构建推迟到推理阶段，在 LoCoMo 和 LongMemEval 上的对比数据可帮助读者评估这一思路的收益与开销。
arXiv · cs.CLAI 评分2121 扩散与自回归模型中文生图 Transformer 中 Attention Sink 现象的探索研究
一项 arXiv 研究系统考察了文生图 Transformer 中的 attention sink 现象，发现其在双向扩散模型和自回归模型中均存在但模式不同：自回归模型将注意力集中在首位和全局 token 上，双向模型则在模态边界、文本区域和空间角落附近形成 sink。扰动 sink 相关的注意力头比非 sink 头引起更大的生成变化；引入 register token 重分布注意力后，部分配置能保持或小幅提升生成性能。
arXiv · cs.AIAI 评分3535 ChemDiffAgent：首个面向工具集成化学推理的掩码扩散语言智能体
研究者提出 ChemDiffAgent，首个用于工具集成化学推理的掩码扩散语言智能体，将化学推理重构为对推理与工具使用交织轨迹的迭代去噪。其两阶段后训练框架包含智能体监督微调和方差缩减偏好优化，并构建了覆盖六项化学任务的单轮与多轮工具使用基准。在同等预算下整体性能较自回归智能体提升约 20%，8B 模型可媲美甚至在部分场景超越 GPT 5.5 和 Claude Opus 4.7 等更大规模的前沿模型。
arXiv · cs.CL精选AI 评分5353 GraphTok论文提出GPU tokenizer，加速Agent负载下的LLM服务tokenization
论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。
推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。
arXiv · cs.CLAI 评分4646 面向 LLM 预训练数据的 Host 感知网页爬取研究
一项 arXiv 研究探讨爬虫应如何在 host 之间及内部分配预算以获取更高质量 LLM 预训练数据。分析显示约一半的文档质量分类器得分差异出现在 host 之间；先采样少量页面再对高分 host 深入抓取，比均匀深度或基于 centrality 的分配每次抓取多获得数倍高质量页面。估计每次 Common Crawl 抓取中仍有数千万高质量页面未被爬取，且集中在少数 host 上。
arXiv · cs.AIAI 评分4242 一致却不“对齐”：无标签的评分标准澄清提升了 LLM Judge 之间的共识，但未提升与人类的一致性
一项 arXiv 研究提出一种无标签方法：将 LLM Judge 的评分标准分解为子标准，按评委间分歧排序并由编辑模型改写最具争议的条款。实验涉及 3 家厂商的 5 个评委、共 129,770 次请求，覆盖 SummEval、HealthBench 和 USR Topical-Chat；SummEval 上评委间 Krippendorff's α 提升 0.069（95% CI 0.046–0.092），但与专家评分的一致性无显著变化（Kendall τ 差异 -0.007），HealthBench 和 USR 未达预注册效应标准。作者将发布代码、冻结评分标准与评委分数。
arXiv · cs.AIAI 评分4848 PRIME：面向结构化文档检索的检索前索引建模增强框架
研究者提出检索前索引建模增强框架 PRIME，针对现有 IR 研究偏重查询侧优化、索引侧被忽视的问题，包含 LLM 驱动的语义重构（SR）与确定性的元数据合成（MS）加分层检索（HR）两条路线。确定性元数据在匹配结构感知分块检索质量的同时，将 embedding 计算减少 45.8 倍、索引向量数量减少 22.4 倍；SR 在完整部署下进一步提升 Answer-F1 达 13.7%。在 QASPER、BRIGHT、NFCorpus 上的评测显示索引侧优化可能增益或损害检索，且这些效应在强 reranker 下被中和。
arXiv · cs.CLAI 评分4242 提示词优化器会破坏未被评分的要求吗？一项预注册研究
一项预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 和 TextGrad，发现三者都会违反未被评分的要求，如 HotpotQA 上引用有效性净回归达 10.7 至 41.6 个百分点。事后分析显示，主要原因是优化后的提示词在要求的 JSON 对象前输出推理，在 200-token 输出上限下 13.9% 至 47.0% 的响应在给出答案前被截断。将上限提高到 1,024-token 后提取失败消失，内容回归低于 1 个百分点。
arXiv · cs.AIAI 评分4141 BoundaryEvo：面向长链推理蒸馏的能力边界数据-模型协同演化框架
BoundaryEvo 提出一种两阶段数据-模型协同演化框架，用于从大模型蒸馏长链推理能力：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹，再在 Capability-Boundary Co-Evolution 中持续选取学生未掌握但专家可解的题目并随学生能力演化更新训练数据。仅用 1,000 条训练样本，BoundaryEvo 在 11 个推理 benchmark 上超越静态和动态数据选择基线，将 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码与数据将开源。
arXiv · cs.CL精选AI 评分5555 arXiv 论文提出从 token 级证据检索记忆的方法
Han Luo 在 arXiv 发表论文，提出用同一嵌入模型已计算的上下文 token 表示做稀疏匹配来检索记忆，无需额外训练即可在八个基准上提升检索效果。可选的低秩查询适配器在 Qwen3-Embedding-4B 上将平均 Recall@10 和 NDCG@10 分别再提升 13.3 和 14.3 个百分点，检索增益转化为长期记忆基准上更高的问答准确率。
推荐理由：论文给出无需重训即可提升记忆检索的 token 级匹配方法，并附八个基准的量化收益，可作长期记忆方案的参考。
arXiv · cs.AIAI 评分2323 Agent4Spec：基于 LLM 的多智能体系统，通过自动验证与市场分析优化 API 规范
研究者提出 Agent4Spec，一个自主多智能体框架，包含检测并自动修正 OpenAPI 语法错误的验证管线，以及对标行业领先者、发现功能缺口并自动补全缺失功能的market 分析管线。在两个涵盖通用与工业场景的数据集上，9 个 SOTA LLM 中表现最佳者实现 100% 语法错误检测率、超过 95% 的修正实现成功率，且建议的端点改进采纳率超过 50%。该论文已被 FLLM 主赛道接收。
arXiv · cs.AIAI 评分4040 DREAM：面向被投毒 LLM 智能体的神经启发记忆修复机制
研究者提出免训练的智能体内记忆修复框架 DREAM，通过扰动诱导隐式重激活、多维激活模式异常诊断和动态记忆修复三阶段流程，对被投毒记忆实现选择性功能遗忘。实验显示，DREAM 将后门投毒的攻击成功率降低超 95%，相比 A-MemGuard 实现最高 2.13× 加速和 37.7% 的 token 消耗降低，并在被投毒的多智能体系统上达到 92.96% 的任务成功率。
arXiv · cs.CLAI 评分4848 CAST：面向跨 Tokenizer 在策略蒸馏的信用对齐方法
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
arXiv · cs.AIAI 评分3535 研究表明表格基础模型实际上是“浅层”的
arXiv 一项研究提出闭式、无标签的仿射翻译器，可将表格基础模型（TFM）最多 96% 的 Transformer 块替换掉，揭示其严重过参数化。在 171 个分类数据集上评测八个前沿 TFM，替换一半的块最多仅损失中位 0.002 AUROC。移除深度最多省 1.5B 参数、GPU 推理提速 6 倍、中位仅损失 0.03 AUROC，单块 TabPFN-3 缓存查询快 2.4 倍、内存省 6 倍。
arXiv · cs.CLAI 评分4545 Vision Transformer 仅凭图像就能学会词义
研究发现 DINOv3-H 和 DINOv3-7B 这两个视觉 Transformer 仅靠图像自监督预训练、无任何文本配对或标签监督，就能组织出词义结构。研究者通过词图像与匹配对照的嵌入差分分析发现，同行业品牌名、同语义域名词各自聚集，国家-首都词对呈现一致向量偏移，且与文本、语音编码器的表示结构相互对齐。这是已知首批展现出渲染文字语义结构的自监督视觉模型。
arXiv · cs.CLAI 评分3636 音频语言模型评审生成音乐时究竟在听什么？基于专家评分的四项对照探针分析
一项 arXiv 研究提出四项探针方法，检验开源音频语言模型作为生成音乐评委时评分究竟取决于音乐、文本提示词还是提问方式。在 MusicEval 全部 2,748 个片段及 SongEval 上的实验显示：无音频时没有任何评委超过仅凭提示词的预测，四个较小评委的成对评审跟随片段位置而非质量，改写指令对多数评委相关性的影响堪比更换评委。作者建议音乐评委报告全部四项探针结果。
arXiv · cs.AIAI 评分2424 AMR 解析器输出有多可靠？AMR 解析的不确定性估计研究
AMR 解析器性能虽已大幅提升，但何时可信任其输出仍缺乏研究。该工作首次在黑盒设定下，利用 top-k beam-search 候选的成对相似度进行不确定性估计，并用 Prediction Rejection Ratio 评估。实验分析了性能与不确定性的关系、beam 候选分布的可靠性及评测指标的影响，并找出性能与可靠性平衡最佳的解析器。
arXiv · cs.AIAI 评分3030 ReSFlow：在统计流形上校正类别流，实现一步生成
研究者提出 ReSFlow（Rectified Statistical Flow）模型，借鉴 Rectified Flow 的“直且快”特性，在统计流形上显式学习测地线轨迹，实现离散数据的一步类别生成，降低多步数值积分的推理开销。理论证明校正后轨迹逼近测地线，在图像、文本和生物等生成任务上展现出更优的一步生成质量，代码已开源。
arXiv · cs.AIAI 评分4141 AFCE：面向 Vision-Language-Action 模型的未来物理效果预测学习
研究者提出 Action–Future Coupled Effect Learning（AFCE），让 VLA 策略以未来物理效果（Effect）而非动作本身作为主要预测目标。在 DexJoCo 上 AFCE 整体成功率达 50.97%，比 π0.5 和 UVT 分别高 11.82 和 15.21 个百分点，并在全部五个双臂任务中领先，且单臂与双臂任务可共享同一 Effect 模型。
arXiv · cs.CLAI 评分2323 SharP：基于软硬提示引导的 LLM 数据增强方法用于低资源假新闻检测
研究者提出 SharP，一个由软提示与硬提示共同引导的边界感知文本生成框架，利用 LLM 为低资源假新闻检测生成任务相关的合成样本。硬提示提供结构化引导与事实约束，软提示引入从数据学到的语义模式，并结合边界感知策略与语义对齐、分类器反馈的双目标优化，将生成引向分类器不确信的区域。该方法在仅有少量标注数据的场景下提升了检测模型的鲁棒性与泛化能力。
arXiv · cs.CLAI 评分3939 S$^3$R：基于自稀疏投机解码的快速且忠实的 RL rollout 方法
研究者提出 S$^3$R（Self-Sparse Speculative Rollouts），用稀疏注意力起草 token、全注意力验证与精确投机采样生成响应，响应组保持稠密策略分布，无需单独训练 drafter。在长上下文数学推理任务上，S$^3$R 在 Qwen3 模型上实现 1.39x~1.35x 的端到端训练吞吐提升，任务性能相当，并在消融实验中保持训练稳定。
arXiv · cs.AIAI 评分3737 冻结循环网络能否替代可学习记忆？部分可观测 RL 中的循环网络研究
一项 arXiv 研究基于 Reservoir Computing 与 Generalized Reservoir Computing 理论，用冻结循环网络加可训练非线性输出模块求解 POMDP。结果显示，冻结循环网络可支持数百步的记忆回溯，在多样任务中取得有竞争力的控制性能，可训练参数不到完全可训练对应架构的一半。这表明学习循环记忆模块并非总是必要，冻结循环网络是部分可观测 RL 简单且参数高效的强基线。
arXiv · cs.AIAI 评分4141 JANUS：用协同进化的世界模型增强长时程自主研究
JANUS 是一个长时程自主研究框架，通过协同进化的世界模型驱动 Predict-Verify-Evolve 循环，在执行前预测候选方案的价值增益、信息增益与探索效用，从而选择、优化或剪枝分支。反馈后经验被蒸馏为研究智能体技能、世界模型探索策略技能及协调协议，实现持续共同进化。在 MLS-Bench-Lite 和真实研究任务上的评估显示，JANUS 在进化效率和上限上均显著超越 SOTA 基线。
arXiv · cs.AIAI 评分3232 AdaC-GRPO：用自适应课程学习攻克长程视觉数独推理
研究者提出自适应课程学习方法 AdaC-GRPO，并发布细粒度基准 FG-Sudoku，用于训练模型完成需要多步演绎推理的视觉数独任务。前沿 MLLM 在 9*9 这类长程依赖谜题上几乎全部失败，导致标准 RLVR 因奖励稀疏而停滞。AdaC-GRPO 通过在线 rollout 准确率追踪模型"最近发展区"动态构建训练批次，使 Qwen2.5-VL-7B 接近 Gemini-2.5-Flash 的表现，并弥补与 Gemini-2.5-Pro 62.2% 的准确率差距，方法在 InternVL-3.5 和 Qwen3-VL 上也得到验证。
arXiv · cs.AIAI 评分3030 RoleWorld：用功能角色抽象实现世界建模中的知识迁移
研究者提出 RoleWorld，一种符号世界建模方法，用可复用的角色原型和环境特定参数值作为功能角色抽象来表示物体在交互中的行为。teacher LLM 从交互轨迹中提取角色原型和可执行转移规则，并生成指导 actor LLM 决策的技能；在目标环境中无需 teacher，即可通过交互在线修正角色分配与参数估计，且不更新 LLM 参数。在 MARS benchmark 上的实验显示，RoleWorld 能在物体行为显著变化的环境间实现稳健泛化。
arXiv · cs.CLAI 评分3939 PreSTO：预测式子树预取加速 LLM Power Sampling
PreSTO 是一种预测式子树预取方法，通过批量预取未来 Metropolis–Hastings 提案来加速 PowerMH 采样器，且不改变其 MH 转移核。在 7 个数据集和 5 个基础 LLM 上，PreSTO 对 PowerMH、EntropyCut 和 MultiTryMH 分别取得中位 1.71×、1.91× 和 2.33× 加速，模型调用次数中位减少 3.9×，每次调用时长仅增至 2.1×。在 LCB V6 与 Qwen3.5-9B 上，预测式遍历规则比默认广度优先遍历再快 1.25×–1.37×。
arXiv · cs.CLAI 评分4848 TerminalHorizon：面向长程终端智能的 Agent 数据合成引擎
研究者推出 TerminalHorizon，一个全自动长程终端 Agent 数据合成引擎，从真实职业工作出发识别被环境合成预先完成的关键工作，并在同一目标下渐进扩展任务。基于该引擎构建 1.5K 任务环境，对 Qwen3.5-27B 做监督微调得到 TerminalHorizon-27B，在覆盖 coding-agent、真实生产环境 Agent 任务和通用推理的全部 12 个基准上取得显著提升。多组各给予 12 小时研究预算的 RSI 案例进一步验证了模型基于反馈持续实验并在最终交付中保留有效改进的能力。
arXiv · cs.CLAI 评分2525 SOAR：面向搜索智能体的源感知强化学习与精确信用分配方法
研究者提出 SOAR（SOurce-Aware Reinforcement learning），通过 Source-Aware Workflow 将推理拆分为外部信息与内部知识两条可观测流，并用 Source-Consistent Reward 引导策略演进，解决搜索智能体绕过外部检索、编造答案的问题。在 3B 和 7B 底座上，SOAR 分别超过基线 7.3% 和 5.4%，证据捏造减少 74.8%，提升了知识密集型基准上的表现与推理的可靠性。
arXiv · cs.AIAI 评分4646 TQS：面向编码智能体 SFT 数据筛选的结构化轨迹质量评分框架
TQS（Trajectory Quality Score）是一种针对编码智能体轨迹的结构化评分框架，直接作用于轨迹结构，无需 LLM judge，且可线性时间运行，从信息聚焦、意图-动作对齐和策略动态三方面刻画轨迹质量。基于公开语料库中 155,144 条成功轨迹按 TQS 排序并筛选子集微调，模型在 SWE-Bench-Verified 上持续优于随机或低分轨迹训练的模型。
arXiv · cs.AIAI 评分2424 VIGOR：场景程序中可验证的工业几何优化与修复
arXiv 论文提出 VIGOR，针对 LLM 生成的工业场景程序「可执行但不满足工程约束」的鸿沟，结合监督微调、基于执行的验证与分阶段几何修复。该工作构建了含 1,749 个可构建场景、每场景 94 项最终状态几何检查的数据集。VIGOR 达到 96.86% Complete Feasibility，Overall 得分 91.20，超最强基线 10.42 分。
arXiv · cs.AIAI 评分3535 面向 LLM 多智能体系统的能力感知编排方法
一项 arXiv 研究提出两阶段能力感知框架，自动编排 LLM 多智能体系统协作，根据 backbone 对当前 query 的能力动态调整角色激活与通信图。该方法在六个 benchmark 上平均得分 93.81%；对高能力 backbone 将平均准确率从 87.22 提升至 89.97，同时降低 36.26% 的 token 成本；对低能力 backbone 较现有方法平均再提升 4.58 分，且趋势在未见过的 backbone 上同样成立。
arXiv · cs.CLAI 评分2828 Neurograf v1：面向罗马尼亚语的首个端到端语言模型家族
研究者推出 Neurograf v1，一套从零训练的罗马尼亚语优先端到端语言模型管线，含 635 GB 语料 RoSfera（1.757 亿文档）、80k byte-level BPE 分词器、160M 至 6B 参数的五个 decoder-only 模型（共训练 131 billion tokens）、三个指令微调助手和两个对比训练嵌入模型。在 1,000 题 WWTBM 基准上，Neurograf-6B 在罗马尼亚语语境问题达 69.89% 准确率，Neurograf-3.2B 达 67.38%。该模型家族定位为实验性演示而非生产系统。
arXiv · cs.AIAI 评分3030 DP-MIND：面向百万 token 长上下文的差分隐私记忆引导推理框架
DP-MIND 是一个记忆引导框架，将差分隐私（DP）推理扩展到百万 token 级长上下文。该方法对输入进行本地扰动后逐块处理，用紧凑记忆跨序列保留任务相关信息，并通过强化学习在扰动输入上直接优化记忆构建策略，还借助本地去噪模块恢复被噪声破坏的答案片段而不暴露原始上下文。在多个长上下文 benchmark 上，DP-MIND 在可扩展性和效用上均优于现有 DP 及长上下文推理基线。
arXiv · cs.AIAI 评分1212 Foresight：面向路网轨迹的前瞻式生成建模
研究者提出面向路网轨迹生成的新范式 Anticipatory Generative Modeling 及其模型 Foresight。现有扩散模型等方法模拟位置序列，难以处理路口转向选择，甚至生成偏离路网的轨迹；Foresight 通过“预判—选择—更新—再预判”的概率循环，结合对通往目的地未来路径的前瞻来完成转向选择。实验显示 Foresight 胜过 SOTA 基线。
arXiv · cs.AI精选AI 评分5353 KnowForge 提出角色分工的多模态文档问答智能体流水线
KnowForge 论文提出按职能分工的文档问答流水线，包含知识点索引、只能检索的 Locator、桥接判断器、只能读文本图像表格的 Deep Reader 和格式检查合成器。自托管 Qwen3.6-35B-A3B 在 M3DocVQA 上达 F1 47.5，比 M3DocRAG 高 11.0，DeepSeek-V4-Flash 达 53.5；MultiHop-RAG 准确率 73.5，超过已发表最强 RAG 与 GraphRAG 的 71.2。消融显示把两个智能体合并反而损失 1.9 F1，论文开源了提示词、代码和三个基准的只读知识库。
推荐理由：论文用消融实验拆解各智能体角色的贡献，还验证了合并多角色反而掉分，方法可迁移到其他 RAG 流水线设计。
arXiv · cs.CLAI 评分2121 BenCoDiC：面向孟加拉语政治新闻语境的大规模网络欺凌语料库
研究者发布 BenCoDiC 语料库，包含从 100 个 YouTube 视频及其讨论中收集的 50,250 条孟加拉语政治新闻语境文本，公开可用。语料保留“标题—评论—回复”关系，采用九维星型模式组织，并经两层人工标注加专家核验，Fleiss' κ 与 Krippendorff's α 均为 0.86。Transformer 实验显示，加入对话上下文相比孤立文本分类带来小幅但一致的提升。
arXiv · cs.CLAI 评分2222 从 210 万小时广播音频构建芬兰语语音 SSL 模型：置信度过滤与架构对比分析
一项大规模芬兰语语音 SSL 研究从 210 万小时无约束广播音频出发，提出用 ASR 置信度作为预训练数据质量的代理指标。相比基于 LID 的过滤，该方法在训练集更小的情况下仍带来 3-7% 的相对 WER 提升。研究还在相同参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构，模型在 Base 规模和域外场景优于此前芬兰语 SSL 基线。
arXiv · cs.CLAI 评分4646 KV-Repurpose：一个评估非前缀 KV-cache 复用的测试平台
研究者推出 KV-Repurpose，一个基于 vLLM 的开源系统，用于开发和评估超越精确前缀的分段式 KV-cache 复用。在 20% 请求共享固定前缀的 Zipfian RAG 负载下、同样 30 GB 缓存容量时，其 token 级缓存命中率达 63.9%，远高于前缀缓存的 3.3%，并降低 TTFT；前缀缓存即便 1 TB 容量也仅达 17.9%。实验显示朴素分段复用在单文档问答与摘要上基本保持输出质量，但在跨文档推理上存在明显局限。源码以 Apache-2.0 许可开源。