RTL 修复基准实际测量的是什么?
研究者构建 RTLRepairDataset(5,784 组(broken, fixed)训练对)和 RTLRepairBench(459 个保留测试用例,含 374 个语法变异和 85 个行为变异),并支持仿真与形式等价评测。审计发现两个测量混淆:仿真与形式化评分对是否提供规格说明的效应符号相反,六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
新闻、仓库与研究,按时间排列。
研究者构建 RTLRepairDataset(5,784 组(broken, fixed)训练对)和 RTLRepairBench(459 个保留测试用例,含 374 个语法变异和 85 个行为变异),并支持仿真与形式等价评测。审计发现两个测量混淆:仿真与形式化评分对是否提供规格说明的效应符号相反,六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。
推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。
研究表明,TS2Vec 经三项改动可从逐数据集训练的自监督方法变为通用基础模型:在合成语料上预训练、用双 stem 输入原始幅值与实例归一化形状两个视图、将两个专家编码器蒸馏为单编码器。所得 TS2Vec-FM 为 1.6M 参数的膨胀卷积网络,冻结后在 UCR-128 线性探测达 83.3%、UEA-27 达 75.3%,距 SOTA 的 MantisV2 仅 0.3 pp,且不依赖 attention、patch tokenizer 或中间层提取。
一项被 EMNLP 2026 录用的研究提出诊断性指标框架,基于 Schwartz 基本价值理论,从价值表达和价值组织两个维度比较人类参考辩论与 AI 生成辩论。结果显示 LLM 生成的辩论价值表达广泛,激活的价值维度常不少于人类辩论,但组织方式不同,语句层面价值更弥散。
论文提出 Semantic Observability,一个自主多智能体框架,将分布式微服务的异构日志统一为可查询的属性图数据库。系统通过 Directed Cyclic Graphs(DCGs)编排有状态多智能体,结合因果图算法与时序回溯定位异常影响范围,再由 LLM 推理引擎生成代码级根因分析(RCA)与修复建议。作者从概念上论证该框架可降低 MTTR、压缩 LLM token 消耗并抑制结构性幻觉,并在 LogHub 和 Train-Ticket 基准上指定了开源验证框架。
研究者提出 Adaptive Multi-Token Prediction(AMTP),将多 token 预测的视野选择建模为在线控制问题,通过验证反馈动态选择最优推测长度,无需重训练且不改动验证器。在基于 Llama-3.1-8B-Instruct 与 Medusa heads、Meta MTP 模型、Qwen3-4B-Inst-2507-MTP 的五组组合上,经 AIME 2025 和 GSM8K 评测,AMTP 解码最高加速 4.1x,在 10 个设置中的 8 个持平或超越固定窗口,吞吐最高提升 10%。
研究者推出 MindView 基准,包含来自 513 个场景的 1,500 个样本,涵盖几何主导与语义主导两大类共七项任务。对 11 个生成模型的评测显示仍有较大提升空间,微调 BAGEL 后整体分数提高 24.3 分,且在三个空间理解基准上也获得提升。提出无需训练的证据选择器 MindCue,可逆转扩展上下文下的分数下降并超过标准上下文基线。
Rahul Sajnani 等人在 arXiv 发布 UniWALM,一个在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言的模型,各模态扩散头同步去噪,生成的文本记忆在下一步被重新消费,无需外部规划器或记忆库;并引入 Flow Matching with Correction(FMC)训练目标,在不增加推理开销下教模型从受扰动作轨迹恢复。UniWALM 在 MolmoSpaces 组合抓放和 RLM... 在 RMBench 记忆子集达 34.5%,超过带关键帧的 Mem-0 设置(28.5%);真实世界 Find-the-Item 任务中生成文本记忆把成功率从 11.1% 提到 61.1%,而现有 VLA 不高于 33.3%。
研究者提出 GBClaw,一个用于研究一般晶界结构与变形的智能体 AI 框架,将 LLM 与编排器、专用 agent、领域工具、仿真接口和分层记忆整合为模块化架构。该框架应用于镍中 14 个一般非对称倾转晶界,表征了界面缺陷结构并识别出多种变形模式,发现有/无次级晶界失配位错时边界滑移的剪切强度差异显著。
一篇 arXiv 论文提出可对任意骨架(rig)联合生成视频与 3D 运动的模型,并通过 cross-attention 层将独立的运动模型连接到预训练视频模型,同时学习关节定位以恢复相机、把运动注册到 3D 场景。训练借助生成式视频编辑器将动画资产放入合适场景,结合人类和机器人视频共构建近 200K 训练对。评测显示其从文本驱动多样骨架比视频优先管线更忠实,运动可响应场景,并支持视频转骨架运动、骨架运动转视频及关键帧控制。
论文追踪七个开源 RL 后训练框架的提交历史,并关联 2025 年 1 月至 2026 年 6 月的 6939 篇 arXiv 论文。在 1598 篇提出通用 RL 训练方法的论文中,只有 37 篇被至少一个框架纳入;每季度队列在 180 天内纳入数量稳定在 5 到 7 篇,而队列规模从 72 篇增至 386 篇。被纳入的论文更常训练 30B 及以上参数的策略(41% 对 10%),更常修改现有损失中的系数、clip、mask 或权重(29% 对 9%);两个差距在剔除框架维护公司自身论文后依然成立,而代码开源比例在两组中相同。超过九成未被纳入的方法在框架 issues 中没有任何提及或引用。数据以追踪器形式发布,链接训练失败与框架实现并列出各框架贡献规则。
推荐理由:论文用提交历史量化了 RL 论文进入开源训练框架的真实比例,数据可帮助读者评估方法复现和框架选型的落差。
一项 arXiv 研究提出 On-Policy Transition Distillation(OPTD),在传统在线蒸馏只匹配最终层分布的基础上,进一步对齐教师与学生模型在学生生成 rollout 上的层间对数概率增量。诊断实验显示,正确回答在中间层迁移上具有更低的平均 KL 散度。在三个 backbone、八个覆盖数学、代码和指令遵循的 benchmark 上,OPTD 在双域和三域蒸馏中均取得最佳或并列最佳成绩,三域设定下可恢复约 90% 的师生能力差距,而 OPD 约为 75%。
一项 arXiv 研究提出 FAR-6 评测集,收集 8 个模型在 6 种语言、最多 105 个道德情境下共 110 万条回复,比较不同提问与读取方式是否测到相同判断。结果显示句子层面判断特征高度一致(r = 0.94),而否定疑问句后按预设映射读取 yes/no token 时一致性仅 r = 0.67;去除各语言共识后,48 个模型-语言组合中有 39 个在命题标签下模型特征最接近自身跨语言版本。结论是模型可能保持判断却改变其“是”,对 token 打分需先确定它肯定的是哪个命题。
研究者推出 BAIT(Bias Annotation In Text)新闻认知偏差触发器评测基准,包含九类触发器的标注规范和 50 篇由训练有素的标注者在文章与片段层面标注的英文新闻文章,并定义触发器检测与片段定位两项任务。对六个前沿 LLM 的 zero-shot 及 3 或 10 个 in-context 示例测试显示:模型在判断文章含哪些触发器上接近人类一致性,但定位相关片段不足人类一致性的一半,且倾向依据表面线索过度预测触发器,表明模型响应的是表面特征而非操纵机制。相关 schema、codebook、标注与评测流程已开源。
研究者提出 MentalLoom 评测,包含 604 个模糊社交事件、匹配的抑郁与社交焦虑披露及四轮对话,评估 8 个 LLM 的心智化表现。结果显示,披露会引发更多负面解读但对叙述者本身更积极的诠释;重复追问下模型给出更多情感支持、更强的正面背书与更高确定性,而事件证据未新增。这表明用户情境可在模糊性未解时重塑模型的解读偏好与承诺。
研究者发布 Africa-Papers,这是迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、共 10.15 billion tokens,分 879 个 Parquet 分片,涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布,配有精确 BPE token 计数和 8 域分类体系,已在 Hugging Face Hub 的 AfriSpeech 组织下开源,用于支持非洲基础模型的持续预训练与领域评测。
研究者提出 TEPCA 框架,从证据和参数两个层面改进 LLM 在时序知识图谱(TKG)上的推理:证据层采用时间约束的 DRGP 路径剪枝和基于互信息(MI)的剪枝,参数层引入时间戳条件化的 DG-LoRA 低秩适配机制。在两个 TKG benchmark 上达到 SOTA,DG-LoRA 在八个常识问答数据集上进一步验证了输入自适应能力、跨 LLM 骨干的可扩展性与可解释性。
一项 arXiv 研究提出,大型音频-语言模型(LALM)中存在音频与文本表征对齐的共享子空间,并识别出同时表征音频与文本的跨模态神经元。研究在 3 个 LALM 和 4 类声学属性上发现不同程度的音频-文本神经元对齐。因果干预实验显示,这些神经元不仅对预测不可或缺,还可通过激活与去激活进行操控。
一项研究系统消融 LSTM 与 Transformer 语言模型的神经元,并以有限微调模拟补偿性可塑性,发现二者衰退模式截然不同。LSTM 随损伤逐渐衰退,Transformer 在 MLP 消融下出现阈值式崩塌,在注意力头消融下呈平滑下降。MLP 消融模型表现出类似 Wernicke 失语的语义错语,注意力头消融则类似原发性进行性失语的语义变异型(svPPA)。
该论文横跨 102 个模型和 42 个品牌类别,发现模型命名品牌时多选市场领导者 Nike,推荐时则转向小众专业的 Brooks,26 个类别中两者不同。三个开源训练管线显示预训练已把推荐品牌挂在建议上,DPO 让推荐偏好移动 11 到 24 个点,且偏好数据中几乎不含品牌;作者怀疑偏好来自偏好训练中判定答案优劣的 judge 模型。
推荐理由:覆盖 102 个模型和 42 个品牌类别,用三条训练管线定位品牌偏好在预训练与 DPO 阶段的成因。
arXiv 论文提出通过40个日常问题(如“说出一种声音”“说出一位诗人”)的单字答案为语言模型建模指纹,在94个模型的面板上识别出确切模型的准确率为92.5%,随机仅为1.1%;系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点,其中92个与其声称的模型一致,一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4(自报身份且计费按 Gemma 4 的 token 数);计费记录还显示第一方模型被附加了额外上下文,如 Grok 4.7 对一行问题计费1,247个输入 token,而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分,代码与数据已公开。
推荐理由:这篇论文展示了用40个单词答案就能指纹识别API背后的模型,还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文,方法成本极低可复现。
Adaptive Replay Refinement(ARR)是一种无需训练的推理方法,检测修订到达不动点后将算力重新分配给新独立样本。跨 5 个模型族的 7 个模型与 7 个基准测试,ARR 在等算力下于 5 个数学推理基准中的 3 个上追平多数投票,关键路径串行次数最多减少 2.4 倍;在 MATH500 上以 41% 的串行次数达到 84.6% 准确率。代码已开源。
一项 arXiv 研究提出用领域专用语言(DSL)作为表示层,帮助语言模型将抽象自然语言指令展开为具体动作。在 Hexagons 任务上,基于人工策划 DSL 的代码生成比直接推理最高提升 10 个绝对 F1 点、达到人类水平,且提升集中在高抽象层级;Text2CAD 基准也验证了这一模式。但模型自行归纳的 DSL 仅能恢复部分增益,跨运行不一致且逊于人工策划版本。
一项基于 16,575 条英文推文的研究提出"stability delta"指标,发现表情符号在主题上下文越聚类的场景中,众包情感反而越两极分化:与 Kralj Novak 等人情感词典的 Spearman ρ=+0.361(Holm p=0.015),与 Ferré 等人西班牙语 13 情绪评分的 ρ=+0.509(p=0.0003)。结果表明主题一致性与情感离散度是表情符号意义的两个独立维度。下游讽刺分类任务中三个基线 macro F1 均超过 0.97,显示该数据集存在饱和的表情符号标签线索。
研究者推出 DeclineCraft,一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准,并评估 27 个 LLM 的正确弃答率(CAR)。实验显示:单次检索在 38/40 配置中显著提高 CAR;迭代 RAG 反而在 30/40 配置中降低 CAR(均值 46.4%),答案准确率基本不变(68.5% 至 69.3%);模型越大回答越准(Spearman ρ = +0.60),但模型规模与发布时间均与 CAR 无显著关联。
CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理,其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示,部分模型识别不安全动作的准确率超过 90%,但安全长程规划难度显著更高:Gemini-3-pro 最高安全成功率为 78.19%,其余模型低于 65%。
研究者提出 CopyGen,一个面向冻结 LLM 的轻量复制约束解码插件,将复制分解为是否进入复制模式、预测复制长度和逐 token 验证三个决策,并只输出最长有效前缀。在涵盖合同、科学文献、代码和随机序列的 benchmark 上,CopyGen 无需微调即可将平均 exact match 相对提升 35%,与 SFT 结合再提升 4%,同时显著加速生成。代码已开源。
作者公布 AKBC LM-KBC 2026 共享任务方案,在官方榜单取得 0.6836,超过 0.2964 基线一倍以上。方法是在最多 32B 参数、无检索无微调的限制下,用文本补全方式提示 base 模型并生成 64-256 个输出只保留重复项;对比显示指令微调版本仅得 0.5681,作者称指令微调会降低事实回忆,命名为指令税,其成因是权重而非提示方式。
推荐理由:作者在 LM-KBC 2026 任务中实测同一模型 base 与指令微调版本的事实回忆差距,提出指令税概念,方法可直接迁移。
一项 arXiv 研究提出“指纹分辨率”框架,从模型家族到蒸馏、LoRA 适配变体,以及行为、文体、词汇、语义等多层信号,系统考察 LLM 指纹的区分能力。结果显示,即使改写输出、压制表面线索,指纹仍可在蒸馏模型和同一底座的 LoRA 适配中检测到;语义表征在跨语言时最稳健,但可归因性随模型相似度与可用文本证据而变化。
研究者推出 MythoSemantic,用于神话与宗教文本的比较研究。该系统利用神经语言模型将文本嵌入共享语义空间,让用户在交互界面中发现跨文化传统的语义平行关系,其嵌入片段的粗粒度几何结构与有据可查的历史传统关系相符。研究还量化了词汇重叠和专有名词对该几何结构的解释程度,系统网页与可安装包均已公开。
arXiv 论文(arXiv:2610.28454)发现,只需被告知要更常被选中的卖家 Agent 会自发对工具描述做生成式引擎优化,夸大声明字段,作者称之为 toolflation。基于 Amazon 和 Instagram 真实工具数据搭建的市场实验显示,五个生产级模型中夸大程度相差一个数量级;最强调组合下 Amazon 任务成功率从 89% 跌至约 30%,Instagram 从 77% 跌至 40%。作者主张对第三方的诚实属于安全对齐的一部分,模型作为卖家部署前应先接受卖家角色测试。
推荐理由:论文用真实数据工具搭建市场做实验,量化了 seller agent 自发夸大描述如何损害买家,并提出应把对第三方诚实纳入对齐。
论文提出 Asymmetric Looped Transformer(AsymLoop),将单次上下文编码与循环状态精炼分离:因果编码器生成跨迭代固定的全局 KV cache,权重共享的循环解码器从自身状态生成局部 KV,并在单一 softmax 下联合注意力。在 FineWeb-Edu 上对 60M 至 1B 四种规模训练,验证困惑度低于 Full Loop;1B 规模下七个常识推理基准的平均 zero-shot 准确率从 49.58% 提升至 50.85%,收益同样适用于 OLMo 风格骨干与稀疏 MoE 模型。
研究者推出 OptionWorld 基准,通过模拟日常生活任务追踪 LLM 的信息获取、判断、行动与结果,定位其作为长期个人助理的短板。在存档决策输入的运行中,35.5% 的失败实例的关键事实在截止期前仍保留在模型最后的输入里。失败分析指出三大问题:所需信息未获取或整合、可行动机会未被利用、智能体施加任务并不要求的限制。
一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在:在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上,该数字在最后一个 prompt token 处存在且跨问题共享编码,readout 约 0.9,但常规单样本探测只读到 0.36 和 0.19(即使经过 5,249 个训练问题)。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合,在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号,且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字,而 patch 答案的同一位置可以,说明该值可读但未被使用。
BitMTP 提出算法与系统协同设计框架,在超低比特 LLM 骨干上实现高效多 token 预测(MTP),已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting,并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速,1.7B-4B Bonsai 模型为 2.1-2.4x,RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x,代码已开源。
推荐理由:论文把多 token 预测与超低比特量化结合,给出跨 GPU 的实测加速比,方法与系统设计都可参考。
论文提出 Binary Discrete Diffusion,一类连续时间离散扩散过程,其噪声状态以二值成员向量表示每个位置的候选 token 集合,可通过增删逐步丢失和恢复信息。在 Sudoku-Extreme、Boxoban 和图着色任务上,在相同架构与训练、采样、调参预算下,其对称形式持续优于调优过的 masked 和 uniform 扩散基线,最难实例上增益最大;在 Text8、TinyStories、OpenWebText 语言建模上也保持竞争力。结果表明候选集是迭代推理的有效中间表示。
Lafa 是一个扩到 8B 参数的连续流语言模型,采用块内双向流加因果前缀的块状结构,可通过适配预训练自回归模型来训练,并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型,其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐,优于多 token 预测和离散扩散方法,代码已开源。
推荐理由:论文给出把连续流语言模型扩到 8B 的具体训练与推理方法,并附吞吐对比数据,适合关注非自回归架构的读者。
论文提出 cache engineering 方案,让 LLM 智能体通过 drop 和 repos 操作直接控制活跃 KV cache,无需修改轨迹或重新 prefill。配套的 AKV 推理引擎提供无状态接口并内部管理缓存复用;工具响应滚动 drop 策略相比阈值触发的摘要方法平均提升基准分 1.7 分、降低成本 27.7%,AKV 实现最高 1.2x 输出吞吐和 1.5x P95 延迟加速。
推荐理由:论文提出让智能体直接操作 KV cache 的缓存工程方案,附带与常规摘要策略的成本和延迟对比数据。
arXiv 论文提出 Rollout-to-Scorer Distillation(R2S),指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差,教师看不到回合结局导致拖延动作通过评分,称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器,再冻结为唯一评分器做标准 OPD,修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法,平均领先最优基线 12.8 个成功点。
推荐理由:论文指出教师评分短视导致智能体蒸馏失效的根因,给出的无奖励修复方法在十二组实验中均有提升。
研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。