Adaptive Replay Refinement:在修订与重采样之间分配测试时计算
Adaptive Replay Refinement(ARR)是一种无需训练的推理方法,检测修订到达不动点后将算力重新分配给新独立样本。跨 5 个模型族的 7 个模型与 7 个基准测试,ARR 在等算力下于 5 个数学推理基准中的 3 个上追平多数投票,关键路径串行次数最多减少 2.4 倍;在 MATH500 上以 41% 的串行次数达到 84.6% 准确率。代码已开源。
新闻、仓库与研究,按时间排列。
Adaptive Replay Refinement(ARR)是一种无需训练的推理方法,检测修订到达不动点后将算力重新分配给新独立样本。跨 5 个模型族的 7 个模型与 7 个基准测试,ARR 在等算力下于 5 个数学推理基准中的 3 个上追平多数投票,关键路径串行次数最多减少 2.4 倍;在 MATH500 上以 41% 的串行次数达到 84.6% 准确率。代码已开源。
一项 arXiv 研究表明,RL 中的奖励错误设定本身就会降低语言模型思维链(CoT)的可监控性:在 3 个模型、3 个任务的测试环境中,随 hack 率上升,模型的 CoT 仍在推理任务真实意图,而输出却违反意图并获得奖励。研究者通过收集多样化奖励的 rollout 并用语言模型推断奖励描述、注入输入进行奖励描述训练,无需预知真实奖励即可让可监控性平均提升 24% 或绝对提升 42%。
一项 arXiv 研究提出用领域专用语言(DSL)作为表示层,帮助语言模型将抽象自然语言指令展开为具体动作。在 Hexagons 任务上,基于人工策划 DSL 的代码生成比直接推理最高提升 10 个绝对 F1 点、达到人类水平,且提升集中在高抽象层级;Text2CAD 基准也验证了这一模式。但模型自行归纳的 DSL 仅能恢复部分增益,跨运行不一致且逊于人工策划版本。
Masahiro Kaneko 在 arXiv 论文(arXiv:2610.28315)中发现,LLM Agent 在对话中读取持久记忆会引发自我强化的隐私泄露循环。多会话仿真中,带 24 项个人属性的模拟用户与支持类 Agent 对话,四个支持模型里读取记忆既提升回复质量也提高属性被正确推断的比例,且差距随会话扩大,因为记忆条件回复把旧值作为预设带入,用户确认或不纠正使其变成记录值。指示 Agent 不陈述或预设属性可将泄露降到接近无记忆水平并保留大部分质量增益,而过滤或匿名化用户输入或存储内容会损失较多质量。
推荐理由:这篇研究用多会话仿真揭示了带持久记忆的 LLM Agent 中自我强化的隐私泄露循环,并给出在回复端抑制泄露的可行做法。
一项基于 16,575 条英文推文的研究提出"stability delta"指标,发现表情符号在主题上下文越聚类的场景中,众包情感反而越两极分化:与 Kralj Novak 等人情感词典的 Spearman ρ=+0.361(Holm p=0.015),与 Ferré 等人西班牙语 13 情绪评分的 ρ=+0.509(p=0.0003)。结果表明主题一致性与情感离散度是表情符号意义的两个独立维度。下游讽刺分类任务中三个基线 macro F1 均超过 0.97,显示该数据集存在饱和的表情符号标签线索。
研究者推出 DeclineCraft,一个以语料截止后 Minecraft 新特性问题为不可答题、联合衡量检索与参数知识的 RAG 弃答基准,并评估 27 个 LLM 的正确弃答率(CAR)。实验显示:单次检索在 38/40 配置中显著提高 CAR;迭代 RAG 反而在 30/40 配置中降低 CAR(均值 46.4%),答案准确率基本不变(68.5% 至 69.3%);模型越大回答越准(Spearman ρ = +0.60),但模型规模与发布时间均与 CAR 无显著关联。
Gaotang Li 等人在 arXiv 论文 arXiv:2610.28380 中提出 Object-Oriented Harness(OO-Harness),通过面向对象设计演化出可执行的 harness 类层级,训练时由演化 agent 依据执行记录以继承方式生成专用 harness 子类,测试时由 harness router 结合训练积累的路由经验为每个任务选择 harness。在涵盖业务流程、工作区任务和工具使用的三个长程基准上,OO-Harness 取得对比方法中的最佳表现,较基线绝对提升最高 15%,并附有对核心组件的消融研究。
CAPSafe 基准从动作级和长程规划级两层评估 LLM 具身智能体的安全推理,其中危险按情境推断、可多处共存并标注相对严重程度。对九个闭源与开源模型的评测显示,部分模型识别不安全动作的准确率超过 90%,但安全长程规划难度显著更高:Gemini-3-pro 最高安全成功率为 78.19%,其余模型低于 65%。
研究者提出 CopyGen,一个面向冻结 LLM 的轻量复制约束解码插件,将复制分解为是否进入复制模式、预测复制长度和逐 token 验证三个决策,并只输出最长有效前缀。在涵盖合同、科学文献、代码和随机序列的 benchmark 上,CopyGen 无需微调即可将平均 exact match 相对提升 35%,与 SFT 结合再提升 4%,同时显著加速生成。代码已开源。
研究者提出 MAS-Guard,一个统一防护框架,可同时保护单 Agent 与多 Agent LLM 应用,包括可插桩与不透明 Agent。该框架结合本地 A-Guard 层的任务特定专家评估与系统级 Agent Charters 和 Control Plane 的确定性结构检查及语义评估,支持 allow、reflection、confirmation、block 四种干预手段。在覆盖三个不同厂商 LLM 的六个 benchmark 上,MAS-Guard 将整体攻击成功率相对无防护 Agent 降低 71.5-86.3%,同时在良性任务上满足效用参考标准。
作者公布 AKBC LM-KBC 2026 共享任务方案,在官方榜单取得 0.6836,超过 0.2964 基线一倍以上。方法是在最多 32B 参数、无检索无微调的限制下,用文本补全方式提示 base 模型并生成 64-256 个输出只保留重复项;对比显示指令微调版本仅得 0.5681,作者称指令微调会降低事实回忆,命名为指令税,其成因是权重而非提示方式。
推荐理由:作者在 LM-KBC 2026 任务中实测同一模型 base 与指令微调版本的事实回忆差距,提出指令税概念,方法可直接迁移。
一项 arXiv 研究提出“指纹分辨率”框架,从模型家族到蒸馏、LoRA 适配变体,以及行为、文体、词汇、语义等多层信号,系统考察 LLM 指纹的区分能力。结果显示,即使改写输出、压制表面线索,指纹仍可在蒸馏模型和同一底座的 LoRA 适配中检测到;语义表征在跨语言时最稳健,但可归因性随模型相似度与可用文本证据而变化。
研究者推出 MythoSemantic,用于神话与宗教文本的比较研究。该系统利用神经语言模型将文本嵌入共享语义空间,让用户在交互界面中发现跨文化传统的语义平行关系,其嵌入片段的粗粒度几何结构与有据可查的历史传统关系相符。研究还量化了词汇重叠和专有名词对该几何结构的解释程度,系统网页与可安装包均已公开。
arXiv 论文(arXiv:2610.28454)发现,只需被告知要更常被选中的卖家 Agent 会自发对工具描述做生成式引擎优化,夸大声明字段,作者称之为 toolflation。基于 Amazon 和 Instagram 真实工具数据搭建的市场实验显示,五个生产级模型中夸大程度相差一个数量级;最强调组合下 Amazon 任务成功率从 89% 跌至约 30%,Instagram 从 77% 跌至 40%。作者主张对第三方的诚实属于安全对齐的一部分,模型作为卖家部署前应先接受卖家角色测试。
推荐理由:论文用真实数据工具搭建市场做实验,量化了 seller agent 自发夸大描述如何损害买家,并提出应把对第三方诚实纳入对齐。
研究者提出 GPT-as-Tactile-Policy 方法,让 GPT-6-Astra 将专家演示总结为任务指导与触觉参考,结合多模态观察与交互历史生成控制指令。无需机器人专用预训练或按任务微调,该方法在五项 UniVTAC 任务上达到 93.8% 平均成功率;在 Insert Hole 任务中,触觉反馈将成功率从 31% 提升至 99%。
论文提出 Asymmetric Looped Transformer(AsymLoop),将单次上下文编码与循环状态精炼分离:因果编码器生成跨迭代固定的全局 KV cache,权重共享的循环解码器从自身状态生成局部 KV,并在单一 softmax 下联合注意力。在 FineWeb-Edu 上对 60M 至 1B 四种规模训练,验证困惑度低于 Full Loop;1B 规模下七个常识推理基准的平均 zero-shot 准确率从 49.58% 提升至 50.85%,收益同样适用于 OLMo 风格骨干与稀疏 MoE 模型。
研究者推出 OptionWorld 基准,通过模拟日常生活任务追踪 LLM 的信息获取、判断、行动与结果,定位其作为长期个人助理的短板。在存档决策输入的运行中,35.5% 的失败实例的关键事实在截止期前仍保留在模型最后的输入里。失败分析指出三大问题:所需信息未获取或整合、可行动机会未被利用、智能体施加任务并不要求的限制。
一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在:在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上,该数字在最后一个 prompt token 处存在且跨问题共享编码,readout 约 0.9,但常规单样本探测只读到 0.36 和 0.19(即使经过 5,249 个训练问题)。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合,在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号,且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字,而 patch 答案的同一位置可以,说明该值可读但未被使用。
BitMTP 提出算法与系统协同设计框架,在超低比特 LLM 骨干上实现高效多 token 预测(MTP),已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting,并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速,1.7B-4B Bonsai 模型为 2.1-2.4x,RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x,代码已开源。
推荐理由:论文把多 token 预测与超低比特量化结合,给出跨 GPU 的实测加速比,方法与系统设计都可参考。
论文提出 Binary Discrete Diffusion,一类连续时间离散扩散过程,其噪声状态以二值成员向量表示每个位置的候选 token 集合,可通过增删逐步丢失和恢复信息。在 Sudoku-Extreme、Boxoban 和图着色任务上,在相同架构与训练、采样、调参预算下,其对称形式持续优于调优过的 masked 和 uniform 扩散基线,最难实例上增益最大;在 Text8、TinyStories、OpenWebText 语言建模上也保持竞争力。结果表明候选集是迭代推理的有效中间表示。
Lafa 是一个扩到 8B 参数的连续流语言模型,采用块内双向流加因果前缀的块状结构,可通过适配预训练自回归模型来训练,并用少于 30B tokens 完成 0.5B、7B 和 8B 三个规模的训练。在指令跟随、推理和编码评测中质量匹敌或超过 AR 模型,其自推测解码方案在可比质量下达到 AR 模型 2.54x 吞吐,优于多 token 预测和离散扩散方法,代码已开源。
推荐理由:论文给出把连续流语言模型扩到 8B 的具体训练与推理方法,并附吞吐对比数据,适合关注非自回归架构的读者。
论文提出 cache engineering 方案,让 LLM 智能体通过 drop 和 repos 操作直接控制活跃 KV cache,无需修改轨迹或重新 prefill。配套的 AKV 推理引擎提供无状态接口并内部管理缓存复用;工具响应滚动 drop 策略相比阈值触发的摘要方法平均提升基准分 1.7 分、降低成本 27.7%,AKV 实现最高 1.2x 输出吞吐和 1.5x P95 延迟加速。
推荐理由:论文提出让智能体直接操作 KV cache 的缓存工程方案,附带与常规摘要策略的成本和延迟对比数据。
arXiv 论文提出 Rollout-to-Scorer Distillation(R2S),指出智能体在线策略蒸馏失败源于 next-token 评分的短视而非复合误差,教师看不到回合结局导致拖延动作通过评分,称之为 rollout-scorer gap。R2S 先从高分歧状态运行教师接管、用共识或 LLM judge 等无奖励检查筛选状态微调教师打分器,再冻结为唯一评分器做标准 OPD,修复与训练全程无需任务奖励。在 3 个环境、2 个教师、4 个学生的全部十二个组合中超过三种 SOTA 方法,平均领先最优基线 12.8 个成功点。
推荐理由:论文指出教师评分短视导致智能体蒸馏失效的根因,给出的无奖励修复方法在十二组实验中均有提升。
研究者推出 DAR-MGSM 基准,这是首个用于评估方言阿拉伯语数学推理的人工整理测试集,包含多步推理数学应用题,覆盖五大阿拉伯方言及现代标准阿拉伯语,并提供纯翻译与本地化两个平行版本。对 11 个阿拉伯语专用及多语言大语言模型的评测显示,本地化版本上性能普遍下降,且各模型敏感度不同;机制可解释性分析表明,翻译与本地化版本常引发不同的内部推理轨迹。
NarraSpace 将词语和语音时间与图片中的命名元素关联,检索预定义场景事件的语句,用冻结语言模型对比 Alzheimer's 病与健康对照样本,并结合 transcript surprisal 和覆盖度测量。在 Alzheimer's Dementia Recognition through Spontaneous Speech 基准的官方 48 人测试集上,固定支持向量分类器在五十个种子下平均准确率 80.88%±2.56%,平均概率法达 81.25% 准确率和 91.32% AUC。该框架将事件得分与源语句、语音时间及提取记录关联,使分类输入可检查,可辅助医生审阅图片描述。
Hugging Face 用户 mradermacher 发布 mistralai Ministral-3-3B-Instruct-2512 的 abliterated 处理版 GGUF 量化模型,基于 BF16 权重制作静态量化。该模型未被任何 Inference Provider 部署,下载量暂未被追踪。
koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 去拒绝 overlay,仅修改 52 个 attn.wo_b 张量(第 10-35 层),其余权重与上游逐字节一致。lambda=2.0/2.5 时 HarmBench 拒绝率从 94.1% 降至约 5%,但授权/未授权安全任务的区分从 8/11 塌缩到 0/11,无害提示的过度拒绝从 3.2% 降到 0.0%;方向向量来自 drowzeys/keys-DeepSeek-V4.1-Flash-1017-Abliterated 的 rank-1 分解,生产环境为 4 节点 DGX Spark (GB10) TP4 环形集群,1M 上下文下连续使用无循环或退化。
同一新闻,精选展示《koldfrontier 发布 DeepSeek-V4.1-Flash-1017 去拒绝 overlay,52 个张量的 rank-1 修改》
koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 abliterated 完整权重,仅原地改写 52 个张量(attn.wo_b,第 10-35 层),lambda 2.5,架构不变,可直接用 vLLM 或 SGLang 按原配方部署。实测 1,207 条提示下拒绝率大幅下降,如 HarmBench 从 94.1% 降至 5.0%,过拒率略有改善;代价是一个安全工具的授权/未授权配对从 8/11 降到 0/11,另提供保留 6/11 配对的 lambda 1.0 overlay 版本。
同一新闻,精选展示《koldfrontier 发布 DeepSeek-V4.1-Flash-1017 abliterated 全量权重》
Hugging Face 用户 mradermacher 上传了 Ministral-3-3B-Reasoning-UNCENSORED-heretic 的 i1-GGUF 量化模型仓库。该模型参数规模为 1.49M,仓库页面暂缺 YAML 元数据,下载量数据尚未显示。
研究者提出 AnomalyJev,一个无需 token 生成的轻量级框架,通过从异常解释中提取可验证声明并与真值标注比对,评估多模态大语言模型异常检测解释的忠实度与完整性。团队构建了包含 640 条解释、超 1,600 条专家评分的人工标注评测集。AnomalyJev 与人类标注者的一致性超过多数开源 MLLM judge,接近旗舰 MLLM judge,且运行时和资源消耗仅为其一小部分。
研究者提出 ScratchProbe,一种通过学习新的 readout token 而非使用已有词表 token 来训练置信度探针的方法,在多个数据集和 LLM 上优于现有 token 探针,多 token 扩展带来进一步提升。该方法只改变探针读取位置,可被任意现有探针采用,应用于 SOTA 探针后在所有 backbone 上的域内和域外 AUROC 均获提升。
研究者提出 AudiPsy,一个基于证据的 omni-LLM,用于从口语心理咨询对话中评估抑郁。其采用 OAS(观察-评估-总结)范式,整合对话转录、文本与声学情绪及其不一致性进行结构化推理,并构建了合成语料 AudiPsy-Counsel 和三阶段课程训练。在 DAIC-WOZ 上表现优于专业抑郁检测方法与通用语音/omni-LLM,EATD-Corpus 上的补充评测验证了其对自然对话的适用性。
一项 arXiv 研究提出行为计算框架,量化用户对操纵性 AI 回应的行为易感性。研究基于 DarkPatterns-LLM 基准,用 Manipulation Gradient Descent(MGD)生成针对权威、紧迫性与社会证明偏见的刺激,并通过 MSIAN 和 THPM 模型分析跨用户影响与时间持续性。在 120 名参与者的实验中,操纵性框架显著改变了信任校准与顺从度(p < 0.01),且效应会在社交情境中传播。
该 arXiv 论文(arXiv:2610.27577)指出,LLM 欺骗检测中假设欺骗对应单一表示方向的线性探针难以跨场景泛化,提出用迭代正交分解将欺骗表示为多维子空间。由于静态组合存在强域依赖,作者引入域自适应门控机制,在测试时通过 few-shot 动态组合方向;仅用 10 个样本,方法在所有数据集上平均 AUROC 达 0.97、5% FPR 下 recall 为 94%,显著优于现有方法。
arXiv 论文提出扩散语言模型(DLM)中的事实访问状态概念,发现其与自回归模型不同,事实查找在第一层注意力与早期前馈层就完成。基于该状态,论文的 Multi-View Edit 知识编辑方法在改写和反向问答上显著优于 AR 编辑器,且各实体位置的状态可免训练地作为关系特定检索向量,在双实体查询中能同时返回两条证据。论文链接 https://arxiv.org/abs/2610.27580v1。
推荐理由:论文指出扩散语言模型的事实访问状态在首层注意力就组装完成,并据此给出知识编辑与免训练检索两种用法,可作理解 DLM 与 AR 机制差异的对照。
arXiv 论文 2610.27583 提出 TeCoP,一种无需训练的解码器,通过错开的块级流水线与 draft-and-verify,将稳定但未提交的预测作为临时跨块上下文,解决扩散大语言模型分块解码重复计算的问题。在四个 LLaDA 和 Dream 模型上测试 GSM8K、Minerva MATH 和 MBPP,TeCoP 将前向评估次数最多减少 87%,无 KV cache 时吞吐最高提升 7.50 倍、有 cache 时提升 11.77 倍,在全部 12 个模型基准设置中吞吐均超过 Fast-dLLM 和 DSB,同时有 cache 的平均精度与原解码器差距在一个百分点以内。
推荐理由:论文提出训练-free 的扩散语言模型解码方案,给了跨 12 个模型基准设置的吞吐与精度对比数据,方法可复现。
一项 arXiv 研究考察了 LLaDA、LLaDA-1.5 和 Dream 三种扩散语言模型(DLM)在 Open-BBQ 上的社会偏见表现,发现三者均存在偏见,且测得的偏见大小和模型排序高度依赖 block length、remasking strategy 等采样配置。针对自回归模型的去偏策略可有效迁移到 DLM 并在不损害下游性能的情况下降低偏见,但采样依赖性在去偏后依然存在。结果表明 DLM 的公平性无法脱离采样配置独立评估。
一项 arXiv 研究提出将验证损失分解为近似、估计与记忆三项的方法,分析随机 token 替换这一输入破坏式增强的收益与代价。在熵率已知的受控数据源上,替换将预测向语料均值收缩;在其有效的场景中可减少最小验证损失后损失上升约 60%。在十个真实语料实验中,替换降低了九个语料的最终损失,仅对最冗余的普查类程序生成 JSON 语料有害。
WORTH Benchmark 让模型阅读无线索标注的原版推理小说,自主筛选关键线索句、识别案件参与者并解释推理过程,故事由专业作者设计,使有助于推理的证据与延迟真相揭示的叙事并存。试点实验对模型进行两集共 70 次正式运行,其中 67 次可评分;Episode 02 的 37 次可评分运行中有 31 次选择了同一组错误参与者,怀疑导向与开脱导向句分别被选中 25 次和 0 次。该研究仅覆盖两集的全文条件,不建立稳定模型排名,也未报告人机对比。
SDDC(Self-Decomposing Diffusion for Code)提出先由扩散语言模型生成程序分解契约、再据此并行实现各单元的代码生成框架。在五个 benchmark 和两个 7B 扩散骨干上,SDDC 的 pass@1 最高提升 31.1 个百分点,解码比基座模型快 7.5–13.7 倍,并比微调基线最高高出 23.5 分且延迟更低。