OR-Bench 诊断 VLM 物体旋转推理缺陷并提出 RotationCue 改进
arXiv 论文 2610.05715 提出 OR-Bench,用 8 项任务评测 12 个 VLM 的物体旋转推理能力,发现检测任务接近 100% 准确但角度估计接近随机,91.8–100% 的预测集中在 0°、90°、180°,称为 canonical-angle collapse。
推荐理由:论文用线性探针证明 VLM 已编码旋转信息却未使用,并给出可复用的 RotationCude 解码器改进方案。
内容形态
论文与技术报告:对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
arXiv 论文 2610.05715 提出 OR-Bench,用 8 项任务评测 12 个 VLM 的物体旋转推理能力,发现检测任务接近 100% 准确但角度估计接近随机,91.8–100% 的预测集中在 0°、90°、180°,称为 canonical-angle collapse。
推荐理由:论文用线性探针证明 VLM 已编码旋转信息却未使用,并给出可复用的 RotationCude 解码器改进方案。
Keegan Wang 在 arXiv 发布论文(arXiv:2610.05793),微调 Qwen2.5-7B-Instruct 使其根据提示中推断的部署拓扑在代码中插入漏洞。
推荐理由:论文用 checker、独立 bandit 分析和盲审对照量化了拓扑触发后门,并给出差分审计这一可迁移的检测思路。
arXiv 论文提出测量优先的审计框架,将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道,在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed,但 4 个配置确认了污染事件。
推荐理由:论文提出按证据类型区分污染声明的审计框架,并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。
论文提出 Infinite-Dreamer,一种免仿真的数据合成方法,通过像素级图像编辑世界模型将 GUI 状态转移建模为图像编辑任务,利用 VLM 将动作引起的 UI 变化描述为结构化 delta-text,再微调图像编辑骨干网络合成逼真的截图过渡,生成单帧视觉鲁棒性数据与多步想象轨迹。
推荐理由:论文用图像编辑世界模型合成 GUI 训练数据,仅凭合成数据微调 Qwen3-VL 即在 AndroidWorld 等基准上超过基线。
论文提出源感知评分方法,由裁判先对照完整对话源再评判系统答案,并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
推荐理由:论文用源感知评分重新衡量长对话记忆基准,同一答案在两种评分下差距明显,提示仅对照参考答案的榜单可能低估系统。
论文提出 TeleTune 框架,从无目标标注、不可重放且任务交错的离线用户遥测日志中学习文本技能库,用日志轨迹上的动作预测误差提出库编辑,仅保留能提升留出集动作预测准确率的修改。
推荐理由:论文给出从离线遥测日志学习 Agent 技能库的完整框架,并报告在 WorkArena 和 Online-Mind2Web 上对多个基线的量化对比。
论文提出 Universal Test-Time Training(uTTT),让所有层读写同一份在线更新的共享记忆,使记忆在时间与深度两个维度上循环,并给出 uTTT-MoE 与 uTTT-Dense 两种实现。
推荐理由:论文提出让各层共享同一测试时记忆的 uTTT 架构,并给出 RULER 与新视角合成数据,可对照层私有记忆方案评估收益。
Shiva Pochampally 在 arXiv 发布 DelegationBench,包含 156 个场景、四种响应(行动、请求许可、询问缺失信息、拒绝),多数场景以改变单一特征的配对形式出现。
推荐理由:原文用配对场景拆解了单一一致性分数的三种误导,并给出应分开报告的评测建议,方法可迁移到 Agent 决策评测。
arXiv 论文 2610.05533 通过预注册研究分析 harness 搜索带来的分数提升来源,覆盖 3 个小模型、3 个基准、GEPA 搜索臂和 6 种注入的评测缺陷,报告全部 47 个主要终点。
推荐理由:预注册研究拆解了 harness 搜索带来的分数提升来源,并给出六种评测缺陷在复现中被掩盖的比例,对评测方法设计有直接参考价值。
arXiv 论文(arXiv:2610.05541)提出反事实激活势 CAP,量化被抑制安全特征的潜在激活倾向,并给出两阶段筛选算法 CSFD,从数十万 transcoder 特征中定位候选安全特征。
推荐理由:论文提出量化被抑制安全特征的 CAP 指标和两阶段筛选算法,实验覆盖 Gemma、Qwen、Llama 五个模型,可作机制可解释性方法的补充。
arXiv 论文(arXiv:2610.05564)提出 Attention Relay 方法,将指令微调 LLM 产生的注意力权重传递给 Transformer 嵌入模型自身的注意力,使嵌入模型无需训练即可遵循任务指令。
推荐理由:论文提出无需训练的 Attention Relay,把 LLM 注意力权重传给嵌入模型,并在多个模型族组合上验证了指令感知效果。
arXiv 论文 arXiv:2610.05591 提出以重复 token 相对同数据一个 epoch 的价值和等算力新鲜数据的成本来定价,发现重复成本可由额外 epoch 数除以每参数唯一 token 数这一单变量刻画。
推荐理由:论文把重复 token 相对新鲜数据定价,给出多 epoch 预训练的临界轮数与数据排布影响,可作数据受限时的训练参考。
Yuval Reif 在 arXiv 发布论文(arXiv:2610.05597,COLM 2026),提出组合式 tokenization 方法 CoBPE,将短语表示为词元基础 token 加一组可复用表面修饰符,在嵌入空间组合并在输出端联合预测。在 780M 和 1.3B 规模的从零对照预训练中,CoBPE 在相同训练算力下将序列缩短 30%,下游平均性能较标准 BPE 提升 1.2 分。
推荐理由:论文给出 780M 与 1.3B 两个规模的对照预训练数据,读者可以据此评估组合式 tokenization 在等算力下的实际收益。
arXiv 论文 2610.05685 提出 BreadthKV,研究长链式推理(CoT)解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由:论文用 60 题端到端校准决定位宽分配,并给出 AIME 上 91% 对 40% 的触顶率对比,方法与数据都可复现。
arXiv 论文 2610.05774 提出 AdaSpark,一种在服务过程中在线学习验证宽度与候选接受概率的 DSpark 树验证调度器,无需预先 profile、校准或扫描。
推荐理由:论文给出在线学习调度器在多个数据集和目标模型上的加速对比,无需预先 profile 或校准即可接近最优树宽。
harshita-chopra 团队发布 Persona Policies(PPol),一个 Python 框架,用于为 LLM Agent 基准演化真实、多样的用户模拟器人格。
推荐理由:作者团队开源了配套论文的 PPol 框架,用进化搜索生成拟人用户人格来补足 LLM 智能体评测中模拟器过于配合的问题。
作者开源 AgentDojo-PROV,对 AgentDojo 基准(agentdojo==0.1.35,v1.2.2 四个套件)做无损捕获,并从转录记录纯函数式派生 W3C PROV-O 溯源图。
推荐理由:作者开源了覆盖六个模型的 AgentDojo 执行溯源语料与工具链,标注与图结构可离线重算而无需重跑模型,便于复用。
beita6969 在 GitHub 开源 ScienceClaw,一个基于 OpenClaw 网关的科研 Agent 系统,模型参数始终不更新,靠重放验证的可执行修复转化为版本化的 Skill 与 Operator 程序更新。在覆盖 23 个学科的 ScienceClaw-Eval 上,7 轮进化后 OOD 平均提升 16.45%,OOD 宏观成功率从 77.83 升至 91.30,98.23% 实例通过科学硬约束;消融显示分离提交 Skill 与 Operator 只保留 60% 增益。评测数据在 Hugging Face(beita6969/scienceclaw-64-samples),仓库采用 MIT 许可。
推荐理由:原文给出了完整的评测数字和消融对比,读者可以据此评估这种不改模型参数的程序级自进化框架究竟带来多少收益。
作者让本地运行的 Qwen2.5-3B-Instruct(Q8_0 GGUF,经 llama.cpp)回答 MMLU 三个学科的 416 道选择题,用 split conformal prediction 把输出概率转成带数学保证的答案集合:每个集合以至少 90% 概率包含正确选项。
推荐理由:作者用 split conformal prediction 给小模型输出加了 90% 覆盖保证,并给出 LAC 与 APS 的实测对比数据,方法可复现。
/u/KangarooAnxious9394 在 r/LocalLLaMA 发布预注册实验结果,用 Haiku 作廉价 agent、Sonnet 作强模型,在真实仓库提交上测试 20 多种让便宜编程模型接近贵模型的方法,每个协议先提交到 git 再运行。
推荐理由:作者用预注册实验对比了 20 多种让便宜模型接近贵模型的方法,给出了哪些有效哪些无效的量化结果和成本数据,方法可迁移。