跳到正文

内容形态

论文与研究 最新动态

论文与技术报告:对齐机制、人格可控性、评测方法与能力边界的新发现。

403 条精选近 30 天 403 条共收录 2,997 条

更新

精选归档 · 第 19 页

10月6日周二第 361–380 条
  1. arXiv · cs.AI53

    OR-Bench 诊断 VLM 物体旋转推理缺陷并提出 RotationCue 改进

    arXiv 论文 2610.05715 提出 OR-Bench,用 8 项任务评测 12 个 VLM 的物体旋转推理能力,发现检测任务接近 100% 准确但角度估计接近随机,91.8–100% 的预测集中在 0°、90°、180°,称为 canonical-angle collapse。

    推荐理由:论文用线性探针证明 VLM 已编码旋转信息却未使用,并给出可复用的 RotationCude 解码器改进方案。

  2. arXiv · cs.AI52

    arXiv 论文提出测量优先的 Agentic 榜单审计框架并复测 SWE-bench Verified 污染差距

    arXiv 论文提出测量优先的审计框架,将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道,在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed,但 4 个配置确认了污染事件。

    推荐理由:论文提出按证据类型区分污染声明的审计框架,并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。

  3. arXiv · cs.AI52

    Infinite-Dreamer:用图像编辑世界模型合成数据训练 GUI Agent

    论文提出 Infinite-Dreamer,一种免仿真的数据合成方法,通过像素级图像编辑世界模型将 GUI 状态转移建模为图像编辑任务,利用 VLM 将动作引起的 UI 变化描述为结构化 delta-text,再微调图像编辑骨干网络合成逼真的截图过渡,生成单帧视觉鲁棒性数据与多步想象轨迹。

    推荐理由:论文用图像编辑世界模型合成 GUI 训练数据,仅凭合成数据微调 Qwen3-VL 即在 AndroidWorld 等基准上超过基线。

  4. arXiv · cs.CL65

    MemStrata 论文:本地 Qwen 3.8 27B 读取器在 LongMemEval-500 达 95% 源感知准确率

    论文提出源感知评分方法,由裁判先对照完整对话源再评判系统答案,并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。

    推荐理由:论文用源感知评分重新衡量长对话记忆基准,同一答案在两种评分下差距明显,提示仅对照参考答案的榜单可能低估系统。

  5. arXiv · cs.CL52

    TeleTune:从离线遥测日志进化 Agent 技能库的框架

    论文提出 TeleTune 框架,从无目标标注、不可重放且任务交错的离线用户遥测日志中学习文本技能库,用日志轨迹上的动作预测误差提出库编辑,仅保留能提升留出集动作预测准确率的修改。

    推荐理由:论文给出从离线遥测日志学习 Agent 技能库的完整框架,并报告在 WorkArena 和 Online-Mind2Web 上对多个基线的量化对比。

  6. arXiv · cs.CL52

    uTTT:跨层共享测试时记忆的 Universal Test-Time Training 架构

    论文提出 Universal Test-Time Training(uTTT),让所有层读写同一份在线更新的共享记忆,使记忆在时间与深度两个维度上循环,并给出 uTTT-MoE 与 uTTT-Dense 两种实现。

    推荐理由:论文提出让各层共享同一测试时记忆的 uTTT 架构,并给出 RULER 与新视角合成数据,可对照层私有记忆方案评估收益。

  7. arXiv · cs.CL62

    DelegationBench:评测 AI Agent 何时该先询问再行动

    Shiva Pochampally 在 arXiv 发布 DelegationBench,包含 156 个场景、四种响应(行动、请求许可、询问缺失信息、拒绝),多数场景以改变单一特征的配对形式出现。

    推荐理由:原文用配对场景拆解了单一一致性分数的三种误导,并给出应分开报告的评测建议,方法可迁移到 Agent 决策评测。

  8. arXiv · cs.CL60

    arXiv 预注册研究:评测 harness 修复的到底是什么

    arXiv 论文 2610.05533 通过预注册研究分析 harness 搜索带来的分数提升来源,覆盖 3 个小模型、3 个基准、GEPA 搜索臂和 6 种注入的评测缺陷,报告全部 47 个主要终点。

    推荐理由:预注册研究拆解了 harness 搜索带来的分数提升来源,并给出六种评测缺陷在复现中被掩盖的比例,对评测方法设计有直接参考价值。

  9. arXiv · cs.CL59

    arXiv 论文提出 CAP 指标发现被抑制的 LLM 安全特征

    arXiv 论文(arXiv:2610.05541)提出反事实激活势 CAP,量化被抑制安全特征的潜在激活倾向,并给出两阶段筛选算法 CSFD,从数十万 transcoder 特征中定位候选安全特征。

    推荐理由:论文提出量化被抑制安全特征的 CAP 指标和两阶段筛选算法,实验覆盖 Gemma、Qwen、Llama 五个模型,可作机制可解释性方法的补充。

  10. arXiv · cs.CL58

    Attention Relay:无需训练让文本嵌入模型获得指令感知能力

    arXiv 论文(arXiv:2610.05564)提出 Attention Relay 方法,将指令微调 LLM 产生的注意力权重传递给 Transformer 嵌入模型自身的注意力,使嵌入模型无需训练即可遵循任务指令。

    推荐理由:论文提出无需训练的 Attention Relay,把 LLM 注意力权重传给嵌入模型,并在多个模型族组合上验证了指令感知效果。

  11. arXiv · cs.CL52

    arXiv 论文量化重复 token 价值,解析多 epoch 预训练的缩放几何

    arXiv 论文 arXiv:2610.05591 提出以重复 token 相对同数据一个 epoch 的价值和等算力新鲜数据的成本来定价,发现重复成本可由额外 epoch 数除以每参数唯一 token 数这一单变量刻画。

    推荐理由:论文把重复 token 相对新鲜数据定价,给出多 epoch 预训练的临界轮数与数据排布影响,可作数据受限时的训练参考。

  12. arXiv · cs.CL52

    CoBPE 组合式 tokenization 论文:序列缩短 30%,下游平均提升 1.2 分

    Yuval Reif 在 arXiv 发布论文(arXiv:2610.05597,COLM 2026),提出组合式 tokenization 方法 CoBPE,将短语表示为词元基础 token 加一组可复用表面修饰符,在嵌入空间组合并在输出端联合预测。在 780M 和 1.3B 规模的从零对照预训练中,CoBPE 在相同训练算力下将序列缩短 30%,下游平均性能较标准 BPE 提升 1.2 分。

    推荐理由:论文给出 780M 与 1.3B 两个规模的对照预训练数据,读者可以据此评估组合式 tokenization 在等算力下的实际收益。

  13. GitHub · 去对齐工具与仓库58

    AgentDojo-PROV 发布 LLM Agent 执行溯源语料库与工具链

    作者开源 AgentDojo-PROV,对 AgentDojo 基准(agentdojo==0.1.35,v1.2.2 四个套件)做无损捕获,并从转录记录纯函数式派生 W3C PROV-O 溯源图。

    推荐理由:作者开源了覆盖六个模型的 AgentDojo 执行溯源语料与工具链,标注与图结构可离线重算而无需重跑模型,便于复用。

  14. GitHub · 去对齐工具与仓库67

    ScienceClaw 开源:不改模型参数的科研 Agent 自进化系统

    beita6969 在 GitHub 开源 ScienceClaw,一个基于 OpenClaw 网关的科研 Agent 系统,模型参数始终不更新,靠重放验证的可执行修复转化为版本化的 Skill 与 Operator 程序更新。在覆盖 23 个学科的 ScienceClaw-Eval 上,7 轮进化后 OOD 平均提升 16.45%,OOD 宏观成功率从 77.83 升至 91.30,98.23% 实例通过科学硬约束;消融显示分离提交 Skill 与 Operator 只保留 60% 增益。评测数据在 Hugging Face(beita6969/scienceclaw-64-samples),仓库采用 MIT 许可。

    推荐理由:原文给出了完整的评测数字和消融对比,读者可以据此评估这种不改模型参数的程序级自进化框架究竟带来多少收益。

  15. GitHub · 灵魂体仓库60

    conformal-llm:用保形预测为 Qwen2.5-3B 的 MMLU 答案生成带 90% 覆盖保证的选项集合

    作者让本地运行的 Qwen2.5-3B-Instruct(Q8_0 GGUF,经 llama.cpp)回答 MMLU 三个学科的 416 道选择题,用 split conformal prediction 把输出概率转成带数学保证的答案集合:每个集合以至少 90% 概率包含正确选项。

    推荐理由:作者用 split conformal prediction 给小模型输出加了 90% 覆盖保证,并给出 LAC 与 APS 的实测对比数据,方法可复现。

  16. Reddit · r/LocalLLaMA68

    实测 20 多种方法让便宜编程模型表现接近贵模型

    /u/KangarooAnxious9394 在 r/LocalLLaMA 发布预注册实验结果,用 Haiku 作廉价 agent、Sonnet 作强模型,在真实仓库提交上测试 20 多种让便宜编程模型接近贵模型的方法,每个协议先提交到 git 再运行。

    推荐理由:作者用预注册实验对比了 20 多种让便宜模型接近贵模型的方法,给出了哪些有效哪些无效的量化结果和成本数据,方法可迁移。