跳到正文
  1. arXiv · cs.CL59

    arXiv 论文提出模型与执行框架联合评测框架,解析 Agent 失败该归咎谁

    arXiv:2610.32483 提出评测 LLM Agent 执行框架(harness)与底层模型交互的框架,包含有效完成率(VCR)、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型,加上两组原生固定组合,共 111 个评测设置、52,168 条轨迹;结果显示框架排名随模型和基准变化,OpenCode 跨模型表现第一,DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。

    推荐理由:论文把 Agent 拆成模型与执行框架两部分联合评测,给出五项指标和 52,168 条轨迹的实测,可帮助读者理解框架排名为何随模型和基准而变。

  2. arXiv · cs.AI58

    arXiv 论文提出用低比特精度压缩语言模型 n-gram 嵌入表

    Stephen Chung 在 arXiv 发布论文,研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上,4-bit 表节省约 75% 表内存,同时保留加表带来的验证损失改善的 99% 以上;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存,困惑度增加低于 1.2%。更低位宽性能下降更大,但短时微调可恢复大部分损失,将省出的内存换成更大表还能超越原全精度表的性能。

    推荐理由:论文系统比较了不同量化和位宽分配方案,给出从零训练与现有大模型两组数据,可帮助读者评估低比特 n-gram 表的实际收益。

  1. arXiv · cs.CL54

    SPARE 提出基于路由熵的 MoE 分层剪枝稀疏度分配方法

    论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1

    推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。

  1. GitHub · 灵魂体仓库69

    bethehand 开源 lab1:从零预训练到 aha moment 到编码 Agent 的十五个实验

    作者开源 lab1 仓库,在四张 RTX 4090 上完成十五个实验:95M/201M 从零预训练(FineWeb-Ede 困惑度 30.2/18.1)、GSM8K 上 GRPO 使 Qwen2.5-1.5B-Instruct pass@1 提升 0.21、Countdown pass@1 从 0.02 提至 0.98,以及四阶段编码 Agent 课程。报告给出每个实验的完整设置、表格与预测账本,bench_observation_price.py 可在一小时内测量任意 Hugging Face 模型移除可见测试后的性能损失(RL 模型损失 0.16 且全部落在修复环节)。

    推荐理由:作者在四张 RTX 4090 上跑通十五个实验并开放全部脚本与预测账本,读者可逐条对照复现 RL 与 SFT 的真实增益。

  2. arXiv · cs.CL53

    EngramEdit:通过条件记忆实现 LLM 解耦知识更新

    Hongru Cai 等人提出 EngramEdit,通过条件记忆架构(如 DeepSeek Engram)实现解耦的 LLM 事实知识更新,保持 Transformer 主干固定。方法先计算使模型在多种表达下都能预测更新事实的目标记忆表示,再联合更新共享 n-gram 嵌入,并对频繁复用的嵌入施加更强惩罚以保护无关知识。实验显示编辑成功率接近完美,更新后的知识可用于未见表达和多跳推理,CoT 提示下准确率接近最强基线的三倍,且无关知识与通用能力在事实更新累积时基本保持不变。论文地址 https://arxiv.org/abs/2610.10533v1

    推荐理由:论文给出了一种在固定 Transformer 主干上编辑条件记忆事实知识的方法,CoT 场景准确率约为最强基线的三倍。

  1. GitHub · 去对齐工具与仓库60

    RuMed ICD-10 编码实测:Qwen3-8B QLoRA 一轮微调不敌 TF-IDF 基线

    作者在 RuMedTop3(俄语患者主诉预测 ICD-10 编码,105 类,测试集 n=822)上对比了 TF-IDF、DeepSeek 提示/RAG、Qwen3-8B QLoRA 与 Kev-0.8B 直选五种方法。TF-IDF+逻辑回归 Hit@1 49.03 / Hit@3 72.63,零样本 DeepSeek 仅约 33;Qwen3-8B 在 Apple M2 Pro 上用 MLX 训练一轮 QLoRA(6 小时 32 分钟),Hit@1 从基座 7.66 提升到 35.64(配对差 +27.98 点)但仍低于 TF-IDF;Kev-0.8B 零样本 Hit@1 12.41,迁移效果差,中位推理延迟 523 ms。

    推荐理由:同一测试集上系统对比了线性基线、API 提示、RAG、QLoRA 和小型模型直选五种方案,并给出置信区间与配对差异,结论克制可复核。

  1. arXiv · cs.AI52

    arXiv 论文提出测量优先的 Agentic 榜单审计框架并复测 SWE-bench Verified 污染差距

    arXiv 论文提出测量优先的审计框架,将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道,在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed,但 4 个配置确认了污染事件。

    推荐理由:论文提出按证据类型区分污染声明的审计框架,并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。

已经到底了