跳到正文
  1. GitHub · 灵魂体仓库55

    llm-collusion-audit:用黑盒因果审计区分 LLM 定价是串谋执行还是锚定

    作者发布 llm-collusion-audit 仓库,在 Apart Research AI Collusion Sprint(2026 年 10 月 23 至 25 日)期间构建黑盒因果审计,从存档的重复定价博弈中重启并施加单一干预(强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方),区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。

    推荐理由:该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价,方法预注册、含失败结果,结论可直接用于 AI 串谋检测讨论。

  1. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

  2. GitHub · 3D 生成新仓库63

    code-model-reliability 开源代码模型能力与可靠性统一度量框架

    szymonkobus 发布 code-model-reliability 仓库,用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力(D50)和可靠性(D99)。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试;仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本,代码 MIT、数据 CC BY 4.0。

    推荐理由:用同一难度尺度同时刻画模型能力 D50 和可靠性 D99,覆盖 71 个模型配置的可复现评测框架。

  1. GitHub · 去对齐工具与仓库65

    Badrodro 实测三种 LLM 的 4-bit 权重量化格式质量差异

    Badrodro 发布 llm-4bit-quant-formats 仓库,在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%,但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内,未达到预先设定的 10% 阈值,因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型,无校准数据与速度能耗测量。

    推荐理由:作者预先设定了10%的决策阈值再实测,读者可以据此判断trellis量化是否值得在硬件里加解码器。

  2. GitHub · 去对齐工具与仓库56

    orioli/IM-LLM:完整产品知识图在 LLM 头脑风暴中始终是效率最低的条件

    orioli 发布 IM-LLM 仓库,含论文、代码与数据,检验窄上下文是否比完整产品图更高效。以微波炉创新矩阵(123 节点、246 条带类型边)为素材,claude-haiku-5-5 生成想法、claude-sonnet-5-5 盲评,主指标为每 10 万 token 产出的高分想法数(score ≥ 4.0)。主实验(580 次调用、2,892 个想法)与 50 想法/次的后续实验中,完整图在全部三个模型上都是效率最低的条件,约为其他条件的一半;需求切片与不给图无差别;按美元计 Haiku 每美元产出比 Opus 高 20-40 倍。论文在投,预印本链接待补。

    推荐理由:实验统一用每 10 万 token 的高分想法产出作指标,并给出三个模型的逐项数据,读者可以自行核对窄上下文是否更省。

  3. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

  4. Reddit · r/LocalLLaMA59

    论文提出 Virtual Head Attention:同时压缩 KV cache 并降低训练与 prefill FLOPs

    PaddlePaddle 团队在 arXiv 发布 Virtual Head Attention(VHA)论文,通过 Q Premix 和 Linear Postmix 两个线性操作同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量,推理时可折叠进投影层化为标准 GQA-2 架构。在 4K 上下文 50B token 预训练的四个规模上均超过 GQA 基线(+0.05% 至 +0.81%),KV cache 相比 GQA-8 减少 4 倍;在 30B-A3B MoE 模型上比 MLA 和 GQA-4 分别高 +0.70% 和 +2.60%,长上下文 RULER 平均分 84.4 对 GQA 的 73.0。

    推荐理由:论文给出 VHA 在多个规模和 MoE 模型上对 GQA、MLA 的对比数据,KV cache 压缩和 FLOPs 降幅都有具体数字可查。

  1. arXiv · cs.AI54

    用学习到的速度先验重定时机器人演示数据的 arXiv 论文

    Seungyong Moon 等提出从大规模演示数据中学习速度先验,根据任务指令、运动路径和沿线图像预测执行速度分布,用选定分位数定义一致的时钟来重定时各条演示。该先验在机器人遥操作和人类手持演示数据上拟合,用于在微调视觉-语言-动作(VLA)策略前将机器人演示重定时到手持节奏,并配实时最优控制层按预测节奏追踪动作块。在 120 个 RoboLab 任务上,用学到的时钟微调的策略成功率更高、jerk 最多减半;真实机器人上叠杯用时 3.50 秒,比默认策略的 6.02 秒快 1.72 倍,成功率相当(30 次试验成功 29 次)。论文:https://arxiv.org/abs/2610.32676v1

    推荐理由:提出用学到的速度先验统一重定时机器人演示数据,配合最优控制层追踪动作块,读者可关注其对 VLA 微调数据质量的处理思路。

  2. arXiv · cs.AI64

    MCP-Injector 论文:真实 MCP 故障下 LLM 智能体任务完成分下降 60%,120B 模型规模并未带来容错

    论文提出 MCP-Injector,一个可插入的协议感知故障注入中间件,其故障模型基于对 1,774 个开源 MCP 仓库中 57,240 条 issue 与 PR 的挖掘。在跨两个 gpt-oss 骨干(20B、120B)和三种 Agent 框架的 1,350 组实验中,故障导致任务完成分从 8.08 降到 3.23(满分 10),且 120B 在故障下保留的无故障得分比例与 20B 无显著差异(p = 0.96),故障下完成率甚至更低(91.1% vs 95.6%)。作者认为框架级错误处理比模型规模更重要,建议将协议感知故障注入作为能力基准之外的补充评测维度。论文已被 NeurIPS 2026 接收为 poster。

    推荐理由:论文提出对 MCP 工具调用路径做故障注入的评测方法,并给出模型规模与容错关系的实测数据。

  3. arXiv · cs.AI59

    IGG:面向可见性约束的交互式 GUI Grounding 基准

    研究者推出 IGG 基准,要求智能体先通过交互使目标可见再点击,含 16 个 GUI 环境、601 个任务和七类可见性约束。人类准确率 94.6%,GPT-5.5 为 79.4%,最强开源 VLM 仅 31.6%;干预实验显示为 Qwen3-VL 代做交互可将其准确率从 30.8% 提升至 81.9%,瓶颈在于执行揭示交互而非识别目标。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文用两组干预实验定位出瓶颈在执行揭示交互而非目标识别,方法可迁移到 GUI 智能体的评测设计。

  4. arXiv · cs.CL59

    arXiv 论文提出模型与执行框架联合评测框架,解析 Agent 失败该归咎谁

    arXiv:2610.32483 提出评测 LLM Agent 执行框架(harness)与底层模型交互的框架,包含有效完成率(VCR)、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型,加上两组原生固定组合,共 111 个评测设置、52,168 条轨迹;结果显示框架排名随模型和基准变化,OpenCode 跨模型表现第一,DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。

    推荐理由:论文把 Agent 拆成模型与执行框架两部分联合评测,给出五项指标和 52,168 条轨迹的实测,可帮助读者理解框架排名为何随模型和基准而变。

  5. arXiv · cs.AI55

    多模态智能体论文提出非平稳响应下科学仪器的自适应控制框架

    arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。

    推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。

  6. arXiv · cs.CL59

    FD-LHB 基准揭示全双工语音模型长对话为何崩溃

    研究者提出 Full-Duplex Long-Horizon Benchmark(FD-LHB),测试五个全双工语音模型的长对话能力,发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction(丢弃首个 KV 条目),重复则受模型自身近期输出强化;提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复,在最长一小时的重放对话中实时运行并显著减少对话崩溃。

    推荐理由:论文诊断出全双工语音模型长对话崩溃的两个机制,并给出无需重训练的两项修复方法,具可迁移性。

  7. arXiv · cs.CL53

    DMAIC-Bench 提出:评测 LLM 智能体在多阶段分析任务中的自我克制能力

    arXiv 论文 DMAIC-Bench(arXiv:2610.32305)提出评测 LLM 智能体自我克制能力的基准,用 97 个种子任务、覆盖四个行业 15 个工业案例,基于 Lean Six Sigma 的显式统计前提构建,配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示,GO 决策路由准确率平均 92%,NO-GO 决策仅 19%;盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动,区间 31% 至 61%。论文含 54 页 14 图,代码与数据已公开。

    推荐理由:论文用反事实变体把自我克制从任务完成度里拆出来测,给出 GO/NO-GO 路由准确率的量化差距,可作为评估智能体决策的新方法参考。

  8. arXiv · cs.AI63

    MemCryst 论文提出记忆与技能双向学习的终身上下文适应框架

    Tianyi Xu 在 arXiv 发布 MemCryst 框架,通过记忆与技能的双向学习实现终身 LLM 智能体的上下文适应,冻结语言模型,任务结果只调整记忆记录的检索影响而不改写内容。在覆盖具身控制、长文档阅读、对话、数学和代码的十个场景中,MemCryst 在七个已报告对比中领先;ALFWorld 上联合服务成功率为 63.17%,高于仅用记忆的 59.83% 和仅用技能的 50.50%。

    推荐理由:论文提出记忆与技能双向学习框架,并用跨十个场景的对照数据说明联合服务的增益,方法可迁移到终身智能体设计。

  9. arXiv · cs.CL57

    SWE-Shift 基准发布:评估编码智能体在执行中环境变化下的表现

    论文提出 SWE-Shift,一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准,包含 120 个场景、12 类变更族,并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率 20.34%;工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1

    推荐理由:这个基准专门测任务执行中途环境被改动时的表现,17 个系统的成绩都下降,暴露了保留已有工作与刷新证据的短板。

  10. arXiv · cs.CL57

    北海道大学医院发布院内封闭网络临床智能体平台 LLENS 并完成评估

    论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS,使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6(约 1 万亿参数),自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出,在 2026 年日本医师执照考试模拟中得 480/500 分;在 180 道基于医院文档的问题上,交互式工具访问准确率 97.2%,高于固定检索的 81.3%(差距 15.9 个百分点,95% CI 10.9-21.3)。

    推荐理由:在医院封闭网络内部署开源大模型智能体的完整实测,对比了三种检索方式的准确率,方法可迁移到其他内网场景。

  11. arXiv · cs.CL53

    arXiv 论文提出记忆感知奖励模型,学习 LLM 记忆使用的人类偏好

    一项 arXiv 研究(arXiv:2610.31272)收集了 87 名参与者约 1,000 条成对偏好判断,发现基于记忆的 LLM 回复并不总是比无记忆回复更受用户偏好,部分场景用户反而强烈偏好后者,自动评估器也更偏向使用记忆的回复。论文提出的记忆感知奖励模型达到 72.8% 的偏好预测准确率,超过现有基线,主张将记忆使用的评估与优化目标对齐到用户偏好。

    推荐理由:论文用用户自己的对话和记忆做偏好判断,指出记忆加入并不总被用户偏好,并给出可复用的记忆感知奖励模型方法。

  12. arXiv · cs.CL55

    arXiv 论文提出 StateTrack-Bench 基准刻画长对话中的状态完整性崩塌

    研究者在长程对话中定义并量化“状态完整性崩塌”,即模型记住了约束却不再对后续轮次执行,并发布 StateTrack-Bench 基准。七个模型快照的严格联合保持率在 62.4% 到 100.0% 之间,forked recall 审计显示 88.6% 的失败属行为漂移而非遗忘;Structured State Anchoring 方法在不可变约束上最多提升 24.4 个百分点。论文已被 EMNLP 2026 主会接收。

    推荐理由:论文把长对话中记住了约束却不再执行的现象量化命名,88.6% 失败属行为漂移的发现对评测设计有参考价值。

  13. arXiv · cs.CL55

    研究用 LLM 智能体审计 Slovak FineWeb2 语料,发现 5.32% 机器生成内容农场

    论文提出用 LLM 智能体作为语料调试器审计多语言数据管线,通过只读、有预算的 API 探索语料并将发现编译成可执行测试,再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上,三次运行各花费 $2.21-$2.84,共发现四个现象的七项问题,最大的是 1,408,437 篇(5.32%)通过管线过滤的机器生成内容农场;盲测支持 7 项中的 6 项(缺陷率 .53-1.00 对随机对照的 .08)。编译后的测试套件 0.7 秒即可扫全语料无需 GPU,而单次 LLM 分类需 $12k-$90k;最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。

    推荐理由:论文把 LLM 当语料调试器用一次而非逐条分类,并对比静态采样基线的成本与效果,方法对比值得数据质量工作者参考。