跳到正文
GitHub · 灵魂体仓库·· 12 天前精选AI 评分57

OpenBMB 发布 EC²-Bench:评测 LLM Agent 长程执行中的端云协作

OpenBMB/EC2-Bench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/OpenBMB/EC2-Bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

OpenBMB 发布 EC²-Bench(端云协作 Agent Benchmark),配套 arXiv 论文 arXiv:2610.17816。基准含 128 个可执行数字工作区任务(100 个带细粒度隐私标注,共 3,385 个敏感单元,LLM 判官对人工标签达 96.9% F1),在 OpenClaw 真实 Agent 环境中同时评任务表现、资源用量和隐私暴露三个维度,并对比 4 种端云协作策略。核心发现包括:以 Qwen3.5-2B 为边缘端时,Per-step Routing 将完成分从 12.75 提升到 39.97,仅花云端的 22.7% 成本;边缘模型增强到 Qwen3.7-Plus 后各策略完成分差距缩到 3.67 分,但隐私暴露差距仍达 66.23,性能差距收敛而隐私差距不收敛。

推荐理由

benchmark 同时评任务表现、资源开销和隐私暴露三个维度,结论指出更强的边缘模型缩小性能差距却缩小不了隐私差距。

来源:GitHub · 灵魂体仓库 · github.com