arXiv · cs.AI· Zhuomin Chen·· 8 天前AI 评分38
Tandem:在移动 NPU 上服务混合线性注意力 GUI 智能体
Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs
来源与原文
arXiv · cs.AI
作者:Zhuomin Chen
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26660v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Tandem,一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时,通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上,Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%,文本每步能耗降低 33%,模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。
来源:arXiv · cs.AI · arxiv.org