跳到正文
arXiv · cs.AI· Zhuomin Chen·· 8 天前AI 评分38

Tandem:在移动 NPU 上服务混合线性注意力 GUI 智能体

Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs

来源与原文

arXiv · cs.AI

作者:Zhuomin Chen

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.26660v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者提出 Tandem,一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时,通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上,Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%,文本每步能耗降低 33%,模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。

来源:arXiv · cs.AI · arxiv.org