arXiv · cs.AI· Yuhong Chou·· 18 天前AI 评分40
Orthros：面向高效 Transformer 的相位感知异构注意力
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
来源与原文
arXiv · cs.AI
作者：Yuhong Chou
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13735v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Orthros attention，通过相位感知解耦实现线性复杂度 prefilling 与全注意力解码，相比标准 Transformer 获得最高 21.9× prefilling 加速。该模块支持数据高效的 Transformer-to-Orthros 转换，转换后性能甚至超过原 Transformer。128K needle-in-a-haystack 测试接近满分，保持长上下文能力。
来源：arXiv · cs.AI · arxiv.org