arXiv · cs.AI· Amil Khan·· 1 天前AI 评分30
几何很重要：PACK3D 重新设计打包 3D 注意力的位置机制
Geometry Matters in Packed 3D Attention
来源与原文
arXiv · cs.AI
作者：Amil Khan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38694v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 PACK3D，一种将内存布局与注意力几何分离的局部-全局注意力算子：局部邻域注意力保持精确，远距离上下文压缩为 3D 块摘要，并用基于真实 token 网格坐标的 axial RoPE 索引查询-键交互。合成实验中，学习式位置嵌入和打包序列 RoPE 在 Morton、块连续及随机重打包下全部失效，axial 网格坐标 RoPE 保持精确。在 Allen WTC-11 hiPSC 显微数据上，PACK3D 超过参数匹配的 3D U-Net 和学习位置基线；融合 Triton 实现在 65k tokens 下达到窗口注意力同等延迟。
来源：arXiv · cs.AI · arxiv.org