Amil Khan发布PACK3D论文：坐标RoPE改进3D打包注意力

Amil Khan 在 arXiv 发布论文（arXiv:2610.38694，已被 NeurIPS 2026 接收为海报），提出 PACK3D——一种局部-全局注意力算子，将内存布局与注意力几何分离：局部邻域注意力保持精确，远距离上下文压缩为 3D 块摘要，并使用基于真实 token 网格坐标的 axial RoPE 来索引查询-键交互。 论文中的实验结果显示：合成实验中，学习式位置嵌入和打包序列 RoPE 在 Morton、块连续及随机重打包下全部失效，而 axial 网格坐标 RoPE 保持精确；在 Allen WTC-11 hiPSC 显微数据上，PACK3D 超过参数匹配的 3D U-Net 和学习位置基线；其融合 Triton 实现在 65k tokens 下达到与窗口注意力同等的延迟。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。