arXiv · cs.CL· Ke Wan·· 18 天前AI 评分33
RAMP：面向循环深度语言模型高效 prefill 的循环自适应混合精度方法
RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models
来源与原文
arXiv · cs.CL
作者：Ke Wan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13041v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
RAMP（Recurrent Adaptive Mixed Precision）是一种针对循环深度语言模型长上下文 prefill 的自适应混合精度方法。研究发现循环深度早期引入的量化误差会被后续更多循环步骤衰减，因此对低精度计算前置、末端恢复高精度。在最长 4K 上下文上，RAMP 在 NVIDIA H100 上实现最高 1.16x 端到端首次 prefill 加速，延迟降低 13.9%，同时保持接近全精度的质量。
来源：arXiv · cs.CL · arxiv.org