Reddit · r/LocalLLaMA· /u/Spectra-Global·· 21 天前AI 评分45
用 FFT 替换 AdamW 优化器状态，微调 8B/70B 模型时 VRAM 减半
We swapped AdamW's optimizer states for a Fast Fourier Transform (FFT) to cut VRAM in half. Anyone else trying non-quantization methods?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Spectra-Global
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyihlz/we_swapped_adamws_optimizer_states_for_a_fast/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一组开发者在微调 8B 和 70B 模型时，用 FFT 在频域压缩 AdamW 优化器状态，替代 8-bit 量化，VRAM 占用减少约 50%，且避免收敛退化。代价是每步训练因 FFT 运算略慢，但可避免 OOM 并显著增大 batch size。团队已开放内部 Colab 环境和基线权重供测试。
来源：Reddit · r/LocalLLaMA · reddit.com