SQuAT:球面格点向量量化感知训练
论文提出 SQuAT,一种面向十亿参数 LLM 的形状-增益向量量化感知训练(VQ-QAT)方法,用分离的 STE 对方向和增益分别更新,方向通过 E8 球面码本量化。其分布式最近邻分配方案将 VQ-QAT 训练时间缩短 12.8 倍,并扩展到 10B token。在 instruction-tuned LLaMA-3.2-1B/3B、Qwen3-4B 和 base Qwen3-1.7B 上,SQuAT 在相同码本和初始化下始终优于标准 VQ-QAT STE,达到 SOTA VQ-QAT 精度。