FidelityQ:面向超低比特语言模型量化的预测保真度保持框架
arXiv 论文提出 FidelityQ 标量量化框架,在权重低至 2 bit 时保持大语言模型的预测保真度。核心包括 Hadamard 混合的 IAC 编码与基于教师-学生散度尾部分配校准预算的 KIC 方法;LLaMA-2-7B 在 W2A16 下 WikiText2 困惑度为 6.62,将 W2A4KV4 此前最好结果从 8.31 提升至 6.96,线性层权重内存相对 FP16 减少 8.0x。论文链接 https://arxiv.org/abs/2610.14934v1。