巴伐利亚语、德语与英语上的量化鲁棒性研究:4-bit 量化对 7B–10B 模型影响不稳定
arXiv 论文 2610.18343 用 BAVGROUND 基准在巴伐利亚语、标准德语和英语上评估 14 个开源 7B–10B 指令模型的量化鲁棒性。8-bit GPTQ 接近 BF16 且基本保持三语相对行为;4-bit GPTQ 与 AWQ 使平均准确率下降约 1.4–1.5 个百分点,改变 11.9–16.0% 的 BF16 决策,且 5 个模型的自由文本评测显示 4-bit 压缩在选择题准确率变化不大时也可能劣化生成回答。受影响最大的语言随模型、量化方法和校准数据而变,不能仅凭聚合多语言准确率衡量。