arXiv · cs.CL· Jophin John·· 14 天前AI 评分51
巴伐利亚语、德语与英语上的量化鲁棒性研究：4-bit 量化对 7B–10B 模型影响不稳定
Lightweight but Linguistically Fair? Quantisation Robustness across Bavarian, German, and English
来源与原文
arXiv · cs.CL
作者：Jophin John
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18343v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.18343 用 BAVGROUND 基准在巴伐利亚语、标准德语和英语上评估 14 个开源 7B–10B 指令模型的量化鲁棒性。8-bit GPTQ 接近 BF16 且基本保持三语相对行为；4-bit GPTQ 与 AWQ 使平均准确率下降约 1.4–1.5 个百分点，改变 11.9–16.0% 的 BF16 决策，且 5 个模型的自由文本评测显示 4-bit 压缩在选择题准确率变化不大时也可能劣化生成回答。受影响最大的语言随模型、量化方法和校准数据而变，不能仅凭聚合多语言准确率衡量。
来源：arXiv · cs.CL · arxiv.org