KLD 被误解了：量化模型评估指标的局限分析

KLD 衡量量化模型与基座模型在各 token 上概率分布的差异平均值，但不能作为量化模型的通用质量排名。作者指出用随机文本（如 Wikipedia 文章）计算 KLD 不代表模型推理时看到的自生成 token，建议改用基座模型生成数据并对提示词 token 计零权重；且校准数据与评估数据同源、或对量化 scale 参数做微调，都会让 KLD 虚高。KLD 只能作诊断工具，不能反映模型实际任务表现。