KLD 并非最佳量化评测指标：蒸馏后还有 SFT 与 RL 阶段
作者认为 KLD 不是衡量量化模型优劣的唯一指标：蒸馏中 KL 损失优化之后，模型还会经历 SFT 和 RL 阶段，任务能力提升的同时 KLD 反而可能变差，且在热门 benchmark 上优化还会导致 benchmaxxing。KLD 只适合作为基于代表性数据（尤其是 base model 自生成数据）的初筛，真正选型应用自己的日常任务构建私有 benchmark 来测试。
#蒸馏
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分4242
Reddit · r/LocalLLaMAAI 评分1818 为开源 LLM 建立会话数据共享仓库与浏览器插件的社区提议
Reddit r/LocalLLaMA 用户提议建立公共仓库，供贡献者手动上传与模型对话的会话数据，并开发浏览器插件等工具自动收集。由于前沿模型禁止蒸馏、开源 LLM 训练预算有限，作者认为共享会话数据有助于提升开源模型能力，同时提出需兼顾数据匿名化、贡献者积分激励与付费下载分成机制。
Reddit · r/LocalLLaMAAI 评分2727 Reddit 用户探索领域专用本地模型：通用模型编排专注编码模型
一位 Reddit r/LocalLLaMA 用户提出从通用预训练加严格后训练构建领域专用本地模型：由通用模型负责推理并生成规格，专注编码模型负责实现，可编排并行以充分利用 GPU。作者认为这种“专家组+通用编排器”架构可能胜过 MoE，更适合 8-16GB 显存的低端 PC；其自用 28GB 显存（4070 加 5060ti 16GB）可跑双模型知识蒸馏与 RL 后训练。