arXiv · cs.CL· Avichal Sahai·· 21 天前精选AI 评分62
arXiv 论文：三值语言模型导出时的 bf16 转换可抵消大部分低学习率代码改动
Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
来源与原文
arXiv · cs.CL
作者：Avichal Sahai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.07853v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文（arXiv:2610.07853）审计 BitNet b1.58、Falcon-E、BitCPM 等三值语言模型的导出管线，发现潜在权重先转 bf16 的流程会翻转部分三值码：已发布检查点中 Falcon-E 与 BitCPM 有 0.83-1.77% 的码不一致，BitNet 2B-4T 为 1.530%。在低学习率微调端点，该导出使 Falcon-E-1B-Base 的 greedy GSM8K strict accuracy 从 58.79% 跌至 0.78%，BitCPM-CANN-0.5B 从 36.13% 跌至 0.39%；直接写入训练量化器的码或微调 bf16 输入两种补救方案均在三个模型上达到 4 点非劣性标准。
推荐理由
论文审计了三家实验室的导出管线，指出 bf16 转换会抵消低学习率微调的代码改动，并验证了两种补救方案。
来源：arXiv · cs.CL · arxiv.org