Reddit · r/LocalLLaMA· /u/textclf·· 4 天前AI 评分54
ThousandML 发布 Training Factory 平台,支持 4-bit QLoRA 微调开源模型
4-bit QLoRA with Training Factory from ThousandML
来源与原文
Reddit · r/LocalLLaMA
作者:/u/textclf
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xcz58l/4bit_qlora_with_training_factory_from_thousandml/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/textclf 发布了用于微调开源模型的 Training Factory 平台,主打对 4-bit 量化模型做 QLoRA 而非全精度微调以降低 GPU 成本。所用 CQ(Coded Quantization)为免校准量化,作者在 Qwen 3.8 27B 上用 Wikitext-2 对比称其 KLD 优于 unsloth-bnb-4bit(磁盘占用 18GB 对 22.4GB,Top 1% 一致率 92.419% 对 91.954%);在 Alpaca 数据集上用单张 A40(48GB)跑通训练,峰值 PyTorch 分配显存 25.5 GiB、稳态中位每步约 14.99 秒。
来源:Reddit · r/LocalLLaMA · reddit.com