Reddit · r/LocalLLaMA· /u/textclf·· 6 天前AI 评分44
ThousandML 开源 Training Factory:基于 QLoRA 微调 4-bit 量化模型
Training Factory from ThousandML
来源与原文
Reddit · r/LocalLLaMA
作者:/u/textclf
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xbg3xl/training_factory_from_thousandml/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ThousandML 发布开源微调平台 Training Factory,用 QLoRA 对 4-bit 量化模型做微调以降低 GPU 成本。其采用的 CQ(Coded Quantization)是无校准量化,效果与主流量化相当,已提供 Qwen3.8-27B-CQ-4bit、Llama-3.1-8B-Instruct-CQ-4bit、Llama-3.3-70B-Instruct-CQ-4bit 等底座,并支持用 vLLM 加载 LoRA adapter 部署。
来源:Reddit · r/LocalLLaMA · reddit.com