跳到正文
Reddit · r/LocalLLaMA· /u/textclf·· 6 天前AI 评分44

ThousandML 开源 Training Factory:基于 QLoRA 微调 4-bit 量化模型

Training Factory from ThousandML

来源与原文

Reddit · r/LocalLLaMA

作者:/u/textclf

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xbg3xl/training_factory_from_thousandml/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ThousandML 发布开源微调平台 Training Factory,用 QLoRA 对 4-bit 量化模型做微调以降低 GPU 成本。其采用的 CQ(Coded Quantization)是无校准量化,效果与主流量化相当,已提供 Qwen3.8-27B-CQ-4bit、Llama-3.1-8B-Instruct-CQ-4bit、Llama-3.3-70B-Instruct-CQ-4bit 等底座,并支持用 vLLM 加载 LoRA adapter 部署。

来源:Reddit · r/LocalLLaMA · reddit.com