跳到正文
Reddit · r/LocalLLaMA· /u/exaknight21·· 15 小时前AI 评分22

如何用 QLoRA 微调 Qwen3.5-9B 处理约 500 GB 多格式原始数据:一位本地部署用户的求助

I need to fine tune Qwen3.5-9B with QLora on about 500 GB of raw data (images/scanned documents/pdfs/word/excel) - what is the best way forward?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/exaknight21

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xffuvl/i_need_to_fine_tune_qwen359b_with_qlora_on_about/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit r/LocalLLaMA 用户用 8x T4 服务器部署 Qwen 3.5-9B Q5_K_XL,实现 87k 上下文、44 个 slot、单用户 35-40 tps,现想用 QLoRA 微调约 500 GB 的图像、扫描件、PDF、Word/Excel 数据。他持有 Mi50、V620、3060 等多块显卡但多台主板存在启动兼容问题,纠结于 3060 组合还是单价约 700 美元的单卡 R9700,并询问 unsloth 是否支持 Intel GPU。

来源:Reddit · r/LocalLLaMA · reddit.com