Reddit · r/LocalLLaMA· /u/magnus-m·· 7 天前AI 评分36
ISTA-DASLab 演示：用 SSD 流式预填充模型提升 Qwen3.8-27b 低量化精度
Improve Qwen3.8-27b low quants by using a prefiller model that streams from SSD
来源与原文
Reddit · r/LocalLLaMA
作者：/u/magnus-m
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xao7kx/improve_qwen3827b_low_quants_by_using_a_prefiller/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ISTA-DASLab 演示用从 SSD 流式读取的预填充模型恢复 Qwen3.8-27b 低量化的精度，同时保持低显存占用和快速解码。上下文超过约 4k 时速度相比不用预填充模型无损失，需 Nvidia Blackwell GPU 运行，图示为 MMLU-Pro 准确率，代码已提交至 HuggingFace。
来源：Reddit · r/LocalLLaMA · reddit.com