Reddit · r/LocalLLaMA· /u/turtleninja99·· 9 天前AI 评分53
Qwen Flash Next 在 Mac Mini 上可不满内存运行：SSD 流式不同内存占用的实测结果
Qwen Flash Next on Mac Mini is runnable without maxing out your memory - results of different memory usage for ssd streaming
来源与原文
Reddit · r/LocalLLaMA
作者：/u/turtleninja99
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8m9rg/qwen_flash_next_on_mac_mini_is_runnable_without/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next（Unsloth UD-Q4_K_XL 量化）的实测结果，模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制，decode 使用训练出的 lookahead 模型提前从 SSD 取专家；满内存约 29 tks 解码，减 4GB 后约 26 tks，非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。
来源：Reddit · r/LocalLLaMA · reddit.com