Reddit · r/LocalLLaMA· /u/KriptacMessage·· 16 天前AI 评分43
zzpanic vllm-radiance 最终版：单卡 R9700 运行 qwen3.8-27b
Final revision of zzpanic vllm-radiance for 1 x R9700 GPU, qwen3.8-27b
来源与原文
Reddit · r/LocalLLaMA
作者：/u/KriptacMessage
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x3368a/final_revision_of_zzpanic_vllmradiance_for_1_x/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
zzpanic 发布其自建 vllm-radiance 推理构建的最终修订版，针对单张 R9700 GPU 运行 qwen3.8-27b。该版本加入 vllm 启动缓存以避免每次重启重新编译，并实现可用的 kv-offload 功能（vram-sysram-disk，带内存精简），使长上下文多智能体工作可在单卡上运行。作者表示已不求进一步提速，该构建参考了 Launch80 Discord 上多位社区成员的工作。
来源：Reddit · r/LocalLLaMA · reddit.com