Reddit · r/LocalLLaMA· /u/Dathide·· 2 小时前AI 评分20
TabbyAPI 能否像 Strata 一样运行 Qwen 3.8 Flash Next exl3 量化？
Is it possible to configure TabbyAPI to be like Strata for Qwen 3.8 Flash Next exl3?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Dathide
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhpfmg/is_it_possible_to_configure_tabbyapi_to_be_like/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 r/LocalLLaMA 用户询问能否把 TabbyAPI 配置得像 Strata 一样高效运行 Qwen 3.8 Flash Next 的 exl3 量化。其使用 cpu_moe_split_experts 选项（按层拆分专家、冷专家权重放系统内存、热专家驻留 VRAM）仅得 20 t/s，而 Unsloth UD Q4 可跑 70+ t/s。用户不确定 exl3 是否缺少 Strata 使用的 gguf 优化，想了解速度能否追平。
来源：Reddit · r/LocalLLaMA · reddit.com