跳到正文
Hugging Face · 新模型:abliterated·· 15 天前精选AI 评分84

Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

shefowl/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-Hybrid-352E-4050-16GB-Generalist-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/shefowl/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-Hybrid-352E-4050-16GB-Generalist-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

推荐理由

原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

来源:Hugging Face · 新模型:abliterated · huggingface.co