Hugging Face · 新模型:abliterated·· 22 小时前精选AI 评分58
Tvene88 发布 QFN-C 组合版,Qwen3.8-Flash-Next 176.94B 单张 32GB GPU 跑出 524K 上下文
Tvene88/QFN-C-Qwen3.8-Flash-Next-Abliterated-GGUF
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Tvene88/QFN-C-Qwen3.8-Flash-Next-Abliterated-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Tvene88 在 Hugging Face 发布 QFN-C,把 Qwen3.8-Flash-Next(176.94B 参数)的 100.14 GiB GGUF 拆分组合,使其能在一张 RTX 5090(32GB 显存)加 96GB 内存上以 524,288-token 上下文跑出 41.6 tokens/s。所有非专家张量来自 huihui-ai 的 abliterated 版本(96 个张量经消融编辑),作者明确说明其拒绝行为未经评测;全程未训练或再量化,仅逐字节拷贝四个公开 GGUF 发行版的张量。速度依赖打了补丁的 llama.cpp(量化 KV 稀疏注意力加页锁定专家内存),配方、组装器、补丁和复现步骤在 GitHub 仓库公开,权重遵循 Qwen Community License 1.0。
推荐理由
原文给出了完整的张量组装配方、 KL 散度对照和实测吞吐,读者可以照着在 32GB 显卡上复现这套单卡大上下文部署。
来源:Hugging Face · 新模型:abliterated · huggingface.co