跳到正文
Hugging Face · 新模型:uncensored·· 16 天前精选AI 评分62

beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

beginning-ai/Qwen3.8-Flash-Next-Uncensored-NVFP4

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/beginning-ai/Qwen3.8-Flash-Next-Uncensored-NVFP4

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

推荐理由

原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

来源:Hugging Face · 新模型:uncensored · huggingface.co