Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分60
Harsha001 发布 Ripple-65B-abliterated-ROCmFPX 的 GGUF 量化版
Harsha001/Ripple-65B-abliterated-ROCmFPX
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Harsha001/Ripple-65B-abliterated-ROCmFPX
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Harsha001 发布了 ricursiveAI/Ripple-65B-Preview 的 ROCmFPX GGUF 量化文件,面向 AMD GPU(Strix Halo)与 ROCmFPX 版 llama.cpp fork。Q8_0 为 66.8 GB、KLD 0.0043,Q6_K 为 53.6 GB、KLD 0.0062,Q4_0_ROCMFP4_STRIX_A8 为 41.5 GB、KLD 0.022,比原版 Q4_K_M 的 0.038 误差低约 42%;纯 4bit 注意力 KLD 达 0.086 因此未发布。作者还附带了 DFlash2 草稿模型,在 NVIDIA GB10 上实测代码场景从 3.4 tokens/s 提升到 14.1 tokens/s,但尚未在 Strix Halo 上运行。
推荐理由
原文给出了各量化档的 KLD 与同 top token 比例对照,读者可据此判断 4bit 注意力为何被放弃以及 ROCmFPX 量化在 AMD GPU 上的取舍。
来源:Hugging Face · 新模型:abliterated · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。