跳到正文
我的
Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分60

Harsha001 发布 Ripple-65B-abliterated-ROCmFPX 的 GGUF 量化版

Harsha001/Ripple-65B-abliterated-ROCmFPX

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Harsha001/Ripple-65B-abliterated-ROCmFPX

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Harsha001 发布了 ricursiveAI/Ripple-65B-Preview 的 ROCmFPX GGUF 量化文件,面向 AMD GPU(Strix Halo)与 ROCmFPX 版 llama.cpp fork。Q8_0 为 66.8 GB、KLD 0.0043,Q6_K 为 53.6 GB、KLD 0.0062,Q4_0_ROCMFP4_STRIX_A8 为 41.5 GB、KLD 0.022,比原版 Q4_K_M 的 0.038 误差低约 42%;纯 4bit 注意力 KLD 达 0.086 因此未发布。作者还附带了 DFlash2 草稿模型,在 NVIDIA GB10 上实测代码场景从 3.4 tokens/s 提升到 14.1 tokens/s,但尚未在 Strix Halo 上运行。

推荐理由

原文给出了各量化档的 KLD 与同 top token 比例对照,读者可据此判断 4bit 注意力为何被放弃以及 ROCmFPX 量化在 AMD GPU 上的取舍。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。