跳到正文
Hugging Face · 新模型:abliterated·· 22 天前精选AI 评分56

shamidk 发布 Apex Flash 1 abliterated 的 DS4 混合 Q2 GGUF 量化版

shamidk/apex-flash-1-abliterated-DS4-Q2-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/shamidk/apex-flash-1-abliterated-DS4-Q2-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版,采用 IQ2_XXS 与 Q2_K 混合量化配方,文件 89.88 GiB、含 1,412 个张量,省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测,解码速度中位数 11.13 tokens/s,有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过;作者明确说明 abliteration 只针对拒绝行为,不代表能力提升,Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。

推荐理由

这是一次量化转换加实测记录,作者给出了具体推理速度、质量测试结果和明确的未验证范围,便于读者自行评估可用性。

来源:Hugging Face · 新模型:abliterated · huggingface.co