跳到正文
我的
Hugging Face · 新模型:abliterated·· 11 小时前AI 评分40

Ornith-1.5-35B-A3B-Abliterated 发布 MLX 3-bit 量化版,适配 24GB Apple Silicon Mac

choppedgarlic/Ornith-1.5-35B-A3B-Abliterated-MLX-Q3

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/choppedgarlic/Ornith-1.5-35B-A3B-Abliterated-MLX-Q3

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Hugging Face 上线 choppedgarlic/Ornith-1.5-35B-A3B-Abliterated-MLX-Q3,这是 Ornith 1.5 35B-A3B 的 abliterated 版本 MLX 3-bit 纯文本权重,三个 safetensors 分片约 14 GB,面向 24 GB Apple Silicon Mac。配套仓库 jjakemaness/ornith-omlx-24gb 安装 oMLX 0.7.3 与 Pi 1.5.0,进程内存上限 18 GB、并发请求 1、启动缓存块 32,上下文窗口被限制在 65,536 tokens(原生 262,144 tokens),最大输出 32,768 tokens。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。