跳到正文
Reddit · r/LocalLLaMA· /u/sachasayan·· 18 天前AI 评分41

网友制作 Qwen3.5 2B/4B/9B 的 MLX 4-bit 本地运行包(含 abliterated 版本)

I put together some text-only Qwen3.5 2B, 4B and 9B MLX 4-bit packages (including abliterated variants) perfect for local use — have at 'em. :)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/sachasayan

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x12vox/i_put_together_some_textonly_qwen35_2b_4b_and_9b/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包,覆盖 2B、4B、9B 三个规模,各有原版和 Huihui abliterated 版本,均为去除视觉的纯文本模型,2B 版仅 1GB。模型已发布在 Hugging Face,作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。

来源:Reddit · r/LocalLLaMA · reddit.com