Reddit · r/LocalLLaMA· /u/sachasayan·· 18 天前AI 评分41
网友制作 Qwen3.5 2B/4B/9B 的 MLX 4-bit 本地运行包(含 abliterated 版本)
I put together some text-only Qwen3.5 2B, 4B and 9B MLX 4-bit packages (including abliterated variants) perfect for local use — have at 'em. :)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/sachasayan
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x12vox/i_put_together_some_textonly_qwen35_2b_4b_and_9b/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包,覆盖 2B、4B、9B 三个规模,各有原版和 Huihui abliterated 版本,均为去除视觉的纯文本模型,2B 版仅 1GB。模型已发布在 Hugging Face,作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。
来源:Reddit · r/LocalLLaMA · reddit.com