AIHOT · 精选· noreply@aihot.news (Unsloth)·· 3 小时前精选AI 评分58
Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可在 Mac Studio 本地运行 1T 参数模型
Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型
来源与原文
AIHOT · 精选
作者:noreply@aihot.news (Unsloth)
发布时间:(北京时间)
阅读原始来源 · aihot.news ↗完整链接与内容说明
https://aihot.news/items/rph54wkrnzjpvov4cv0mxqatl
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF 量化版,可在 Mac Studio 上本地运行,保留 91% top-1 准确率。体积约 233GB,较 1.1TB FP8 小 80%,1-bit 档需 256-270GB 内存,支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。
推荐理由
原文给出了各量化档位的内存需求和量化后的准确率保留数据,读者可据此评估自己硬件能否跑这个 1T 参数模型。
来源:AIHOT · 精选 · aihot.news