Hugging Face · 趋势模型·· 2 天前精选AI 评分74
Unsloth 发布 Thinking Machines Lab 的 Inkling 2 Mini GGUF 量化版本
unsloth/Inkling-2-Mini-GGUF
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/unsloth/Inkling-2-Mini-GGUF
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Unsloth 在 Hugging Face 放出 Inkling 2 Mini 的 GGUF 量化版本,支持经 Unsloth Desktop 或 llama.cpp 运行,并附各档位体积与相对 UD-Q8_K_XL 的 Mean KLD 对照(如 UD-IQ4_XS 为 15.73GB、KLD 0.0109、同首 token 97.7%)。原模型为 Thinking Machines Lab 于 2026 年 11 月 20 日以 Apache 2.0 开源的多模态 looped transformer MoE 模型,总参数 26.2B、每 token 有效激活约 5.4B,支持 1M token 上下文,可在 32GB 内存或显存的本地设备上运行。
推荐理由
量化表给出各档位体积与 Mean KLD 对照,可为本地选档提供直接依据。
来源:Hugging Face · 趋势模型 · huggingface.co