跳到正文
Hugging Face · 趋势模型·· 2 天前精选AI 评分74

Unsloth 发布 Thinking Machines Lab 的 Inkling 2 Mini GGUF 量化版本

unsloth/Inkling-2-Mini-GGUF

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Unsloth 在 Hugging Face 放出 Inkling 2 Mini 的 GGUF 量化版本,支持经 Unsloth Desktop 或 llama.cpp 运行,并附各档位体积与相对 UD-Q8_K_XL 的 Mean KLD 对照(如 UD-IQ4_XS 为 15.73GB、KLD 0.0109、同首 token 97.7%)。原模型为 Thinking Machines Lab 于 2026 年 11 月 20 日以 Apache 2.0 开源的多模态 looped transformer MoE 模型,总参数 26.2B、每 token 有效激活约 5.4B,支持 1M token 上下文,可在 32GB 内存或显存的本地设备上运行。

推荐理由

量化表给出各档位体积与 Mean KLD 对照,可为本地选档提供直接依据。

来源:Hugging Face · 趋势模型 · huggingface.co