跳到正文
Hugging Face · 趋势模型·· 17 天前精选AI 评分52

LiquidAI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本

LiquidAI/LFM2.5-24B-A2B-GGUF

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本,该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏(QAD)checkpoint,训练用于恢复 Q4_0 量化损失的精度;各 GGUF 内置 general.sampling.* 元数据,llama.cpp 默认应用推荐采样参数(--temp 0.1 --top-k 50 --repeat-penalty 1.05)。

推荐理由

官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失,并给出 llama.cpp 的推荐采样参数,便于本地部署复现。

来源:Hugging Face · 趋势模型 · huggingface.co