跳到正文
更多
Reddit · r/LocalLLaMA· /u/Any_Bus9205·· 1 天前AI 评分42

Xing4.0-29B-A4B GGUF 原生支持落地 ik_llama.cpp:完整 mHC/MLA 运行时 + HF 转换器

[PR] Xing4.0-29B-A4B GGUF via ik_llama.cpp — Full native mHC/MLA runtime + HF converter

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Any_Bus9205

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xjqsb4/pr_xing4029ba4b_gguf_via_ik_llamacpp_full_native/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开发者在 ik_llama.cpp 提交 PR #2808,为中国电信(TeleAI)发布的 Xing4.0-29B-A4B(29.5B MoE、约 4B 激活参数、DeepSeek 式 MLA 加 4 流 mHC 残差混合)提供原生 GGUF 运行时与 HF 转换器。实现未新增任何 ggml_op,可在 CPU、CUDA、Metal、Vulkan 开箱运行,量化时保护 mHC 权重并将 MLA 潜在投影在 Q6_K/Q8_0 下保持源精度。验证 PPL 12.4190,生成连贯无 NaN。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。