Reddit · r/LocalLLaMA· /u/Any_Bus9205·· 1 天前AI 评分42
Xing4.0-29B-A4B GGUF 原生支持落地 ik_llama.cpp:完整 mHC/MLA 运行时 + HF 转换器
[PR] Xing4.0-29B-A4B GGUF via ik_llama.cpp — Full native mHC/MLA runtime + HF converter
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Any_Bus9205
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjqsb4/pr_xing4029ba4b_gguf_via_ik_llamacpp_full_native/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者在 ik_llama.cpp 提交 PR #2808,为中国电信(TeleAI)发布的 Xing4.0-29B-A4B(29.5B MoE、约 4B 激活参数、DeepSeek 式 MLA 加 4 流 mHC 残差混合)提供原生 GGUF 运行时与 HF 转换器。实现未新增任何 ggml_op,可在 CPU、CUDA、Metal、Vulkan 开箱运行,量化时保护 mHC 权重并将 MLA 潜在投影在 Q6_K/Q8_0 下保持源精度。验证 PPL 12.4190,生成连贯无 NaN。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。