Reddit · r/LocalLLaMA· /u/Bayliner1980·· 4 天前AI 评分36
Qwen3-0.6B 被转换为 MoE 版本
Qwen3-0.6B model converted into MoE
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Bayliner1980
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xd87wu/qwen306b_model_converted_into_moe/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构，发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本，这是其首个 chat 风格转换。因 Qwen3 无 shared expert，作者采用 pseudo-shared expert 部分恢复质量；评测显示 Wiki ppl 从 23.88 升至 26.98，各质量指标均差于原模型，0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s，GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。
来源：Reddit · r/LocalLLaMA · reddit.com