Reddit · r/LocalLLaMA· /u/jacek2023·· 3 小时前AI 评分53
DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview
Diffuspace/Clover-35B-A3B-Preview · Hugging Face
来源与原文
Reddit · r/LocalLLaMA
作者:/u/jacek2023
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhinyj/diffuspaceclover35ba3bpreview_hugging_face/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
DiffuSpace 发布首个模型 Clover-35B-A3B-Preview,称在发布时于开源扩散语言模型中达到所报基准上的 SOTA 表现。模型采用 35B 参数 MoE 底座、每 token 约 3B 激活参数、块扩散生成和 128K 上下文窗口,已上线 Hugging Face 并附博客与推理后端代码。
来源:Reddit · r/LocalLLaMA · reddit.com