跳到正文
Reddit · r/LocalLLaMA· /u/jacek2023·· 3 小时前AI 评分53

DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview

Diffuspace/Clover-35B-A3B-Preview · Hugging Face

来源与原文

Reddit · r/LocalLLaMA

作者:/u/jacek2023

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xhinyj/diffuspaceclover35ba3bpreview_hugging_face/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

DiffuSpace 发布首个模型 Clover-35B-A3B-Preview,称在发布时于开源扩散语言模型中达到所报基准上的 SOTA 表现。模型采用 35B 参数 MoE 底座、每 token 约 3B 激活参数、块扩散生成和 128K 上下文窗口,已上线 Hugging Face 并附博客与推理后端代码。

来源:Reddit · r/LocalLLaMA · reddit.com