Hugging Face · 趋势模型·· 5 天前精选AI 评分65
DiffuSpace 发布首个扩散语言模型 Clover-35B-A3B-Preview
Diffuspace/Clover-35B-A3B-Preview
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
DiffuSpace 发布首个模型 Clover-35B-A3B-Preview,基于 35B 参数 MoE、每 token 约 3B 激活参数,官方称在开源扩散语言模型中达到发布时 SOTA 水平。模型派生自 Qwen3.6-35B-A3B,保留 GDN/全注意力混合骨干,支持 128K 上下文和块扩散 LowConfidence 解码(默认 block_size=32、threshold=0.95),BF16 权重约 69 GB,并内置重复与长度软控制参数。
推荐理由
模型卡给出了块扩散解码、GDN 双向注意力与重复控制的具体参数配置,读者可按文档直接部署复现。
来源:Hugging Face · 趋势模型 · huggingface.co