跳到正文
Hugging Face · 趋势模型·· 5 天前精选AI 评分65

DiffuSpace 发布首个扩散语言模型 Clover-35B-A3B-Preview

Diffuspace/Clover-35B-A3B-Preview

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

DiffuSpace 发布首个模型 Clover-35B-A3B-Preview,基于 35B 参数 MoE、每 token 约 3B 激活参数,官方称在开源扩散语言模型中达到发布时 SOTA 水平。模型派生自 Qwen3.6-35B-A3B,保留 GDN/全注意力混合骨干,支持 128K 上下文和块扩散 LowConfidence 解码(默认 block_size=32、threshold=0.95),BF16 权重约 69 GB,并内置重复与长度软控制参数。

推荐理由

模型卡给出了块扩散解码、GDN 双向注意力与重复控制的具体参数配置,读者可按文档直接部署复现。

来源:Hugging Face · 趋势模型 · huggingface.co