Hugging Face · 趋势模型·· 4 天前精选AI 评分61
SenseNova 发布循环架构多模态模型 SenseNova-Loop-9B-Preview
sensenova/SenseNova-Loop-9B-Preview
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
SenseNova 在 Hugging Face 发布 SenseNova-Loop-9B-Preview,一款面向长上下文与 Agent 工作流的多模态开源模型,采用共享权重循环解码器加双流 mHC,32 层权重单次前向执行 56 层计算,总参数约 9B、推理参数约 14.6B。训练序列最长 262,144 tokens,混合注意力按每四层三线性一全注意交替;已支持 MTP 推理加速,Dspark 与 Dflash2 在训练中,权重基于 Apache License 2.0 开放。
推荐理由
架构页写清了循环解码器与 mHC 的参数复用方式,还给出了 262,144 tokens 训练长度和部署配置,便于复现。
来源:Hugging Face · 趋势模型 · huggingface.co
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。