跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分47

accel-dse:流片前推理加速器设计空间探索工具(支持 LLM、视频生成 DiT 与蛋白质模型)

kalcohol/accel-dse

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/kalcohol/accel-dse

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 accel-dse 用可核对的解析模型做推理加速器设计空间探索,覆盖 LLM/VLM、视频生成 DiT 和蛋白质模型,零第三方依赖,仅需 Python ≥ 3.10。工具从 HF config.json 与 safetensors 头建模逐层参数量(与发布总量偏差 ≤0.5%),支持多卡并行布局、prefill/decode 分离、排队与尾延迟分析。0.60 版将每副本卡数上限从 64 提升至 8192,可评估数百到数千卡的多节点部署,1024 卡布局排名约 8 s。

来源:GitHub · 去对齐工具与仓库 · github.com