GitHub · 去对齐工具与仓库·· 13 天前AI 评分53
AMD LLM Lab 开源:AMD GPU 上的 LLM 推理内存与性能预估平台
VedantJadhav701/AMD_LLM_LAB
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/VedantJadhav701/AMD_LLM_LAB
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
VedantJadhav701 开源了 AMD LLM Lab,一个面向 AMD Instinct MI300X 和 Radeon GPU 的 LLM 推理优化研究平台,含模型推荐器、显存适配计算器、社区基准榜单和本地硬件探测。其显存计算覆盖 BF16 到 INT2 精度并计入 KV cache 与运行时开销,附带 57 条以上 MI300X(192 GB HBM3)实测数据,明确区分 MEASURED 与 ML 回归的 ESTIMATED 值,并提供 rocm_bench.py CLI 供用户提交实测结果。项目采用 FastAPI 后端加 Next.js 前端,MIT 许可,非 AMD 官方产品。
来源:GitHub · 去对齐工具与仓库 · github.com