跳到正文
GitHub · 去对齐工具与仓库·· 13 天前AI 评分53

AMD LLM Lab 开源:AMD GPU 上的 LLM 推理内存与性能预估平台

VedantJadhav701/AMD_LLM_LAB

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/VedantJadhav701/AMD_LLM_LAB

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

VedantJadhav701 开源了 AMD LLM Lab,一个面向 AMD Instinct MI300X 和 Radeon GPU 的 LLM 推理优化研究平台,含模型推荐器、显存适配计算器、社区基准榜单和本地硬件探测。其显存计算覆盖 BF16 到 INT2 精度并计入 KV cache 与运行时开销,附带 57 条以上 MI300X(192 GB HBM3)实测数据,明确区分 MEASURED 与 ML 回归的 ESTIMATED 值,并提供 rocm_bench.py CLI 供用户提交实测结果。项目采用 FastAPI 后端加 Next.js 前端,MIT 许可,非 AMD 官方产品。

来源:GitHub · 去对齐工具与仓库 · github.com