GitHub · 去对齐工具与仓库·· 17 天前AI 评分53
llm-arena-vram-calc:给 Arena.ai 排行榜补上参数量与 VRAM 部署估算的开源工具
kmvaidya/llm-arena-vram-calc
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kmvaidya/llm-arena-vram-calc
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
kmvaidya 发布开源工具 llm-arena-vram-calc,为 Arena.ai 开源 LLM 排行榜的 225 个模型补充参数量与 BF16/FP8/INT4 三种精度的显存估算,并给出每块单卡能运行的最高排名模型。serving 显存按权重乘以 1.25 计入 KV cache 与框架开销,MoE 模型按全部专家加载计算,参数解析含手动覆盖、Artificial Analysis 数据、名称解析和页面抓取四级回退,数据 24 小时缓存,当前解析成功率为 76.0%。
来源:GitHub · 去对齐工具与仓库 · github.com