跳到正文
GitHub · 去对齐工具与仓库·· 17 天前AI 评分53

llm-arena-vram-calc:给 Arena.ai 排行榜补上参数量与 VRAM 部署估算的开源工具

kmvaidya/llm-arena-vram-calc

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/kmvaidya/llm-arena-vram-calc

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

kmvaidya 发布开源工具 llm-arena-vram-calc,为 Arena.ai 开源 LLM 排行榜的 225 个模型补充参数量与 BF16/FP8/INT4 三种精度的显存估算,并给出每块单卡能运行的最高排名模型。serving 显存按权重乘以 1.25 计入 KV cache 与框架开销,MoE 模型按全部专家加载计算,参数解析含手动覆盖、Artificial Analysis 数据、名称解析和页面抓取四级回退,数据 24 小时缓存,当前解析成功率为 76.0%。

来源:GitHub · 去对齐工具与仓库 · github.com