GitHub · 去对齐工具与仓库·· 22 天前精选AI 评分65
tokatlas 开源本地 LLM 推理性能数据集与查询网站
tokatlas/tokatlas.github.io
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/tokatlas/tokatlas.github.io
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
tokatlas 在 GitHub 开源了一个持续更新的本地 LLM 推理性能数据集与网站,收录 GPU/CPU/APU 在 llama.cpp(CUDA/ROCm/Vulkan/Metal/SYCL/CPU)、MLX、vLLM、ExLlama 等后端下的 prompt 处理与生成速度、功耗等实测记录,每条记录附来源 URL、检索日期和精确引用数字。
推荐理由
这个仓库把分散的本地推理实测数据汇成带来源引用的数据集,买硬件或选量化、后端前可先查同型号芯片的实测速度。
来源:GitHub · 去对齐工具与仓库 · github.com