跳到正文
GitHub · 去对齐工具与仓库·· 22 天前精选AI 评分65

tokatlas 开源本地 LLM 推理性能数据集与查询网站

tokatlas/tokatlas.github.io

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/tokatlas/tokatlas.github.io

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

tokatlas 在 GitHub 开源了一个持续更新的本地 LLM 推理性能数据集与网站,收录 GPU/CPU/APU 在 llama.cpp(CUDA/ROCm/Vulkan/Metal/SYCL/CPU)、MLX、vLLM、ExLlama 等后端下的 prompt 处理与生成速度、功耗等实测记录,每条记录附来源 URL、检索日期和精确引用数字。

推荐理由

这个仓库把分散的本地推理实测数据汇成带来源引用的数据集,买硬件或选量化、后端前可先查同型号芯片的实测速度。

来源:GitHub · 去对齐工具与仓库 · github.com