tokatlas 开源本地 LLM 推理性能数据集与查询网站
tokatlas 在 GitHub 开源了一个持续更新的本地 LLM 推理性能数据集与网站,收录 GPU/CPU/APU 在 llama.cpp(CUDA/ROCm/Vulkan/Metal/SYCL/CPU)、MLX、vLLM、ExLlama 等后端下的 prompt 处理与生成速度、功耗等实测记录,每条记录附来源 URL、检索日期和精确引用数字。
推荐理由:这个仓库把分散的本地推理实测数据汇成带来源引用的数据集,买硬件或选量化、后端前可先查同型号芯片的实测速度。