dzaragoza 开源 LLM-benchmark:本地小模型选型与基准测试工具
dzaragoza 发布 LLM-benchmark 仓库,配套独立研究 Small Models, Big Claims(DOI: 10.5281/zenodo.22855666),测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由:作者把整套基准流程做成一条命令加两个离线选型页,读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
按兴趣浏览,循来源深入。
dzaragoza 发布 LLM-benchmark 仓库,配套独立研究 Small Models, Big Claims(DOI: 10.5281/zenodo.22855666),测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由:作者把整套基准流程做成一条命令加两个离线选型页,读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。