Reddit · r/LocalLLaMA· /u/TheSpicyBoi123·· 3 天前精选AI 评分58
llama.cpp 分支优化旧款 NVIDIA GPU:Kepler 上跑到 60 tps 并提供源码与 PR
High-Performance llama.cpp fork for Legacy GPUs: Kepler Support, CUDA Graphs & Windows NCCL!
来源与原文
Reddit · r/LocalLLaMA
作者:/u/TheSpicyBoi123
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xeicw2/highperformance_llamacpp_fork_for_legacy_gpus/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支,目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B,从原先无法启动提升到 35 tps,修复主线上 cc35-50 的 cuBLAS 计算类型选择问题;启用 CUDA graphs 后达约 55 tps,Windows NCCL 集成带来约 5–10% 端到端提升,吞吐超 60 tps,P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果,并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由
作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比,老卡复用方案可自行复现验证。
来源:Reddit · r/LocalLLaMA · reddit.com