Reddit · r/LocalLLaMA· /u/Electrical_Ninja3805·· 7 天前精选AI 评分65
Pantheon 引擎在 2014 年 Tesla K80 上以纯 C 跑 Qwen3.6-35B-A3B 达约 21 tok/s
Running 35B MoE models on a Tesla K80 (2014) at ~21 tok/s, in plain C
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Electrical_Ninja3805
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xaz06x/running_35b_moe_models_on_a_tesla_k80_2014_at_21/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。
推荐理由
作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。
来源：Reddit · r/LocalLLaMA · reddit.com