Reddit · r/LocalLLaMA· /u/sargetun123·· 3 小时前AI 评分52
单张 Tesla P40 跑 Ornith 1.5 35B-A3B：全 262k 上下文，实测短输出约 60 t/s、100k 深度约 30 t/s
Two days tuning a single Tesla P40: 35B MoE, full 262k context, ~60 t/s short and ~30 t/s at 100k deep. No sub-Q4 quants.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/sargetun123
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhkwlm/two_days_tuning_a_single_tesla_p40_35b_moe_full/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者用单张 Tesla P40 24GB 在 PCIe x1 上调优 Ornith 1.5 35B-A3B（Qwen3.5 MoE 架构），坚持 Q4 以上权重和 q8_0 KV，实现全 262k 上下文。有效手段包括关闭 ECC（约 9% 解码提升）、检查 MTP 头是否未训练（草稿接受率从约 45% 升到 60-85%）、flash-attention 的 KQ 部分用 int8 dp4a（32k prefill +26%、100k +41%）、MTP 只读提示词末尾 8k（121k 提示词 327→373 t/s）。带 MTP 的真实服务端短提示词 65-74 t/s，101k 提示词读取约 415 t/s、生成 35-39 t/s；并给出无 MTP 各深度的 llama-bench 曲线，补丁可分享。
来源：Reddit · r/LocalLLaMA · reddit.com