网友在单张 Tesla P40 上调优 35B MoE 模型并分享实测数据
热点事件持续更新
网友在单张 Tesla P40 上调优 35B MoE 模型并分享实测数据
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一位 Reddit 用户（/u/sargetun123）在 r/LocalLLaMA 发布了用单张 Tesla P40 24GB（PCIe x1、Windows、自己的 llama.cpp 分支）跑 Ornith 1.5 35B-A3B（Qwen3.5 MoE 架构）的调优结果：在坚持 Q4 以上权重和 q8_0 KV 的条件下实现全 262k 上下文，短提示词实测 65-74 t/s，并称补丁愿意分享。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMA单张 Tesla P40 跑 Ornith 1.5 35B-A3B：全 262k 上下文，实测短输出约 60 t/s、100k 深度约 30 t/s
作者用单张 Tesla P40 24GB 在 PCIe x1 上调优 Ornith 1.5 35B-A3B（Qwen3.5 MoE 架构），坚持 Q4 以上权重和 q8_0 KV，实现全 262k 上下文。有效手段包括关闭 ECC（约 9% 解码提升）、检查 MTP 头是否未训练（草稿接受率从约 45% 升到 60-85%）、flash-attention 的 KQ 部分用 int8 dp4a（32k prefill +26%、100k +41%）、MTP 只读提示词末尾 8k（121k 提示词 327→373 t/s）。带 MTP 的真实服务端短提示词 65-74 t/s，101k 提示词读取约 415 t/s、生成 35-39 t/s；并给出无 MTP 各深度的 llama-bench 曲线，补丁可分享。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。