作者回应 sFNX 引擎近 400 tokens/s 质疑：速度因提示词而异
热点事件持续更新
作者回应 sFNX 引擎近 400 tokens/s 质疑：速度因提示词而异
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户 /u/jfinkpottery 回应对其自研 sFNX 引擎推理速度的质疑，称速度因提示词和 MTP 机制而不同：实测最高 404 tokens/s，典型代码编辑场景约 376 tokens/s，散文推理约 140 tokens/s。 该引擎基于 strata/llama 但引擎代码全部重写，运行 flash-next Q4_XL，部署在 3 张 V100 32GB 与一台 Dell R740 上。作者称 140 tokens/s 也已是其他引擎在该硬件上速度的两倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 19:59
自研 strata/llama 引擎在 3 张 V100 上跑出近 400 tokens/s 引发质疑，作者回应报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- Reddit · r/LocalLLaMA自研 strata/llama 引擎在 3 张 V100 上跑出近 400 tokens/s 引发质疑，作者回应
Reddit 用户回应对其近 400 tokens/s 推理速度的质疑，称 MTP 机制下不同提示词速度不同，实测最高 404、典型代码编辑场景 376 tokens/s，散文推理约 140 tokens/s。该自研 strata/llama 引擎运行 flash-next Q4_XL，部署在 3 张 V100 32GB 与 Dell R740 上，140 tokens/s 也是其他引擎在该硬件上速度的两倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。