Reddit · r/LocalLLaMA· /u/jfinkpottery·· 3 小时前AI 评分35
自研 strata/llama 引擎在 3 张 V100 上跑出近 400 tokens/s 引发质疑，作者回应
Some people are skeptical of my (almost) 400 tokens per second claim from yesterday
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jfinkpottery
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xgqkt7/some_people_are_skeptical_of_my_almost_400_tokens/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户回应对其近 400 tokens/s 推理速度的质疑，称 MTP 机制下不同提示词速度不同，实测最高 404、典型代码编辑场景 376 tokens/s，散文推理约 140 tokens/s。该自研 strata/llama 引擎运行 flash-next Q4_XL，部署在 3 张 V100 32GB 与 Dell R740 上，140 tokens/s 也是其他引擎在该硬件上速度的两倍。
来源：Reddit · r/LocalLLaMA · reddit.com