Reddit · r/LocalLLaMA· /u/Fun-Meaning-6474·· 18 天前AI 评分43
在 RTX 4090 上本地运行多款决策模型，实测哪一个最快
Running decision model locally on an RTX 4090 to find out which one is the fastest
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Fun-Meaning-6474
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0wg85/running_decision_model_locally_on_an_rtx_4090_to/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户在租用的 RTX 4090 上用同一任务对比了四款开源决策模型 Laya、d1 3B、Clef-Flash 9B 和 Lev 4B：逐词调用 /v1/systemone 判断 9,534 个词是否为蜈蚣名称。Laya 每词 p50 仅 3.9 ms、32 秒处理 7,980 词，是最快的选择；Lev 准确率最高（98.9%）但每词 51.0 ms，比 Laya 慢 13 倍。
来源：Reddit · r/LocalLLaMA · reddit.com