跳到正文
Reddit · r/LocalLLaMA· /u/paq85·· 10 天前AI 评分55

本地跑 LLM 还是调 API 划算?/u/paq85 发布浏览器端成本计算器

Where does your local vs cloud cost line sit? (3 presets, 3 API rates, the cached-token gap most calculators guess at) :)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/paq85

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x85758/where_does_your_local_vs_cloud_cost_line_sit_3/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/paq85 发布了一个浏览器端 LLM 成本计算器(appdoesit.com/apps/llm-cost-calculator),本地侧按功耗×时长×电价计算,提供 RTX 4070 Ti Super 500W 约 1k/50 tok/s、RTX 5090 900W 约 2.5k/120 tok/s 及 5090 eco 模式 650W 约 2k/100 三档预设;云端侧按输入、输出和缓存 token 计费,参考费率为 $0.25 / $1.20 / $0.02 每 1M。作者指出缓存输入费率是多数计算器靠猜的部分,也是本地与云端成本交叉点的关键;在 60k 输入 / 50k 缓存 / 2k 输出、90% 在线的固定场景下,电费几乎持平而 API 费用持续攀升,提示词越长且重复越多,交叉点越靠后。

来源:Reddit · r/LocalLLaMA · reddit.com