GitHub · 灵魂体仓库·· 5 天前精选AI 评分65
austin1997 开源浏览器端 LLM 推理测速工具 llm-speedtest
austin1997/llm-speedtest
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/austin1997/llm-speedtest
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
austin1997 在 GitHub 发布浏览器测速网站 llm-speedtest，支持 OpenAI 兼容 Chat Completions 与 Ollama 原生接口，可对语言模型、文生图与文生视频部署做 A/B 并发测速，支持 1–16 并发、流式输出、思考模式与多语言界面。所有推理请求从浏览器直连端点，可部署到 Cloudflare Workers 并将汇总结果写入 D1，指标覆盖 TTFT、实时吞吐、服务端 decode/prefill 等，本地运行需 Node.js 24。
推荐理由
作者开源了一个浏览器直连端点的推理测速工具，指标口径写得很细，部署自建模型想对比性能的读者可以拿来直接用。
来源：GitHub · 灵魂体仓库 · github.com