GitHub · 灵魂体仓库·· 14 天前AI 评分25
metriqen-llm-serving-optimization:LLM 推理服务优化实验平台
naim-munshi/metriqen-llm-serving-optimization
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/naim-munshi/metriqen-llm-serving-optimization
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 Metriqen 项目在 Apple M2 上用 Ollama 0.30.8 和固定 llama3.2:1b Q8_0 模型做了本地 LLM 服务优化实验,比较 OLLAMA_NUM_PARALLEL=1 与 2,每组 324 次请求全部成功。并发 2 时吞吐提升 34.235%、p95 延迟从 13.561s 降至 11.164s,TTFT 从 5.940s 降至 0.654s;并发 1 时吞吐下降 3.895%。项目称结果为描述性而非因果性,报告未经 GitHub CI 独立审查,也无生产服务或 vLLM GPU 验证。
来源:GitHub · 灵魂体仓库 · github.com