跳到正文
GitHub · 灵魂体仓库·· 14 天前AI 评分25

metriqen-llm-serving-optimization:LLM 推理服务优化实验平台

naim-munshi/metriqen-llm-serving-optimization

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/naim-munshi/metriqen-llm-serving-optimization

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 Metriqen 项目在 Apple M2 上用 Ollama 0.30.8 和固定 llama3.2:1b Q8_0 模型做了本地 LLM 服务优化实验,比较 OLLAMA_NUM_PARALLEL=1 与 2,每组 324 次请求全部成功。并发 2 时吞吐提升 34.235%、p95 延迟从 13.561s 降至 11.164s,TTFT 从 5.940s 降至 0.654s;并发 1 时吞吐下降 3.895%。项目称结果为描述性而非因果性,报告未经 GitHub CI 独立审查,也无生产服务或 vLLM GPU 验证。

来源:GitHub · 灵魂体仓库 · github.com