GitHub · 灵魂体仓库·· 21 天前精选AI 评分56
llm-inference-platform：基于 Apple Silicon 的 GPU 推理服务平台开源
sunilmehta-si/llm-inference-platform
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sunilmehta-si/llm-inference-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Sunil Mehta 开源了 llm-inference-platform，在 Apple Silicon Mac 上通过 vLLM-Metal 原生运行 LLM 推理，并提供 FastAPI 网关、Prometheus/Grafana 监控和可复现基准脚本。
推荐理由
开源项目在 Apple Silicon 上用 vLLM-Metal 原生跑模型推理，并配套可观测网关和可复现基准，适合想本地部署 LLM 服务的读者参考。
来源：GitHub · 灵魂体仓库 · github.com