GitHub · 去对齐工具与仓库·· 21 天前精选AI 评分66
dgx-spark-llm-platform：单台 NVIDIA DGX Spark 上的自托管多用户 LLM 推理平台
Sunderrrr/dgx-spark-llm-platform
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Sunderrrr/dgx-spark-llm-platform
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Sunderrrr 开源了 dgx-spark-llm-platform，一套在单台 NVIDIA DGX Spark（GB10 Grace Blackwell，128 GB 统一内存，aarch64）上自托管的 LLM 推理平台，把一台 GPU 机器变成小型多用户 AI 服务。
推荐理由
作者公开了在单台 NVIDIA DGX Spark 上跑多用户 LLM 服务的完整架构，从 LiteLLM 网关到按需加载的媒体侧车都有细节可查。
来源：GitHub · 去对齐工具与仓库 · github.com