GitHub · 去对齐工具与仓库·· 18 天前AI 评分39
Sparky:面向 GPU 集群的自助式 LLM 推理引擎管理工具(v0.1.0 / v0.2.0 进展)
1kaius1/Sparky
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/1kaius1/Sparky
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Sparky 让开发团队在 DGX Spark 等 GPU 节点上自助加载和调优 LLM 推理引擎,支持 vLLM 和 llama.cpp 风格的部分 GPU offload,Aphrodite 支持已列入计划。v0.1.0 基本完成 AD/LDAP 认证、RBAC 权限分层、审计日志和 Dashboard UI,v0.2.0 的裸金属后端与 sparky-agent setup 已在真实 DGX Spark 上端到端验证,包括加载推理引擎处理请求后干净卸载。两者唯一剩余项均为 Docker 后端的 GPU passthrough 验证,而 CDI passthrough 属 Podman 专属、不在 Sparky 范围内。
来源:GitHub · 去对齐工具与仓库 · github.com