跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分39

Sparky:面向 GPU 集群的自助式 LLM 推理引擎管理工具(v0.1.0 / v0.2.0 进展)

1kaius1/Sparky

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/1kaius1/Sparky

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Sparky 让开发团队在 DGX Spark 等 GPU 节点上自助加载和调优 LLM 推理引擎,支持 vLLM 和 llama.cpp 风格的部分 GPU offload,Aphrodite 支持已列入计划。v0.1.0 基本完成 AD/LDAP 认证、RBAC 权限分层、审计日志和 Dashboard UI,v0.2.0 的裸金属后端与 sparky-agent setup 已在真实 DGX Spark 上端到端验证,包括加载推理引擎处理请求后干净卸载。两者唯一剩余项均为 Docker 后端的 GPU passthrough 验证,而 CDI passthrough 属 Podman 专属、不在 Sparky 范围内。

来源:GitHub · 去对齐工具与仓库 · github.com