GitHub · 去对齐工具与仓库·· 16 小时前AI 评分53
Llama-RPC-Farm 开源:把整屋机器的 GPU 组成 llama.cpp RPC 集群
dakotacookson/Llama-RPC-Farm
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dakotacookson/Llama-RPC-Farm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
dakotacookson 发布 Llama-RPC-Farm v0.01,一个把多台 Linux/Windows 机器的 GPU 池化为真实 llama.cpp RPC 集群的开源编排工具,并通过 llama-swap 在单一 OpenAI 兼容端点上按需启停多模型。提供实时仪表盘、逐 tensor 设备分配可视化、内置 Hugging Face GGUF 下载、API key 分级授权和测试台;已实测 x86_64 Linux 与 NVIDIA CUDA/Windows 路径,ROCm、Apple Silicon 等代码完成但待实测。项目本身为 Apache-2.0,依赖 MIT 许可的 llama.cpp 与 llama-swap,不修改二者代码。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。