跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分70

Mesh LLM 开源跨机器GPU池化推理工具,统一暴露OpenAI兼容API

Mesh-LLM/mesh-llm

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Mesh-LLM/mesh-llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Mesh LLM 在 GitHub 开源,可将多台机器的 GPU 和内存池化,通过 http://localhost:9337/v1 暴露统一的 OpenAI 兼容 API。模型优先单机本地运行,也可路由到对等节点,或用 Skippy stage splits 加载单机放不下的大模型;节点间用 QUIC 加密传输,公共 mesh 经 Nostr 发现、私有 mesh 用邀请 token。支持 Qwen、Llama、DeepSeek、GLM 等 72 个 P0/P1 模型族,实验性提供 model:"mesh" 的 Mixture-of-Agents 网关。

来源:GitHub · 去对齐工具与仓库 · github.com