GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分63
GENGHIS 协议开源:把家中闲置设备组成 AI 算力与内存池
RinkusKhan/The_GENGHIS_Protocol
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/RinkusKhan/The_GENGHIS_Protocol
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
RinkusKhan 在 GitHub 发布 GENGHIS 协议,将本地网络中的闲置设备(GPU 笔记本、mini-PC、树莓派、eGPU 等)组成算力与内存池,通过层切分让多设备协同运行单机装不下的大模型。方案复用 llama.cpp 的 RPC 传输,由协调器按各设备实测吞吐、空闲内存与链路延迟规划分区并在设备增减时自愈。实测显示推理受延迟而非带宽约束:同一 RTX 5060 Ti 经 1 GbE 供队为 38 t/s,改接 Thunderbolt 后达 228 t/s;Pi 5 有线比 Wi-Fi 快 29%(7.6→9.7 t/s)。
推荐理由
原文给出实测数据说明层切分方案受链路延迟制约,同一 RTX 5060 Ti 在 1 GbE 与 Thunderbolt 下速度差近 6 倍。
来源:GitHub · 去对齐工具与仓库 · github.com