跳到正文
GitHub · 去对齐工具与仓库·· 15 天前精选AI 评分57

snonux/hypr:自动化 Hyperstack GPU VM 生命周期并运行双 A100 vLLM 推理

snonux/hypr

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/snonux/hypr

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

snonux 在 GitHub 发布 hypr 工具,自动化 Hyperstack GPU VM 的创建、引导、WireGuard 隧道和 vLLM 推理全流程,可并行运行两台 A100 80GB VM,分别服务 Qwen3.8 27B FP8 和 Gemma 4 31B IT (AWQ-4bit)。Pi 编码智能体通过 WireGuard 隧道直连各 VM 的 vLLM OpenAI 兼容端点,无需代理;支持 model switch 热切换十余个模型预设,qwen38-27b 预设默认启用 MTP 投机解码。附双 VM 拓扑、watch 监控面板、A100 80GB VRAM 尺寸表和 A100 PCIe 上 FP8 对比 Ollama 的吞吐数据。

推荐理由

给出从 GPU VM、WireGuard 隧道到 vLLM 和 Pi 编码智能体的一条龙脚本,附各模型 VRAM 与吞吐参考数据。

来源:GitHub · 去对齐工具与仓库 · github.com