GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分67
offrig 开源:让 Agent 在预算内租 RunPod GPU 跑大模型且保证不占用本地 GPU
mcp-tool-shop-org/offrig
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mcp-tool-shop-org/offrig
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
MCP Tool Shop 发布开源工具 offrig,提供桌面应用、CLI 和 MCP side-car,让大模型只在租用的 RunPod GPU 上运行,绝不占用本地 GPU,并通过七项守卫检查验证这一点。side-car 可让 Agent 在人设预算内规划付费会话、租 GPU、执行带依赖的交接队列,队列排空或到达截止时间时看门狗会终止 pod。实测中 4×RTX PRO 6000 以 SGLang 服务 Qwen3-Coder-480B(4-bit AWQ)约 22 分钟就绪,花费 $3.59,480B 在 512 个并发 Agent 下达 4,059 tok/s;该项目以 MIT 许可开源,仓库地址 https://github.com/mcp-tool-shop-org/offrig。
推荐理由
原文给出实跑花费、并发吞吐数据和七项防落地检查的具体规则,读者可以照着评估这个租 GPU 跑大模型的方案能否迁移到自己的工作流。
来源:GitHub · 去对齐工具与仓库 · github.com