GitHub · 去对齐工具与仓库·· 3 小时前AI 评分50
mac-studio-agents:单台 Apple Silicon Mac 搭建多用户 SSH 开发与共享 LLM API
ts06068/mac-studio-agents
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ts06068/mac-studio-agents
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ts06068 发布 mac-studio-agents 项目,在单台 Apple Silicon Mac 上用 macOS 的 vLLM Metal 运行共享 LLM API,并用 Docker Desktop 提供按用户隔离的 SSH 开发容器,经 Cloudflare Tunnel 远程访问。默认模型为 Gemma 4 31B Instruct 8bit(mlx-community/gemma-4-31b-it-8bit),按用户分配 API 密钥并限制并发(每人 2 个、全局 3 个,超出返回 HTTP 429);在 M5 Max 64GB 配置下实测最大上下文 141,824 token,141,760 输入加 4 输出 token 的请求约 644 秒完成。
来源:GitHub · 去对齐工具与仓库 · github.com