ts06068 发布 mac-studio-agents 单机部署仓库
先了解这件事
开发者 ts06068 在 GitHub 发布 mac-studio-agents 部署仓库,用于在单台 Apple Silicon Mac 上搭建多用户共享的 LLM API 和 SSH 开发环境:用 macOS 版 vLLM Metal 运行共享 API,用 Docker Desktop 提供按用户隔离的 SSH 开发容器,并通过 Cloudflare Tunnel 支持远程访问。 默认模型为 Gemma 4 31B Instruct 8bit(mlx-community/gemma-4-31b-it-8bit),按用户分配 API 密钥并限制并发:每人 2 个、全局 3 个请求,超出返回 HTTP 429。项目要求 Apple Silicon 和 macOS 15 以上,默认 31B 8bit 配置建议 64GB 以上统一内存。在 M5 Max 64GB 配置下实测最大上下文 141,824 token,141,760 输入加 4 输出 token 的请求约 644 秒完成。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 去对齐工具与仓库mac-studio-agents:单台 Apple Silicon Mac 搭建多用户 SSH 开发与共享 LLM API
ts06068 发布 mac-studio-agents 项目,在单台 Apple Silicon Mac 上用 macOS 的 vLLM Metal 运行共享 LLM API,并用 Docker Desktop 提供按用户隔离的 SSH 开发容器,经 Cloudflare Tunnel 远程访问。默认模型为 Gemma 4 31B Instruct 8bit(mlx-community/gemma-4-31b-it-8bit),按用户分配 API 密钥并限制并发(每人 2 个、全局 3 个,超出返回 HTTP 429);在 M5 Max 64GB 配置下实测最大上下文 141,824 token,141,760 输入加 4 输出 token 的请求约 644 秒完成。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。