GitHub · 去对齐工具与仓库·· 20 天前AI 评分55
Anvil Serving 发布:一个本地优先的模型服务与能力网关套件
fakoli/anvil-serving
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/fakoli/anvil-serving
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
fakoli 在 GitHub 发布 Anvil Serving,一个本地优先的模型服务产品,将模型服务、能力网关、评测取证、语音、媒体、浏览器暴露和控制面七大家族整合进同一个包与 CLI。它采用能力别名 meta-router,把请求显式映射到唯一 tier,不做请求分类器、云升级或隐藏模型替换;参考拓扑使用两块 RTX PRO 6000 Blackwell Max-Q,支持 split 与 TP=2 dual-gpu-exclusive 模式。Anvil Connect 通过用户自有的 OpenID Connect 提供商实现浏览器安全访问本地应用。Python 3.11+ 即可安装,Windows 与 Linux 走 Docker,macOS 支持 MLX 原生服务。
来源:GitHub · 去对齐工具与仓库 · github.com