Reddit · r/LocalLLaMA· /u/CommonMinimum587·· 15 小时前AI 评分19
如何让自主编码智能体在自己的 AWS/Azure 租户内运行、代码不出欧盟?
Autonomous coding agents running in our own AWS/Azure tenant, with no code leaving the EU?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/CommonMinimum587
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xnq98f/autonomous_coding_agents_running_in_our_own/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 LocalLLaMA 用户分享其编码智能体部署方案:用自有 GPU 上的开源权重编码模型(vLLM)处理常规任务,前端模型走自家云账号的 EU 区域 endpoint,全部运行在自己的 VPC 内。编排层采用 Orq AI 的 software factory 并部署在自家环境,仅允许智能体使用审批通过的模型,测试和文档自动化、涉及生产环境的操作需人工审批。他还存疑:审批列表能否指向自托管 vLLM endpoint,以及 EU 区域的前端模型在法律上是否算“数据不出境”。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。