GitHub · 灵魂体仓库·· 1 小时前精选AI 评分58
dkruyt 开源 privacy-llm-gateway:逐请求判定提示词走云端还是本地模型
dkruyt/privacy-llm-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dkruyt/privacy-llm-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
dkruyt 在 GitHub 开源了 privacy-llm-gateway,一个隐私感知的 OpenAI 兼容 LLM 网关,对每个 model auto 请求在本机做两级检查后决定路由到云模型还是本地模型。规则检测器查找邮箱、IBAN、信用卡号、各类 API 密钥、JWT 和内部机密标记等,命中即强制走本地并固定会话;本地分类器对整段对话(含 PDF 附件)按可配置类别打分,仅在确信公开且各类别得分都低时放行公共上游。任何失败一律路由本地、不回退公有云,敏感会话粘滞,客户端无法选择公共模型。
推荐理由
作者给出本地检测器加分类器的双层隐私审查设计和失败即走本地的路由保证,适合关注敏感数据不出内网的团队参考。
来源:GitHub · 灵魂体仓库 · github.com