GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分62
开源 LLM 护栏微服务 samsaxas/LLM-Guardrails-Services-On-Kubernetes 发布
samsaxas/LLM-Guardrails-Services-On-Kubernetes
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/samsaxas/LLM-Guardrails-Services-On-Kubernetes
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 GitHub 发布一个生产风格的 LLM 护栏微服务,用 23 个规则族检测提示词注入、越狱尝试和敏感数据(API 密钥、邮箱、电话),提供 /v1/check/prompt 与 /v1/check/response 两个端点并返回 allow/block JSON 决策。服务以非 root Docker 镜像部署到 kind Kubernetes 集群,用 Secret 做 API key 认证,Kyverno Enforce 策略拒绝特权容器和无资源限额容器。在 112 条留出测试文本上精确率 100%、召回率 87.5%、误报 0,引擎单线程 p95 延迟 0.063 ms,作者同时说明了对 leetspeak、非英语注入、改写探针等 9 类漏检及评测集规模小的局限。
推荐理由
原文给出了规则设计和留出集上的精确率召回率数据,还列出已知漏检类型,适合想自建 LLM 护栏服务的读者参考。
来源:GitHub · 去对齐工具与仓库 · github.com