跳到正文
我的
GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分55

llm-guardrail-gateway:兼容 OpenAI 的实时护栏网关开源

manal-he/llm-guardrail-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/manal-he/llm-guardrail-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Manal Herradi 开源了 llm-guardrail-gateway,这是一个兼容 OpenAI 接口的 LLM 网关,在应用与模型提供商之间实时执行提示词注入检测、PII 脱敏、幻觉接地检查和风险内容标记,并带审计日志、token 与成本统计、OpenTelemetry 追踪和 Prometheus 指标。默认提供商是无网络的确定性 mock,docker compose up 即可跑起整套栈,测试与 CI 无需任何密钥。

推荐理由

仓库给出了各护栏在公开数据集上的精确率与召回率,以及默认护栏集在本地压测中的延迟开销,便于判断这套网关的实际拦截能力与成本。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。