DevMesh LLM Gateway 开源：面向本地推理的安全治理网关

PeterGreenAppliedAI 在 GitHub 开源了 DevMesh LLM Gateway，一个自托管的安全与治理网关，为 Ollama、vLLM、OpenAI 等推理后端提供统一 API、鉴权、完整审计日志和按 key 的限流与 token 预算。安全层包括同步正则检测（约 1ms）和异步守卫模型（Granite Guardian 或 Llama Guard）扫描，不阻塞请求、零延迟；PII 检测覆盖邮箱、美国电话号、SSN、信用卡和 IP，审计日志只存 SHA-256 哈希，不保存原始 PII。守卫模型与正则的分歧可在控制台标注，并导出为 Llama Guard 微调格式形成训练闭环。