Relay 发布 OpenAI 兼容 LLM 网关，用精确与语义缓存降低重复请求成本

GitHub 项目 Relay 发布了一个 OpenAI 兼容网关，位于应用与 OpenAI、Anthropic、Gemini、Ollama、OpenRouter 五家提供方之间，通过精确缓存与语义缓存复用重复或改写问题，降低成本与延迟。仅在相似度通过安全检查时才复用答案，响应头标注 HIT/SEMANTIC_HIT/MISS 原因；50 个并发相同请求只触发一次提供方调用，缓存命中平均 2.8 ms，286 项测试全部通过。