GitHub · 灵魂体仓库·· 3 天前精选AI 评分55
semantic-cache-proxy：基于 Ollama 和 Redis Stack 的本地 LLM 语义缓存代理发布
venkatesh-dharmavarapu/semantic-cache-proxy
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/venkatesh-dharmavarapu/semantic-cache-proxy
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy，将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引，相同或语义改写的查询命中缓存后延迟低于 15ms，绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区，相似度阈值 ≥ 0.88 判定命中，兼容 OpenAI /v1/chat/completions 接口，并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key，依赖 nomic-embed-text 嵌入模型，仓库附部署步骤与延迟基准脚本。
推荐理由
给出完整的架构流程、缓存阈值和部署命令，想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。
来源：GitHub · 灵魂体仓库 · github.com