Reddit · r/LocalLLaMA· /u/Aggressive-East-2815·· 22 天前精选AI 评分58
作者为 Jev 搭建本地 kNN 语义缓存并公布实测数据
I built a local kNN cache in front of Jev. Numbers, caveats and two negative results inside (author here)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Aggressive-East-2815
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wxoqqp/i_built_a_local_knn_cache_in_front_of_jev_numbers/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 Mahmoud（GitHub: ghraibeh）发布 MIT 协议的 Python 库 jev-saver，在 Jev 前加本地 kNN 语义缓存，用 bge-small-en-v1.5 本地嵌入，最近邻相似度达 0.90 且 5 个邻居一致时本地作答。
推荐理由
作者直接给出冷热两种缓存命中率、准确率与延迟对比，还如实标注未跑过 Jev 实测的局限。
来源：Reddit · r/LocalLLaMA · reddit.com