本地 embedding 与 reranker 能否替代托管 LLM 做目录匹配？LocalLLaMA 社区讨论

一位开发者在 r/LocalLLaMA 询问：其原型用托管 LLM 对候选清单排序，将自由文本请求匹配到结构化目录并生成选择理由，能否改用本地小型 embedding 模型加 reranker 达到相近质量并降低成本。其寻求每月 1 万至 10 万请求量级下的真实延迟与成本数据，以及混合方案经验。