Reddit · r/LocalLLaMA· /u/Difficult_Ad_2778·· 14 天前AI 评分36
pqnld：让现有 LLM 兼职通用决策模型的开源 Rust 服务
I built "Por qué no los dos?"
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Difficult_Ad_2778
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x56ecj/i_built_por_qu%C3%A9_no_los_dos/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者发布 Rust 服务 pqnld，为现有 LLM 部署增加封闭集决策能力：输入上下文、问题和候选答案，从模型 logprobs 读取选项评分并返回选择，而非模型自报的置信数字。选项用单 token 标签替代完整文本，在 Qwen3.8 27B NVFP4 部署下延迟低于 200 ms。无需额外模型或训练，提供 HTTP 与 MCP 接口，实测后端为 vLLM。
来源：Reddit · r/LocalLLaMA · reddit.com