Reddit · r/LocalLLaMA· /u/wFXx·· 8 天前AI 评分46
开发者推出 rubick 网关：单个 LLaMA 模型同时提供 Chat、Embeddings、校准决策与 Guardrails
I built a gateway that serves Chat, Embeddings, Calibrated Decisions, and Guardrails from a single model
来源与原文
Reddit · r/LocalLLaMA
作者：/u/wFXx
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x9vqzt/i_built_a_gateway_that_serves_chat_embeddings/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
受 IBM Granite Switch 启发，开发者发布 rubick——一个指向 LLaMA 端点的代理网关，用同一模型通过 aLoRA 同时暴露常规 LLM、systemone（jev-like）与 embeddings 端点。它复用 KV cache、无需模型切换，支持即插即用 aLoRA，训练配方可在用户硬件上约 1 小时完成。项目为 POC，Apache2 开源，含 benchmark、用例与 Docker 配置。
来源：Reddit · r/LocalLLaMA · reddit.com