GitHub · 去对齐工具与仓库·· 20 天前AI 评分39
astigmatism 开源 LLM Router:兼容 OpenAI 与 Ollama API 的推理路由器
astigmatism/llm-router
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/astigmatism/llm-router
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
astigmatism 在 GitHub 发布 LLM Router,一个兼容 OpenAI 与 Ollama API 的推理路由器,生产部署基于 llama.cpp,Ollama 仍为受支持的后端。其主目录常驻两个模型:coding qwen3.8-27b-q8_0(160K 上下文)与 everyday qwen3.8-27b-abliterated-q6_k(128K 上下文)。路由器支持流式响应、请求历史持久化、推理遥测,并提供独立端口的管理门户,运行于 Node.js 22 且无运行时 npm 依赖。
来源:GitHub · 去对齐工具与仓库 · github.com