跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分39

astigmatism 开源 LLM Router:兼容 OpenAI 与 Ollama API 的推理路由器

astigmatism/llm-router

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/astigmatism/llm-router

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

astigmatism 在 GitHub 发布 LLM Router,一个兼容 OpenAI 与 Ollama API 的推理路由器,生产部署基于 llama.cpp,Ollama 仍为受支持的后端。其主目录常驻两个模型:coding qwen3.8-27b-q8_0(160K 上下文)与 everyday qwen3.8-27b-abliterated-q6_k(128K 上下文)。路由器支持流式响应、请求历史持久化、推理遥测,并提供独立端口的管理门户,运行于 Node.js 22 且无运行时 npm 依赖。

来源:GitHub · 去对齐工具与仓库 · github.com