GitHub · 灵魂体仓库·· 18 天前AI 评分51
biteiniu 开源 Aletheia:CPU 优先的 LLM 调度层,支持本地与 DeepSeek 云端自动路由
biteiniu/aletheia
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/biteiniu/aletheia
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
biteiniu 在 GitHub 发布 Aletheia,一个 CPU 优先的 LLM 调度层,让上层应用通过 Intent 接口解绑推理后端,可对接本地 Ollama、llama.cpp 与 DeepSeek 云端并按任务自动路由。项目附实测数据:RTX 3070 8GB 上模型从 7B Q4 涨到 32B Q4 时延迟涨约 40 倍;Windows 下 Python 走 localhost 而非 127.0.0.1 会因 IPv6 fallback 多等约 2000ms,修正后首 token 从 2100ms 降到 25ms;并发 8 时 vLLM 吞吐 11.60 req/s 而 Ollama 停在 3.58 req/s。
来源:GitHub · 灵魂体仓库 · github.com