跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分51

biteiniu 开源 Aletheia:CPU 优先的 LLM 调度层,支持本地与 DeepSeek 云端自动路由

biteiniu/aletheia

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/biteiniu/aletheia

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

biteiniu 在 GitHub 发布 Aletheia,一个 CPU 优先的 LLM 调度层,让上层应用通过 Intent 接口解绑推理后端,可对接本地 Ollama、llama.cpp 与 DeepSeek 云端并按任务自动路由。项目附实测数据:RTX 3070 8GB 上模型从 7B Q4 涨到 32B Q4 时延迟涨约 40 倍;Windows 下 Python 走 localhost 而非 127.0.0.1 会因 IPv6 fallback 多等约 2000ms,修正后首 token 从 2100ms 降到 25ms;并发 8 时 vLLM 吞吐 11.60 req/s 而 Ollama 停在 3.58 req/s。

来源:GitHub · 灵魂体仓库 · github.com