GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分77
Base Compute 开源本地 LLM serving 守护进程 superfluid,统一调度 llama.cpp、MLX 与 baseRT
basecompute/superfluid
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/basecompute/superfluid
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Base Compute 在 GitHub 开源了 superfluid,一个面向本地 LLM agent 的 serving 守护进程,在 llama.cpp、MLX 和 baseRT 之上提供统一调度器、可持久化的会话日志,以及 OpenAI、Anthropic、Ollama 兼容 API。在 Apple M5 Pro 上实测,八个 agent 预填 6k token 提示时聊天首 token 为 0.97 s,对比 llama-server 的 67 s、Ollama 的 64 s、mlx_lm.server 的 120 s;会话可在 worker 崩溃或服务器重启后恢复,八个场景全部通过,且经 superfluid 转发的吞吐与直连运行时几乎持平。
推荐理由
原文在八个故障与并发场景下给出四个方案的全部实测数字,读者可以据此判断这个本地 serving 层是否真的解决了调度与会话持久问题。
来源:GitHub · 去对齐工具与仓库 · github.com