GitHub · 去对齐工具与仓库·· 21 天前AI 评分53
jheronimus 开源 llmd:本地双系统 LLM 守护进程与 Go 客户端
jheronimus/llmd
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jheronimus/llmd
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
jheronimus 在 GitHub 发布 llmd,一个本地优先的双系统 LLM 守护进程和 Go 客户端。System 1 用 ModernBERT ONNX 做零样本 cross-encoder NLI 分类,延迟低于 15ms;System 2 通过 llama.cpp 用 Qwen3 0.6B 做自回归结构化抽取与生成,System 1 的模糊预测会自动升级到 System 2。它暴露 /v1/chat/completions 作为 OpenAI 工具的直接替代,Go 客户端零 CGO,序列化推理锁将峰值 RAM 控制在 1.1 GB 以下,支持本地构建或 Docker 运行。
来源:GitHub · 去对齐工具与仓库 · github.com