跳到正文
GitHub · 去对齐工具与仓库·· 21 天前AI 评分53

jheronimus 开源 llmd:本地双系统 LLM 守护进程与 Go 客户端

jheronimus/llmd

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jheronimus/llmd

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

jheronimus 在 GitHub 发布 llmd,一个本地优先的双系统 LLM 守护进程和 Go 客户端。System 1 用 ModernBERT ONNX 做零样本 cross-encoder NLI 分类,延迟低于 15ms;System 2 通过 llama.cpp 用 Qwen3 0.6B 做自回归结构化抽取与生成,System 1 的模糊预测会自动升级到 System 2。它暴露 /v1/chat/completions 作为 OpenAI 工具的直接替代,Go 客户端零 CGO,序列化推理锁将峰值 RAM 控制在 1.1 GB 以下,支持本地构建或 Docker 运行。

来源:GitHub · 去对齐工具与仓库 · github.com