GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分64
LlamaStash 发布:一个 Rust 单二进制的终端原生本地 LLM 管理器
llamastash/llamastash
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/llamastash/llamastash
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
LlamaStash 发布,是一个零开销、终端原版的本地大语言模型管理器,一个 Rust 二进制同时提供 TUI、CLI、守护进程和 OpenAI 兼容代理,默认后端为 llama.cpp,并实验性支持 Lemonade NPU、vLLM 和 SGLang。基准测试显示其封装开销相对 raw llama-server 在各平台归一化模式下差异 ≤1%,代理跳转仅增加 TTFT p50 +0.45 ms,并附有与 Ollama 0.24.0 和 LM Studio 2.18.0 的同硬件对比表。
推荐理由
项目给出与 raw llama-server、Ollama、LM Studio 的同硬件对比基准和代理开销数据,读者可据此评估这个本地模型管理工具是否值得替换现有方案。
来源:GitHub · 去对齐工具与仓库 · github.com