跳到正文
热点事件持续更新

LlamaStash 发布 v0.10,统一管理 20 多种推理引擎

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 /u/deepu105 在 Reddit r/LocalLLaMA 发布 LlamaStash v0.10,一个通过 YAML 配置统一管理多种推理引擎的工具,提供终端/网页 UI、CLI 与安全代理。作者称已实测 llama.cpp、vLLM、SGLang、ComfyUI、Kokoro 等 20 多种引擎,其中 llama.cpp、vLLM 和 SGLang 为一等支持,其余引擎可通过 YAML 配置声明。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Reddit · r/LocalLLaMA
    LlamaStash v0.10 发布,已适配 llama.cpp、vLLM、SGLang 等 20 多种推理引擎

    作者 /u/deepu105 发布 LlamaStash v0.10,一个通过 YAML 配置统一管理多种推理引擎的终端/网页 UI、CLI 与安全代理工具,已实测 llama.cpp、vLLM、SGLang、Halogen、gufo、sd.cpp、ComfyUI、Kokoro 等 20 多种引擎。工具提供模型预设、别名、回退与多路上下文并行(如在 1M ctx 池上同时跑 4x256k 或 16x64k 会话)、请求日志与指标,以及检测硬件并自动配置的 llamastash init 向导;聊天、图像、STT/TTS 都经由同一个代理端口。作者自述主要用例是在 128GB Strix Halo 上跑 Qwen3.8-Flash-Next 编码与图像生成。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。