LlamaStash 发布 v0.10,统一管理 20 多种推理引擎
热点事件持续更新
LlamaStash 发布 v0.10,统一管理 20 多种推理引擎
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 /u/deepu105 在 Reddit r/LocalLLaMA 发布 LlamaStash v0.10,一个通过 YAML 配置统一管理多种推理引擎的工具,提供终端/网页 UI、CLI 与安全代理。作者称已实测 llama.cpp、vLLM、SGLang、ComfyUI、Kokoro 等 20 多种引擎,其中 llama.cpp、vLLM 和 SGLang 为一等支持,其余引擎可通过 YAML 配置声明。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 00:33
LlamaStash v0.10 发布,已适配 llama.cpp、vLLM、SGLang 等 20 多种推理引擎报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMALlamaStash v0.10 发布,已适配 llama.cpp、vLLM、SGLang 等 20 多种推理引擎
作者 /u/deepu105 发布 LlamaStash v0.10,一个通过 YAML 配置统一管理多种推理引擎的终端/网页 UI、CLI 与安全代理工具,已实测 llama.cpp、vLLM、SGLang、Halogen、gufo、sd.cpp、ComfyUI、Kokoro 等 20 多种引擎。工具提供模型预设、别名、回退与多路上下文并行(如在 1M ctx 池上同时跑 4x256k 或 16x64k 会话)、请求日志与指标,以及检测硬件并自动配置的 llamastash init 向导;聊天、图像、STT/TTS 都经由同一个代理端口。作者自述主要用例是在 128GB Strix Halo 上跑 Qwen3.8-Flash-Next 编码与图像生成。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。