跳到正文
Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 3 天前AI 评分55

Berth 让已缓存模型 5.6 秒完成加载,首次磁盘加载需 13.7 秒

Once cached, CyberTiel loads fully in 5.6s (vs. 13.7s on the first disk-bound load, lease included)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Distinct-Pie2389

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xdt07p/once_cached_cybertiel_loads_fully_in_56s_vs_137s/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者 /u/Distinct-Pie2389 提交的 Berth 工具支持引擎把权重驻留到系统内存,ComfyUI、vLLM、SGLang 等支持 park 协议的引擎可从内存恢复而非从磁盘重载,仅在测得 RAM 覆盖引擎加余量时驻留,内存不足时优先停掉已驻留引擎。在 RTX 4090 加 64 GiB 内存的参考配置上,经 llama-swap 的单次对话请求(含 lease)从请求到回复:21 GB 对话模型文件已在 page cache 时 5.6 秒,ComfyUI 驻留 RAM 后切换不到 1 秒,ComfyUI 切到 27B 对话模型 13.6 至 16.3 秒;数据与方法见 Strata 的 Benchmarks Repo。

来源:Reddit · r/LocalLLaMA · reddit.com