Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 3 天前AI 评分55
Berth 让已缓存模型 5.6 秒完成加载,首次磁盘加载需 13.7 秒
Once cached, CyberTiel loads fully in 5.6s (vs. 13.7s on the first disk-bound load, lease included)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Distinct-Pie2389
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdt07p/once_cached_cybertiel_loads_fully_in_56s_vs_137s/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/Distinct-Pie2389 提交的 Berth 工具支持引擎把权重驻留到系统内存,ComfyUI、vLLM、SGLang 等支持 park 协议的引擎可从内存恢复而非从磁盘重载,仅在测得 RAM 覆盖引擎加余量时驻留,内存不足时优先停掉已驻留引擎。在 RTX 4090 加 64 GiB 内存的参考配置上,经 llama-swap 的单次对话请求(含 lease)从请求到回复:21 GB 对话模型文件已在 page cache 时 5.6 秒,ComfyUI 驻留 RAM 后切换不到 1 秒,ComfyUI 切到 27B 对话模型 13.6 至 16.3 秒;数据与方法见 Strata 的 Benchmarks Repo。
来源:Reddit · r/LocalLLaMA · reddit.com