跳到正文
Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 6 天前AI 评分42

Fast-swap 发布 v0.3.0(Berth),招募多 GPU 与大内存测试者

Fast-swap available v0.3.0 (Berth) - Testing needed

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Distinct-Pie2389

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xb783i/fastswap_available_v030_berth_testing_needed/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Fast-swap 发布 v0.3.0(Berth),新功能将引擎驻留在系统内存而非卸载,切回已驻留引擎可跳过从磁盘重新加载。作者招募测试者:需 64/96/128 GB 内存配 24 GB 显卡测试 vLLM 或 ComfyUI 引擎驻留耗时,或多 GPU 用户提供真实拓扑以支持下版多 GPU 租约功能,另征集 Windows NVIDIA 用户运行 contrib/windows/check.ps1 校验 VRAM,以及 Linux AMD 用户。

来源:Reddit · r/LocalLLaMA · reddit.com