单卡 24GB GPU 上 <2 秒 RAM<->VRAM 快速换模型跑多智能体流程：如何绕过 CUDA 重新初始化瓶颈？

一位 Reddit r/LocalLLaMA 用户在单张 RTX 3090（24GB）上搭建 Architect->Coder->Debugger 顺序多智能体本地流水线，发现 llama.cpp/llama-server 每次在 RAM 与 VRAM 间换模型实际耗时 25-30.5 秒，而 PCIe 3.0 x16 约 12GB/s 的理论传输仅需 1.2-1.5 秒。瓶颈在于路由模式会终止并重启子进程，带来 3-5 秒 CUDA 上下文初始化、Windows 页表缺失引发的软页面错误以及 VRAM 重新分配开销。作者询问是否有 Strata、NInfer 等引擎或 llama.cpp 改法能在活跃 CUDA 上下文中以 DMA 方式 <2 秒热切换权重。