Reddit · r/LocalLLaMA· /u/web3samy·· 13 天前精选AI 评分60
推理引擎 jitllm 实现生成中途在 GPU 间迁移模型层，单次仅 8ms
Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/web3samy
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5i7o9/moving_a_running_models_layers_between_gpus/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/web3samy 发布了受操作系统与 JIT 编译器启发的推理引擎 jitllm，可在生成回复过程中把模型层在不同硬件间移动并重新排布。Llama-3.2-3B 在 2×T4 上层迁移耗时 8.1-8.4ms、2×V100 上约 20-21ms，RTX 3050 Ti 笔记本上 CUDA 到 Vulkan 迁移 91ms，均无 token 重算。KV cache 随层分页迁移，prompt 无需重新处理，输出与未迁移运行一致。代码见 https://github.com/jitllm/jitllm
推荐理由
作者给出了各硬件组合下层迁移的耗时与零重算数据，可用于评估这种运行中模型调度思路的落地成本。
来源：Reddit · r/LocalLLaMA · reddit.com