WeeLLM 发布扩散模型分层流式推理方案，4GB 显存无量化运行大模型

WeeLLM 开源了针对大型扩散模型的分层流式推理工具，通过把文本编码器和 transformer 层按显存预算动态流式加载到 GPU，在不量化的 bfloat16 精度下让 4GB 显存运行 FLUX.1-dev、SDXL、Qwen-Image 等模型，并给出 RTX 3050 上的显存峰值与生成耗时基准表。现已提供 ComfyUI 官方扩展，支持文生图、图生图和文生视频，但作者说明自回归文生图模型因需上千次前向传播而流式耗时数小时，不实用。