llama.cpp WebGPU 后端实现磁盘分页，48 GB GGUF 的 Qwen3-Next 80B MoE 在 Chrome 标签页中运行

/u/naklitechie 把上周的磁盘流式加载 MoE 专家方案接到 llama.cpp 自带的 WebGPU 后端，Qwen3-Next 80B-A3B（48.4 GB Q4_K_M GGUF）在 Chrome 标签页中成功运行，MacBook Pro M4 Pro 上加载 48 秒、解码 2.9 tok/s，并称是概念验证。方法是把 GGUF 一次性下载到浏览器 OPFS 私有存储，GPU 只保留稠密层、KV cache 和每层固定数量的专家槽位，路由选中的专家不在槽位时从磁盘按 LRU 换入；分页开关下 OLMoE 与 LFM2 各 9 段对话回复完全一致，对 Metal 后端 9 条中 4 至 8 条一致，差异来自 WebGPU 与 Metal 的舍入。