Reddit · r/LocalLLaMA· /u/naklitechie·· 21 天前精选AI 评分71
LocalMind 让浏览器标签页在 24 GB Mac 上跑 Gemma 4 26B-A4B 与 37 GB Qwen3.6 MoE,专家权重从磁盘流式读取
Gemma 4 26B-A4B and a 37 GB Qwen3.6 MoE running in a browser tab on a 24 GB Mac — experts streamed from disk, output matches llama.cpp
来源与原文
Reddit · r/LocalLLaMA
作者:/u/naklitechie
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyvo42/gemma_4_26ba4b_and_a_37_gb_qwen36_moe_running_in/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 LocalMind 更新:一个纯静态网页,通过 WebGPU 在浏览器 GPU 上运行模型,无服务器、无账号、无需安装,新增从磁盘流式读取 MoE 专家权重的引擎,使标签页能跑超过本机内存的模型。
推荐理由
作者用同一 GGUF 与 llama.cpp 逐 token 对照,给出了浏览器跑 MoE 的输出一致性与速度差距数据,可复现可检验。
来源:Reddit · r/LocalLLaMA · reddit.com