跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分64

WebSlice 发布:多设备浏览器标签页分片跑 Qwen 3.8 27B

AllenJohnn/llm-groq

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/AllenJohnn/llm-groq

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

WebSlice 发布,可将大语言模型切分到同一房间内多台设备的浏览器标签页,通过 WebRTC 传递 10 KB 激活向量协同推理,无需安装或服务器。支持 Qwen 3.8 27B(15 GB Q4_0 权重),演示在 MacBook 加 iPhone 上以 10.7 tok/s 生成 400 tokens;GB10 上 plain 解码 9.0 tok/s、推测解码 16.1 tok/s,同文件同 GPU 的原生 llama.cpp 为 8.0 tok/s。默认启用 Groq Cloud 模式会把提示词和对话历史发送到 Groq,需手动关闭才走本地 WebGPU 推理。

推荐理由

原文给出 WebGPU 内核设计、与 llama.cpp 同机对照的实测数据,读者可以据此评估浏览器分片推理的实际水平。

来源:GitHub · 灵魂体仓库 · github.com