跳到正文
GitHub · 灵魂体仓库·· 1 天前精选AI 评分62

Tabmark 开源:在浏览器里用 WebGPU 实测各设备运行小型语言模型的速度

aishwaryawambule/tabmark

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/aishwaryawambule/tabmark

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Tabmark 是一个在浏览器标签页内测 LLM 速度的众包基准工具,模型下载到本地经 WebGPU 在设备 GPU 上运行,无服务器、无账号。支持 WebLLM 和 wllama(llama.cpp)两个引擎、16/8/4 位 KV cache 三种内存格式,可选 Qwen3 0.6B(默认)、Llama 3.2 1B、Qwen3 1.7B、Qwen3 4B、SmolLM2 360M 五个模型,上下文可加载到 4k 至 32k tokens 并报告最大可装载值。测试统一约 500 tokens 提示词、生成 128 tokens,并先做一次预热请求以排除 GPU shader 编译影响。

推荐理由

把浏览器内 LLM 跑分做成众包公开榜单,统一预热和提示词控制变量,可自己跑一条加入对比。

来源:GitHub · 灵魂体仓库 · github.com