作者发布浏览器 LLM 引擎 webyIQ，Qwen3.5-2B 在 Chrome 中达 620 tok/s

作者 /u/tixiren 发布了按模型定制的浏览器 LLM 引擎 webyIQ，Qwen3.5-2B 在 Chrome 156、RTX 5080 上达到 620 tok/s（无投机解码为 417），比同模型 WebLLM 快 6.6 倍。技术要点包括 Rust 编译为 wasm、手写 WGSL kernel、fused int4×int8 GEMV/GEMM、全程驻留 GPU 的解码循环，以及利用 Qwen3.5 内置 MTP 头的投机解码（输出与 greedy 一致）；权重为 1.1 GB、WikiText 困惑率较 bf16 增加 2.4%。项目附带浏览器 Agent 演示和 Chrome/Edge 侧边栏扩展，代码以 Apache-2.0 开源，目前仅在 Windows 上测试过。