Reddit · r/LocalLLaMA· /u/nalaginrut·· 14 天前AI 评分46
SonicBoom v0.0.1 发布：笔记本 RTX 3050 上解码达 52 tok/s，超过 llama.cpp
SonicBoom: 52 tok/s decode on a laptop RTX 3050 (llama.cpp: 45) with the same quantized kernels, the difference is a graph compiler. No Python.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/nalaginrut
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x4scub/sonicboom_52_toks_decode_on_a_laptop_rtx_3050/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者发布 C++/CUDA 编写的原生张量运行时 SonicBoom v0.0.1，在笔记本 RTX 3050 8 GB 上以相同 GGUF 量化内核实现 Gemma 4 E4B-it 解码 51.65 tok/s，超过 llama.cpp 的 45.20 tok/s，提升来自图编译器（激活量化复用、算子融合与 CUDA Graph 重放）。当前仅支持 Q3_K/Q4_K/Q5_K 量化、Gemma 4 E4B 与 greedy 采样，prefill 约为 llama.cpp 一半，采用 GPL-3.0 协议，后续路线图包括 MLIR GPU codegen 与投机解码。
来源：Reddit · r/LocalLLaMA · reddit.com