Reddit · r/LocalLLaMA· /u/nalaginrut·· 8 天前AI 评分51
HardenedLinux 开源推理运行时 SonicBoom v0.0.3 发布并征集社区 GPU 基准测试
Calling all GPUs: help us benchmark SonicBoom v0.0.3 — a compiler-first AI runtime that beats llama.cpp on decode
来源与原文
Reddit · r/LocalLLaMA
作者：/u/nalaginrut
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x9mitw/calling_all_gpus_help_us_benchmark_sonicboom_v003/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
HardenedLinux 社区发布 GPLv3 开源推理运行时 SonicBoom v0.0.3，采用编译器优先路线，构建和运行时不用 Python，以单一共享库、C ABI 和 Guile Scheme 为一等语言。在 RTX 3050 8GB、同 GGUF 条件下对比 llama.cpp -ngl 99：Gemma 4 E4B Q3_K_M decode 1.18×、prefill 1.00×，Qwen2.5-0.5B Q4_K_M decode 1.12×、prefill 1.09×；多轮 Agent 负载下 time-to-first-token 自 v0.0.2 起下降数倍（prefix reuse + plan caching），输出 token 与 golden run 位级一致。
来源：Reddit · r/LocalLLaMA · reddit.com