Reddit · r/LocalLLaMA· /u/OsmanthusBloom·· 2 小时前AI 评分39
开源推理工具 Magnitude 实测：自称比 Ollama/llama.cpp 快 2x，实测反而更慢
Anyone tried Magnitude? Claims to be 2x faster than Ollama/llama.cpp, but it wasn't for me (3060 Laptop GPU + RPi 5 CPU-only).
来源与原文
Reddit · r/LocalLLaMA
作者：/u/OsmanthusBloom
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xivkcc/anyone_tried_magnitude_claims_to_be_2x_faster/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源本地推理应用 Magnitude（Rust/TypeScript 编写）宣称通过针对硬件调优 kernel 比 llama.cpp 快 2x，作者在 RTX 3060 Mobile 笔记本和 Raspberry Pi 5 上用 LFM3-1.7B (Q8) 实测却更慢：笔记本上 PP 慢 8%、TG 慢 19%，树莓派 CPU 上 PP 慢 84%、TG 慢 32%。该工具支持 Qwen、Gemma、LFM、MiniCPM 等少量模型，提供桌面应用、CLI 和 OpenAI 风格 API，暂不支持 CPU 部分卸载，且高估了模型显存占用。
来源：Reddit · r/LocalLLaMA · reddit.com