Reddit · r/LocalLLaMA· /u/Kahvana·· 10 天前AI 评分21
llama.cpp 这一年半的巨大进步：一位 LocalLLaMA 用户的本地 LLM 体验
llama.cpp has come a long way
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Kahvana
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x7xbf0/llamacpp_has_come_a_long_way/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位用户回顾 2025 年 3 月至今的本地 LLM 之路：从 RX 7800 XT 上跑 Mistral Nemo Q4_K_M 的 15 t/s，到双 RTX 5060 Ti 16GB 加持下，llama.cpp 0.7.0 运行 Gemma 4 31B IT QAT 超过 60 t/s 生成、1100 t/s 处理，Qwen3.8 27B 推理约 70 t/s、写代码约 100 t/s。随着 tensor split 与 MTP 引入及 Web 界面改版，本地模型已能完全替代云端 LLM。
来源：Reddit · r/LocalLLaMA · reddit.com