Reddit · r/LocalLLaMA· /u/jacek2023·· 16 天前AI 评分67
27B 级三值权重模型登陆 llama.cpp，约 5.9 GB 即可在本地跑推理
Now you can grow Bonsai on your potato
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jacek2023
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x37kxn/now_you_can_grow_bonsai_on_your_potato/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本，语言模型约 5.9 GB，比 FP16 小约 9.3 倍，保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78，明显高于 IQ2_XXS 的 72.59，接近体积大三倍的 UD-Q4_K_XL；Apple M5 Max 笔记本上约 47 tok/s，支持 262K token 上下文，提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。
来源：Reddit · r/LocalLLaMA · reddit.com