Reddit · r/LocalLLaMA· /u/WEREWOLF_BX13·· 15 天前AI 评分32
10-16GB VRAM 可运行模型全排名:Gemma 4 26B-A4B 居首
Every Model That Can Be Run On 10-16GB VRAM Ranked
来源与原文
Reddit · r/LocalLLaMA
作者:/u/WEREWOLF_BX13
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x3gpyi/every_model_that_can_be_run_on_1016gb_vram_ranked/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户实测并排出了能在 10-16GB VRAM、26-32GB RAM 下运行的模型榜单,要求 64k 上下文、每秒至少 10 token,冠军为 Gemma 4 26B-A4B,其后是 Qwen 3.6 35B-A3B (Abliterated) 和 Gemma 4 Instruct 19B-A1B Heretic。测试覆盖速度、连贯性、多语言容错、slop 模式频率和审查程度,并排除了所有 CoT 模型。作者提示 Kobold 无法加载 Qwen 35B 和 GLM 31B,需用 LLAMA 运行。
来源:Reddit · r/LocalLLaMA · reddit.com