Reddit · r/LocalLLaMA· /u/Szadbaverem69·· 17 天前AI 评分49
Qwen3.6-35B-A3B：6GB 显存跑出 131K 上下文 + 视觉能力
Qwen 3.6 35B A3B: 131K context + vision on 6GB VRAM
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Szadbaverem69
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x27au9/qwen_36_35b_a3b_131k_context_vision_on_6gb_vram/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户在 RTX 2060 6GB + 32GB DDR4 上用 llama.cpp 运行 Qwen3.6-35B-A3B Q4_K_M 量化模型，实现 131072 tokens 上下文和视觉能力。空 KV cache 时约 600 tok/s prefill、23 tok/s decode，约 90k context 时稳定在 485 tok/s prefill、15 tok/s decode。通过视觉投影器走 CPU（--no-mmproj-offload）和 MoE 专家层部分放 CPU（--n-cpu-moe 39），VRAM 占用控制在 ~5.2 GB 以内。
来源：Reddit · r/LocalLLaMA · reddit.com