vLLM d3 决策模型本地运行讨论：量化选择与 VRAM 占用

Reddit 用户 regunakyle 发帖询问如何本地运行 vLLM 发布的 d3 决策模型系列，llama.cpp 已支持。帖主询问决策模型对量化是否敏感（参照 qwen-2.5-coder FIM 模型建议 Q8 而非 Q4 的经验）、是否比模型本身占用更多 VRAM，以及是否应像 MoE 模型一样把权重拆分到 RAM——帖主认为其基座 qwen 是 dense 模型，应仅存于 VRAM。