作者在双张 Ascend 310P 上用 vllm-ascend 跑通 GLM-5.3-Flash

/u/matteiuspi 在两张 96GB Ascend 310P 卡上用 vllm-ascend 跑通 GLM-5.3-Flash（320B 参数 MoE，每 token 约 18B 激活，45 层 288 专家 top-8），经 W2/W3/W4 量化后达到约 8-9 tok/s，已验证单请求最高 311,040 tokens、按 640-token prefill 分块、最多 4 路并发。作者实现了模型权重常驻下的模块热更新加速实验迭代，另在第三张卡上跑通 qwen3.8-flash-next 并支持 YaRN 1M 上下文，还提出将部分权重卸载到 Ascend 的 Ascend Sidecard 设想；作者称 Codex 能协助写融合 kernel，而 Claude 拒绝讨论 Ascend 架构。