hardfest-gpu-workshop:Gemma 与 Qwen 的 GPU 推理优化实战教程
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程,从手动运行 Gemma 开始,测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding(MTP),再通过 AI Inference 平台复现同一配置作对比。
推荐理由:作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制,方法论清晰,可迁移到自己的推理部署调优。