伦敦全科医生实测单张 RTX 4090 跑实时临床助手 OpenConsult 的响应提速

伦敦一位全科医生开发了全本地运行的临床助手 OpenConsult，在单张 RTX 4090 上实测如何把自动提问的响应压到 3 秒内。MedGemma 27B (Q4_K_M) 每轮需 18 秒，Gemma 4 26B-A4B QAT 降至 5 秒且临床评分相当；vLLM 比.Ollama 和 llama.cpp 快至 3.5 秒，但占用 94% 显存；把一轮的两次调用合并发送后 vLLM 降到 2.8 秒。模型输出约 170 tokens/秒，另测了 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning 和 gpt-oss-20b，Gemma 4 仍最快。项目以 AGPL-3.0 开源，作者在征求进一步提速与 CPU offload 建议。