qwen27-engine：为 Qwen3.8-27B 与双 RTX 5060 Ti 从零打造的推理引擎

作者发布了 qwen27-engine，一个专门为 Qwen3.8-27B 和两块 NVIDIA RTX 5060 Ti 16 GB（Windows、sm_120）从零编写的推理引擎，提供 OpenAI 兼容 API，支持流式输出、工具调用、推理、图像输入和投机解码。在同一台 PC 上，其解码比调优过的 llama.cpp 构建快 1.4-1.7 倍，读提示词快 1.7-2.4 倍，重放真实 Qwen Code 会话耗时约一半；q8_0 KV 缓存下输出分布与 llama.cpp 的平均 KL 散度为 0.0005-0.001。限制包括仅支持 Windows、固定双卡、单请求串行，模型文件来自 ISTA-DASLab 的 GGUF（12.1 GB，1.75-6.5 bit 混合量化），MIT 许可。