GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分73
Keys 发布 vLLM 0.27 上 Qwen3.8-27B 消融版 NVFP4 推理栈，单台 DGX Spark 跑通 1M 上下文
fitmentcolubridae625/keys-vLLm.0.27-Qwen3.8-27B-ADay777Ablit-NVFP4-A4Q-NVFP4-KV-4M-KV-token-pool-MTP3-Single-DGX-Spark
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/fitmentcolubridae625/keys-vLLm.0.27-Qwen3.8-27B-ADay777Ablit-NVFP4-A4Q-NVFP4-KV-4M-KV-token-pool-MTP3-Single-DGX-Spark
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Keys（drowzeys）在 GitHub 发布完整 4-bit 推理配方，将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark（121 GB UMA）上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a，使 KV 池从约 2.1M token 翻倍到 4.34M，实现 1M 上下文约 4.14× 并发；A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%，decode 中性（同模型 A/B 实测）。
推荐理由
原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录，可作为 GB10 量化推理栈的可复现参考。
来源：GitHub · 去对齐工具与仓库 · github.com