Embedl 发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案
先了解这件事
Embedl 团队发布 Qwen3.8-27B 在 NVIDIA Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（称误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层和 MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1。 团队公布的精度数据与 FP16 对照为：GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。这些为团队自报数据。获取需下载约 1 GB 的容器和约 20 GiB 的独立模型权重。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，解码 39.6 tok/s
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层、MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1；准确率与 FP16 对照为 GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。