Reddit · r/LocalLLaMA· /u/No-Dragonfly6246·· 2 小时前精选AI 评分67
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，解码 39.6 tok/s
Qwen3.8-27B Jetson Thor: 40 tok/s at FP16-level accuracy (INT4 + MTP + FlashHead)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/No-Dragonfly6246
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xg44nj/qwen3827b_jetson_thor_40_toks_at_fp16level/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层、MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1；准确率与 FP16 对照为 GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。
推荐理由
作者给出与 FP16 逐项对照的准确率和实测吞吐，并说明量化与投机解码的具体做法，便于复现比较。
来源：Reddit · r/LocalLLaMA · reddit.com