GitHub · 去对齐工具与仓库·· 2 天前精选AI 评分63
zazuss 开源 Jetson Orin 上 LLM 推理实测调优指南 jetson-orin-tuning
zazuss/jetson-orin-tuning
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/zazuss/jetson-orin-tuning
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 zazuss/jetson-orin-tuning 公布了在 Jetson Orin（Nano 8GB、Super、NX、AGX）上做 LLM 推理的实测调优结论，所有数字来自 7.3 GiB Orin Nano 的真实测量。
推荐理由
全部数据来自作者在 7.3 GiB Orin Nano 上的实测，给出了瓶颈诊断表和量化格式、词表、KV 缓存的具体调优结论。
来源：GitHub · 去对齐工具与仓库 · github.com