Reddit · r/LocalLLaMA· /u/No-Dragonfly6246·· 5 天前精选AI 评分58
Cosmos3-Edge 经 INT4 量化在 Orin Nano 8GB 上运行
Cosmos3-Edge in under 8 GB: VLM out now, video gen and robot policy next.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/No-Dragonfly6246
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xbph8w/cosmos3edge_in_under_8_gb_vlm_out_now_video_gen/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/No-Dragonfly6246 发布了优化版 Cosmos3-Edge，用 INT4 量化让 BF16 装不下的 8GB Orin Nano 也能运行。Orin Nano Super 8GB 解码速度 152.5 tok/s，VLM 峰值内存低至 3.3GB；五个 VLM 基准分数从 65.56 降至 65.20，当前已发布 VLM 部分，扩散模型与 robot policy 部分即将添加。试用地址 https://embedl.com/nvidia/cosmos3-edge/orin-nano-super
推荐理由
作者给出了量化后各设备的解码速度、峰值内存和五个 VLM 基准的前后分数，部署收益可直接对照验证。
来源：Reddit · r/LocalLLaMA · reddit.com