Reddit · r/LocalLLaMA· /u/Oswald_Hydrabot·· 11 天前AI 评分29
网友在 128GB Jetson AGX Thor 上跑通约 566GB 的 MiMo-2.6-Pro，速度仅 0.646 tokens/sec
Dario: “With open source you can see the source code. Here we can’t see inside the model.” My 0.646 t/s MiMo-2.6-Pro crammed thru 128GB of Jetson AGX Thor: “Yeah, well, that’s just, like, your opinion, man.”
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Oswald_Hydrabot
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x7sbxs/dario_with_open_source_you_can_see_the_source/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit r/LocalLLaMA 用户在 128GB 内存的 Jetson AGX Thor 上成功加载并运行约 566GB（FP8）的 MiMo-2.6-Pro，速度仅 0.646 tokens/sec，模型需在推理过程中从磁盘读取。作者逐层追踪了 decoder layer、routed expert 和 SSD 读取过程，并计划进一步优化速度。
来源：Reddit · r/LocalLLaMA · reddit.com