Reddit · r/LocalLLaMA· /u/Binary_orchid·· 22 小时前精选AI 评分59
SenseNova-U1.5-8B-MoT 在 M5 Ultra 的 llama.cpp 实测：Q4_K_M 达 125 tok/s 并识别出账单错误
SenseNova-U1.5-8B-MoT in llama.cpp on an M5 Ultra (Q4_K_M): 125 tok/s, and it caught a $1 mistake on a receipt
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Binary_orchid
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjqf74/sensenovau158bmot_in_llamacpp_on_an_m5_ultra_q4_k/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者自行转换官方权重，在 Mac Studio M5 Ultra 上用 llama.cpp 跑通 SenseNova-U1.5-8B-MoT（仅理解侧，文本或图像输入、文本输出）。llama-bench 显示 Q4_K_M 5.32 GiB 达 125 tok/s（tg128），Q8_0 88 tok/s，BF16 56 tok/s；视觉测试中 Q4_K_M 通过 llama-mtmd-cli 发现小票小计多算 $1.00，把六项加总为 28.99 对比标印 29.99，还注意到 7% 税按错误数字计算，含加载共 16 秒。
推荐理由
作者自己转换权重并给出 M5 Ultra 上三种量化的 llama-bench 实测数据，还附上视觉识账单的验证和转换报错的修复方法。
来源：Reddit · r/LocalLLaMA · reddit.com