跳到正文
GitHub · 灵魂体仓库·· 3 小时前AI 评分54

mlx-model-bench 仓库发布四模型三量化档本地基准

imaddde867/mlx-model-bench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/imaddde867/mlx-model-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 mlx-model-bench 发布统一框架下的本地评测,测 NVIDIA Nemotron 3.5 Bolt E4B、MiniCPM5-2B、Spark-X2.5-4B、LFM2.5-8B-A1B 在 4-bit、OptiQ 4/8-bit、8-bit 三档量化的速度、TTFT、内存与盲评质量,硬件为 Apple M4 10 核加 mlx-lm 0.32.2。作者强调这不是榜单,每行附带 checkpoint、bits-per-weight 与发布方来源,历史运行缺少系统快照、盲评仅单人评分( slots 间差 1.37 分,属偏好信号而非排名),并给出完整复现脚本与固定 30 条准确率加 8 条质量提示词。

来源:GitHub · 灵魂体仓库 · github.com