跳到正文
GitHub · 灵魂体仓库·· 5 天前精选AI 评分58

mlxtop 3.1.1 发布:本地 LLM 性能监控工具

maximpri/mlxtop

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/maximpri/mlxtop

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mlxtop 发布 3.1.1 版,这是一款本地 LLM 监控工具,将内存压力、分页、GPU 状态与运行时的 tokens/s、prefill 进度、队列等指标并列显示,并用一行结论指出变慢原因如重分页或显存占满。支持 oMLX、vLLM、SGLang、llama.cpp、Ollama、LM Studio 等 13 种运行时的自动检测,本地只读运行、无需 sudo、不上传数据;3.1.1 新增可即时生效的 Settings 页和 mlx-serve prefill 进度,支持 macOS(Apple Silicon)、Linux 与 Windows,MIT 协议开源。

推荐理由

本地 LLM 排障工具把内存、分页、GPU 与运行时自身指标并排呈现,还给出健康与否的一句话结论,适合排查本地推理变慢。

来源:GitHub · 灵魂体仓库 · github.com