GitHub · 灵魂体仓库·· 5 天前精选AI 评分58
mlxtop 3.1.1 发布:本地 LLM 性能监控工具
maximpri/mlxtop
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/maximpri/mlxtop
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
mlxtop 发布 3.1.1 版,这是一款本地 LLM 监控工具,将内存压力、分页、GPU 状态与运行时的 tokens/s、prefill 进度、队列等指标并列显示,并用一行结论指出变慢原因如重分页或显存占满。支持 oMLX、vLLM、SGLang、llama.cpp、Ollama、LM Studio 等 13 种运行时的自动检测,本地只读运行、无需 sudo、不上传数据;3.1.1 新增可即时生效的 Settings 页和 mlx-serve prefill 进度,支持 macOS(Apple Silicon)、Linux 与 Windows,MIT 协议开源。
推荐理由
本地 LLM 排障工具把内存、分页、GPU 与运行时自身指标并排呈现,还给出健康与否的一句话结论,适合排查本地推理变慢。
来源:GitHub · 灵魂体仓库 · github.com