跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分63

OrsikTop 发布:Linux 终端中监控本地 llama.cpp 推理与 GPU 遥测的 Rust TUI 工具

exclude-barrier/OrsikTop

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/exclude-barrier/OrsikTop

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

OrsikTop 是一个用 Rust 编写的终端仪表盘,可在 Linux x86_64 上监控本地 llama.cpp 推理指标、GPU 遥测(NVIDIA/AMD/Intel)以及系统负载和进程,无需浏览器、守护进程、数据库或账号。它通过 --metrics 读取 llama.cpp 的上下文占用、prefill/decode 吞吐、请求与槽位状态等,支持自动发现本地 llama-server 进程,当前版本为 0.2.8,提供独立安装器和 Cargo 两种安装方式,采用 Apache 2.0 许可证。

推荐理由

一个面向 llama.cpp 本地推理的终端监控工具,详细说明了指标读取方式和三大 GPU 厂商的适配做法,便于直接部署使用。

来源:GitHub · 灵魂体仓库 · github.com