OrsikTop 发布:Linux 终端中监控本地 llama.cpp 推理与 GPU 遥测的 Rust TUI 工具
OrsikTop 是一个用 Rust 编写的终端仪表盘,可在 Linux x86_64 上监控本地 llama.cpp 推理指标、GPU 遥测(NVIDIA/AMD/Intel)以及系统负载和进程,无需浏览器、守护进程、数据库或账号。它通过 --metrics 读取 llama.cpp 的上下文占用、prefill/decode 吞吐、请求与槽位状态等,支持自动发现本地 llama-server 进程,当前版本为 0.2.8,提供独立安装器和 Cargo 两种安装方式,采用 Apache 2.0 许可证。
推荐理由:一个面向 llama.cpp 本地推理的终端监控工具,详细说明了指标读取方式和三大 GPU 厂商的适配做法,便于直接部署使用。