GitHub · 灵魂体仓库·· 19 天前精选AI 评分63
OrsikTop 发布:Linux 终端中监控本地 llama.cpp 推理与 GPU 遥测的 Rust TUI 工具
exclude-barrier/OrsikTop
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/exclude-barrier/OrsikTop
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
OrsikTop 是一个用 Rust 编写的终端仪表盘,可在 Linux x86_64 上监控本地 llama.cpp 推理指标、GPU 遥测(NVIDIA/AMD/Intel)以及系统负载和进程,无需浏览器、守护进程、数据库或账号。它通过 --metrics 读取 llama.cpp 的上下文占用、prefill/decode 吞吐、请求与槽位状态等,支持自动发现本地 llama-server 进程,当前版本为 0.2.8,提供独立安装器和 Cargo 两种安装方式,采用 Apache 2.0 许可证。
推荐理由
一个面向 llama.cpp 本地推理的终端监控工具,详细说明了指标读取方式和三大 GPU 厂商的适配做法,便于直接部署使用。
来源:GitHub · 灵魂体仓库 · github.com