GitHub · 灵魂体仓库·· 15 天前AI 评分39
Cyber AI TUI（Local AI Hypervisor）：基于 llama.cpp 的本地与分布式 LLM 推理终端管理工具
pipix92/Local_AI_Hypervisor
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pipix92/Local_AI_Hypervisor
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Cyber AI TUI 是一个基于 Python 和 Rich 构建的全屏终端界面与进程管理工具，用于本地和分布式 LLM 推理编排。它通过 llama.cpp 的 ggml-rpc-server 在 RTX 3050 主机节点与 RTX 5050 远程节点间协调算力，支持双节点遥测、预设一键切换、KV cache 量化（q4_0、q8_0、f16）、最高 128k 上下文窗口及一键远程同步等功能。
来源：GitHub · 灵魂体仓库 · github.com