GitHub · 灵魂体仓库·· 19 天前精选AI 评分66
thisisspartan 发布 llama-log-observability:llama-server 实时日志可视化面板
thisisspartan/llama-log-observability
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/thisisspartan/llama-log-observability
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
thisisspartan 在 GitHub 发布 llama-log-observability,一个解析 llama-server 日志的实时仪表盘,用单个零依赖的 www.js 文件以纯 Node.js 实现。面板可视化 KV cache 来源与 VRAM/Host RAM 分布、上下文 checkpoint、MTP/n-gram 投机解码接受率与请求历史,并读取 /slots 和 /metrics 端点交叉核对,不改动 llama.cpp 本身。作者给出完整示例:在 RTX 5060 Ti 16GB 上以 q4_0 KV cache 加 host-RAM checkpoint 运行 Qwen3.8-27B MTP GGUF(IQ3_S 量化),跑通 124000 上下文。项目以 MIT 协议开源。
推荐理由
一个零依赖的单文件 Node.js 面板,把 llama-server 日志变成 KV 缓存、checkpoint 和投机解码的实时可视化,可直接复用。
来源:GitHub · 灵魂体仓库 · github.com