跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分69

Teyeray 开源终端工具 llmtap,可测 LLM API 延迟并探测模型降级

Teyeray/llmtap

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Teyeray/llmtap

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Teyeray 在 GitHub 发布终端工具 llmtap,可对任意 OpenAI 兼容端点测量 TTFT、吞吐(tok/s)等指标,并用 6 项固定检查(regex 评分,0–100 分)探测中转站是否降级模型,还能通过 GET /models 扫描端点全部模型。支持 OpenAI、DeepSeek、Moonshot、Qwen、OpenRouter、Ollama、LM Studio、vLLM 等,数据不出本机,提供 TUI、中英双语界面与可选成本统计,MIT 协议开源,安装需 Python 3.10+。

推荐理由

终端工具 llmtap 集延迟、吞吐、降级探测与中转站扫描于一体,还给出与同类工具的功能对比,便于按需选型。

来源:GitHub · 去对齐工具与仓库 · github.com