GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分69
Teyeray 开源终端工具 llmtap,可测 LLM API 延迟并探测模型降级
Teyeray/llmtap
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Teyeray/llmtap
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Teyeray 在 GitHub 发布终端工具 llmtap,可对任意 OpenAI 兼容端点测量 TTFT、吞吐(tok/s)等指标,并用 6 项固定检查(regex 评分,0–100 分)探测中转站是否降级模型,还能通过 GET /models 扫描端点全部模型。支持 OpenAI、DeepSeek、Moonshot、Qwen、OpenRouter、Ollama、LM Studio、vLLM 等,数据不出本机,提供 TUI、中英双语界面与可选成本统计,MIT 协议开源,安装需 Python 3.10+。
推荐理由
终端工具 llmtap 集延迟、吞吐、降级探测与中转站扫描于一体,还给出与同类工具的功能对比,便于按需选型。
来源:GitHub · 去对齐工具与仓库 · github.com