跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分68

cavi-ai/mcp-eval 开源:面向 MCP 服务器的确定性评测工具

cavi-ai/mcp-eval

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/cavi-ai/mcp-eval

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

cavi-ai 在 GitHub 开源 mcp-eval,一款与具体实现无关的 MCP 服务器评测工具,含两条互补链路。一是确定性基准电池:用 manifest 驱动的探针套件对任意 MCP 服务器(stdio 或 Streamable HTTP)给出 pass/fail 判定,无 LLM 介入、完全可复现,适用于 CI 门禁,输出 readiness 评分(0-100)、SARIF 报告和修复提示。二是摩擦捕获:在生产式 agent 会话中经隐私保护 shim 记录真实故障,将重复问题提升为 finding,需连续三次验证通过才关闭、回归时自动重开。

推荐理由

这是一个可直接安装使用的 MCP 服务器评测工具,用确定性探针套件做 CI 门禁,并能把生产会话中的摩擦沉淀为可验证的 finding。

来源:GitHub · 灵魂体仓库 · github.com