AgentPulse 开源多 Agent LLM 系统的 grounding 风险与漂移监控 SDK
Soum-Code 发布开源项目 AgentPulse,一个可自托管的轻量可观测性 SDK,对多 Agent LLM 系统的每个 span 持续评估 grounding 风险、工具声明校验、Agent 间矛盾与漂移,并将 Agent 稳定性指数汇总为 0-100 分。grounding 评估用 MiniLM 嵌入相似度加 DeBERTa NLI 分类器双模型串行打分,支持 LangGraph 插桩或直接包装 OpenAI/Anthropic 客户端;附 2026-08-18 基准数据(全评估器 P95 172.2 ms)及漂移、阈值消融等多份报告。需从源码安装,PyPI 上的 agentpulse 是无关项目,评估 worker 进程不可省略,暴露到公网前须设置真实的 AGENTPULSE_API_KEY。
推荐理由:开源项目作者给出完整的评测延迟数据与部署文档,读者可据此评估这套多 Agent 质量监控方案能否复用到自己的流水线。