跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分55

Probagent 开源插件式 LLM Agent 数据质量测试工具

Abin-Biju-Offl/Probagent-Plugin-Based-Tester-For-LLM-Agents

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Abin-Biju-Offl/Probagent-Plugin-Based-Tester-For-LLM-Agents

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开发者 Abin-Biju-Offl 在 GitHub 发布 Probagent,一个测试 LLM Agent 及其数据的工具,首期功能是数据质量检查器。它支持上传 CSV 或从 REST API 拉取 JSON(401/403 时可通过 JWT 重试),按 JSON 规则集逐行检查,也可从样本 CSV 自动生成规则;演示数据中检出 13 个问题。其 data guard 可接入 LangGraph ToolNode,在数据到达模型前按 block/warn/filter 策略处理坏数据,模型只能看到问题计数和列名而非原始值以防提示词注入,检查结果写入运行日志并可用 probagent explain 查询。限制为单文件 10 MB、50000 行、200 列。

推荐理由

这是一个可直接部署的开源数据质量检查工具,还提供 LangGraph 集成,能在脏数据进入模型前自动拦截。

来源:GitHub · 去对齐工具与仓库 · github.com