GitHub · 去对齐工具与仓库·· 20 天前AI 评分42
Rishindra Mateti 开源 contract-fragility-schema-complexity 基准:评估 LLM 工具调用 JSON Schema 脆弱性
rishindra-mateti-tech/contract-fragility-schema-complexity-benchmark
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/rishindra-mateti-tech/contract-fragility-schema-complexity-benchmark
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Rishindra Mateti 在 GitHub 开源了一个可复现的基准,用 20 个合成工具规范和 80 个变异 schema 条件评估 LLM 工具调用契约的脆弱性,并配套属性级变异隔离测试与部署前静态 schema linter。目前仅完成 30 次调用的探索性试点,测试 gemini-3.1-flash-lite-preview 显示语法与选择准确率 100%,语义精确匹配从 60% 降至 20%,样本量过小尚无统计显著性;后续需在 Mistral、Llama-3 等多提供商上完整执行。
来源:GitHub · 去对齐工具与仓库 · github.com