跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分42

Rishindra Mateti 开源 contract-fragility-schema-complexity 基准:评估 LLM 工具调用 JSON Schema 脆弱性

rishindra-mateti-tech/contract-fragility-schema-complexity-benchmark

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/rishindra-mateti-tech/contract-fragility-schema-complexity-benchmark

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Rishindra Mateti 在 GitHub 开源了一个可复现的基准,用 20 个合成工具规范和 80 个变异 schema 条件评估 LLM 工具调用契约的脆弱性,并配套属性级变异隔离测试与部署前静态 schema linter。目前仅完成 30 次调用的探索性试点,测试 gemini-3.1-flash-lite-preview 显示语法与选择准确率 100%,语义精确匹配从 60% 降至 20%,样本量过小尚无统计显著性;后续需在 Mistral、Llama-3 等多提供商上完整执行。

来源:GitHub · 去对齐工具与仓库 · github.com