跳到正文
GitHub · 去对齐工具与仓库·· 8 天前AI 评分34

dci-bench:评估 LLM 直接语料交互(DCI)能力的基准

cosylsine/dci-bench

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/cosylsine/dci-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

dci-bench 是一个评估 LLM 直接语料交互(DCI)能力的基准,评测分为文档与代码两条赛道,沿用 Inspect/Pi 六任务工作流。代码赛道新增独立仓库文件指标、行覆盖率、函数/功能证据召回、显式无金标准弃答和 ARB 预算上下文收益;2026-10-15 协议数据索引覆盖 13 个文档任务(2,399 条查询)和 287 条 ARB 代码查询。Phase 0 至 Phase 5 已实现,检索评分默认报告 recall、F1 和 nDCG@1/3/5/10/20。

来源:GitHub · 去对齐工具与仓库 · github.com