跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分37

RyanBalech 开源 llm-agent-evaluation:仓库级 LLM 智能体评估研究框架

RyanBalech/llm-agent-evaluation

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/RyanBalech/llm-agent-evaluation

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

RyanBalech 在 GitHub 发布 llm-agent-evaluation,一个研究仓库级检索与结构化工具使用如何影响软件工程智能体的框架。已实现 BM25 基线、Recall@k/MRR/nDCG 指标、上下文预算核算、PyTorch Transformer 稠密检索及 SWE-bench 补丁标签适配器,补丁生成与 agent 消融仍在规划中,尚无正式 benchmark 结果。

来源:GitHub · 去对齐工具与仓库 · github.com