fonzi22 发布 LLM-as-a-Judge 评测仓库
热点事件持续更新
fonzi22 发布 LLM-as-a-Judge 评测仓库
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
fonzi22 发布 llm_as_a_judge 仓库，用 judge Qwen 比较问题、ground truth 与 prediction 来评判 VLM 回答，输出 1（匹配）或 0（不匹配），不接受图像或 bounding box。评测代码位于 llm_eval/，需分别提供 llm_eval/annotations.json 与 llm_eval/predictions/ 数据，报告存入 llm_eval/results/。 仓库说明称，GPU 和存储使用运行者自己的 Modal 账号；测试以 mock 离线运行，不调用 judge API 或 GPU。
AI 根据报道生成 · 1 小时前更新
最新进展11月7日 18:31
fonzi22/llm_as_a_judge：用 Qwen 评判 VLM 回答的 LLM-as-a-Judge 评测工具报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- GitHub · 灵魂体仓库fonzi22/llm_as_a_judge：用 Qwen 评判 VLM 回答的 LLM-as-a-Judge 评测工具
fonzi22/llm_as_a_judge 用 judge Qwen 对比问题、ground truth 与 prediction 来评判 VLM 回答，输出 1（匹配）或 0（不匹配），不接受图像或 bounding box。评测代码位于 llm_eval/，需分别提供 llm_eval/annotations.json 与 llm_eval/predictions/ 数据，报告存入 llm_eval/results/。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。