热点事件持续更新

开源项目 llm-evals-practice 评测 LLM 分类质量实践

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

开发者 re6us 分享开源项目 llm-evals-practice，用于学习如何量化 LLM 分类质量而非仅凭肉眼判断。项目抓取 Hacker News 前 100 热门故事，用 Claude 对前 50 条标题做主题分类并测量质量。五轮提示词迭代后准确率停在 75%，错误分析显示瓶颈在分类规范而非措辞；据项目说明，新提示词的准确率尚未测量，因为参照集需按当前语料重新标注。改进方面，改用带工具调用的 Agent 版本后，JSON schema 约束使 50 条数据中的格式错误从 7 条降为 0；补充类别定义后，同一提示词两次运行的平均一致率从 93% 提升到 98%。项目还统计到，全部输入 token 中 84% 是提示词本身，在 68 次请求中每次重复发送。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月4日

23:31
GitHub · 灵魂体仓库
llm-evals-practice：用 Evals 评估 LLM 分类质量的实践项目
开源项目 llm-evals-practice 抓取 Hacker News 前 100 热门故事，用 Claude 对前 50 条标题做主题分类并量化质量。五轮提示词迭代后准确率停在 75%，错误分析表明瓶颈是分类规范问题而非措辞。改用带工具调用的 Agent 版本后，JSON schema 约束使 50 条数据格式错误从 7 条降为 0；补充类别定义后，同一提示词两次运行的平均一致率从 93% 提升到 98%。

本事件热度走势

可比范围当前: 7
可比范围峰值: 1011月5日 01:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。