GitHub · 灵魂体仓库·· 17 天前AI 评分44
llm-classifier-bench：可复现的 LLM 文本分类基准
lucasbiagettia/llm-classifier-bench
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/lucasbiagettia/llm-classifier-bench
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 llm-classifier-bench 提供可复现的基准基础设施，在预测质量、概率校准、延迟和成本四个维度对比封闭集文本分类方法，支持 TF-IDF、MiniLM、BERT 微调及 OpenAI、GPT-6 Decisions 等 8 个分类器家族。在 Banking77 的 V2 基准中，Emissary Llama SFT（K=100）达到 98.00% 准确率、K=20 下 93.38%；GPT-6 Decisions（gpt-6-luna）zero-shot K=5 达 93.00%，在 1,990 个分类中出现 10 次拒答。所有报告可基于版本化摘要离线重建，无需 API 调用。
来源：GitHub · 灵魂体仓库 · github.com