跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分66

itact-785:印度新所得税法合规评测集发布,最佳模型严格准确率仅30.2%

bugyal/itact-785

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/bugyal/itact-785

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Prasthana Lab 发布 itact-785,一套针对印度《Income-tax Act 2025》的 785 道合规任务评测集,sha256 锁定、严格实体匹配判分、不用 LLM judge。最佳前沿模型 glm-5.3-flash 严格准确率 30.2%;四部分 ICAI 式合规任务所有模型 0/99;基于 Qwen3.5-4B 微调的 karsastra-4b 得 45.7%,超过全部前沿模型。数据与文档 CC BY-4.0,评测代码 Apache-2.0。

推荐理由

评测集在跑分前锁定题目并用严格实体匹配判分,读者可以借此核对各家模型在印度新税法合规任务上的真实差距。

来源:GitHub · 灵魂体仓库 · github.com