团队发布13小众语言编码基准并公布模型成绩
热点事件历史事件
团队发布13小众语言编码基准并公布模型成绩
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
Fabulous_Pollution10 团队构建了一个包含 202 个真实 GitHub 任务的编码基准,覆盖 Elixir、OCaml、Haskell、Kotlin 等 13 种少见于常见编码基准的编程语言,并公布模型成绩。 实测显示 Qwen3.8 27B 解决了 43% 的任务,较 Qwen3.6 27B 的 17% 大幅提升;榜单还可与 Kimi K3、DeepSeek、GLM 及闭源模型按语言对比。作者提示 Qwen3.8 曾被用于筛选难题,因此其分数略被压低。
AI 根据报道生成 · 6 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- Reddit · r/LocalLLaMA实测 Qwen3.6 27B、Qwen3.8 27B 与 GLM-5.3 Flash:Elixir、OCaml、Haskell 等 13 种小众语言的真实任务评测
一个团队构建了包含 202 个真实 GitHub 任务的 benchmark,覆盖 Elixir、OCaml、Haskell、Kotlin 等 13 种少见编程语言。结果显示 Qwen3.8 27B 解决 43% 的任务,较 Qwen3.6 的 17% 大幅提升;榜单还可与 Kimi K3、DeepSeek、GLM 及闭源模型按语言对比。作者提示 Qwen3.8 曾被用于筛选难题,其分数因此略被压低。