跳到正文
热点事件历史事件

团队发布13小众语言编码基准并公布模型成绩

1 篇报道1 个报道来源12 天前更新

先了解这件事

AI 综述

Fabulous_Pollution10 团队构建了一个包含 202 个真实 GitHub 任务的编码基准,覆盖 Elixir、OCaml、Haskell、Kotlin 等 13 种少见于常见编码基准的编程语言,并公布模型成绩。 实测显示 Qwen3.8 27B 解决了 43% 的任务,较 Qwen3.6 27B 的 17% 大幅提升;榜单还可与 Kimi K3、DeepSeek、GLM 及闭源模型按语言对比。作者提示 Qwen3.8 曾被用于筛选难题,因此其分数略被压低。

AI 根据报道生成 · 6 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. Reddit · r/LocalLLaMA
    实测 Qwen3.6 27B、Qwen3.8 27B 与 GLM-5.3 Flash:Elixir、OCaml、Haskell 等 13 种小众语言的真实任务评测

    一个团队构建了包含 202 个真实 GitHub 任务的 benchmark,覆盖 Elixir、OCaml、Haskell、Kotlin 等 13 种少见编程语言。结果显示 Qwen3.8 27B 解决 43% 的任务,较 Qwen3.6 的 17% 大幅提升;榜单还可与 Kimi K3、DeepSeek、GLM 及闭源模型按语言对比。作者提示 Qwen3.8 曾被用于筛选难题,其分数因此略被压低。