跳到正文

方向

能力评测与榜单 最新动态

模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测,尤其是针对无对齐模型与角色扮演场景的那部分。

193 条精选近 30 天 193 条共收录 882 条

更新

精选归档 · 第 10 页

10月5日周一第 181–193 条
  1. Reddit · r/LocalLLaMA62

    GLM-4.7-Flash 三种量化格式在 Radeon 680M 核显上的 llama.cpp 实测对比

    作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上,实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化(内部 GGUF 头均报告为 deepseek2 30B.A3B MoE)。

    推荐理由:作者在 AMD 680M 核显上实测三种量化的速度差异,给出了聊天与长上下文场景各自该选哪个格式的具体依据。

10月4日周日
  1. Hugging Face · 趋势模型64

    nerkyor 发布 Qwen3.8-27B-Coder390 微调版,修复不停止推理问题并放出十余档量化权重

    nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink,目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100(静态 FP8,原模型为 177/444/83),94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重,均含内置 MTP,支持 SGLang 免补丁加载,并给出 DFlash2 与 MTP 两种投机解码的测速建议。

    推荐理由:从模型卡给出多档量化的完整三套评测与截断对比,读者可据此判断修复后模型在精度和速度上的实际表现。

  2. Hugging Face Blog74

    微软与 Hugging Face 发布 ThinkingBox 基准,以数据库终态评测 Agent 并要求 20 次重复运行

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。

    推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。

  3. arXiv · cs.AI52

    RAGStress:面向知识库退化的 RAG 受控评测基准发布

    研究者发布 RAGStress 基准,用于系统测试 RAG 系统在知识库损坏下的鲁棒性,覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度,基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示,干净检索会掩盖鲁棒性差异,语义保真型损坏危害远大于信号效用型扰动,无检索准确率不能预测损坏检索下的鲁棒性,混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码,定位是受控压力测试而非通用排行榜。

    推荐理由:论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别,还澄清了无检索准确率与抗扰性的错位。

10月3日周六
  1. arXiv · cs.CL70

    arXiv论文:激进GGUF量化的语言模型仍能写出已无法定义的生僻词

    arXiv论文2610.04403审计27个GGUF量化产物,覆盖13个模型族、0.35B-14B参数,用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态:完全崩溃、2B以下模型出现严重语义脱节(定义能力比基线低20-67%)、约3B以上基本保持;词表大小不预示损伤(rho=0.12),参数量主导(rho=0.72),Q4_K_M在1B以上词汇无损,且WikiText-2困惑度无法校准该损伤,需逐产物验证。

    推荐理由:论文用429个低频词实测27个GGUF量化产物,指出WikiText-2困惑度无法预警语义损伤,对本地部署有直接参考。

  2. arXiv · cs.AI53

    大语言模型了解哥伦比亚法律吗:哥伦比亚法律系统可靠性基准发布

    论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准,含1042道题、十个法律领域和三种题型,用多阶段专家评审的人在环流水线构建,评测了15个专有与开放权重模型。

    推荐理由:论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现,给出开放题正确率与引用规范真实性的量化证据。

  3. arXiv · cs.AI52

    arXiv 论文提出 TPRS 度量:Agent 安全基准的表述方式会显著改变攻击成功率

    论文提出威胁保持表述敏感性(TPRS),测量在任务、策略与评测标准不变时改变工具命名等表述导致的攻击成功率(ASR)变化。

    推荐理由:论文提出 TPRS 方法量化基准表述对攻击成功率的影响,用 ASB、MCPTox、AgentDojo 的实测数字说明单一安全分数可能不可泛化。

10月2日周五
  1. arXiv · cs.CL55

    MintEval:评测大语言模型能否忠实实现自然语言描述的交易策略

    论文提出 MintEval 基准,通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现,在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。

    推荐理由:原文用逐 bar 行为对比衡量代码是否忠实执行交易策略,给出了前沿模型仍存在静默失败的具体比例。

9月30日周三
  1. Hugging Face Blog70

    Hugging Face 推出 Open TTS Leaderboard:多语言 TTS 与语音克隆的可扩展评测

    Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。

    推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。

9月29日周二
  1. Hugging Face Blog69

    NVIDIA 发布表格数据基础模型 Kumo Tabular,开放权重登陆 Hugging Face

    NVIDIA 发布开放权重的表格数据基础模型 Kumo Tabular,基于人工生成的表格预训练,单次前向传播即可完成分类和回归预测,无需训练、调参或特征工程,提供 28M 至 215M 参数的三个尺寸,采用 OpenMDW-1.1 许可证可商用。

    推荐理由:官方给出了模型架构、人工数据预训练配方和四大榜单的具体名次与 ELO 数字,读者可据此评估这一表格基础模型的实际水平。