FinSkillBench:拆解可验证金融 Agent 工作流中的技能溢价
论文提出 FinSkillBench,包含 2,603 个跨 12 个子任务的时点金融 Agent 评测场景,覆盖组合构建、风险管理与基本面分析,并配隐藏可再生的标准答案与确定性验证器。
新闻、仓库与研究,按时间排列。
论文提出 FinSkillBench,包含 2,603 个跨 12 个子任务的时点金融 Agent 评测场景,覆盖组合构建、风险管理与基本面分析,并配隐藏可再生的标准答案与确定性验证器。
论文提出 MintEval 基准,通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现,在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。
推荐理由:原文用逐 bar 行为对比衡量代码是否忠实执行交易策略,给出了前沿模型仍存在静默失败的具体比例。
基于 SemEval-2020 Task 11 数据集对比掩码语言模型(XLM-RoBERTa、DeBERTa V3)与 OpenAI、Google、Mistral、Anthropic、Meta 的因果模型在宣传技巧检测上的表现,采用 base 与 chain-of-thought 两种提示策略。
Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。
推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。
NVIDIA 发布开放权重的表格数据基础模型 Kumo Tabular,基于人工生成的表格预训练,单次前向传播即可完成分类和回归预测,无需训练、调参或特征工程,提供 28M 至 215M 参数的三个尺寸,采用 OpenMDW-1.1 许可证可商用。
推荐理由:官方给出了模型架构、人工数据预训练配方和四大榜单的具体名次与 ELO 数字,读者可据此评估这一表格基础模型的实际水平。