跳到正文
热点事件观察中

研究者发布医学伦理基准MedConstBench及自适应宪法选择器

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究者发布医学伦理基准 MedConstBench,将部署宪法作为受控变量,围绕 Beauchamp 四原则组织,采用人工校准的多模型同行评审打分,并包含自建临床困境数据集 MedDilemma。 对 10 个开源 LLM 在 4 种宪法下的评估显示,宪法效果具有维度选择性和模型依赖性,没有一种宪法普遍最优。作者据此提出 do-no-harm 自适应选择器,按模型选择宪法,称其能接近逐模型 oracle 并保证最坏情况底线,且可在低成本下泛化到未见模型。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · cs.CL
    MedConstBench:基准测试宪法如何引导大语言模型的医学伦理行为

    研究者推出 MedConstBench,一个将部署宪法作为控制变量的医学伦理 benchmark,围绕 Beauchamp 四原则组织,采用人工校准的多模型同行评审打分,并包含自建临床困境数据集 MedDilemma。对 10 个开源 LLM 在 4 种宪法下的评估显示,宪法效果具有维度选择性和模型依赖性,没有一种宪法普遍最优。作者据此提出 do-no-harm 自适应选择器,按模型选择宪法,在接近逐模型 oracle 的同时保证最坏情况底线,并可在低成本下泛化到未见模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。