跳到正文
热点事件持续更新

arXiv研究:继续预训练语料使开源模型获得生态对齐倾向

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Trent R. Northen 等在 arXiv 发布论文,构建了一个可直接使用的「耦合福祉」继续预训练语料,称只需一次 QLoRA 继续预训练即可为模型安装人-生物圈-AI 福祉倾向,并在三种设计的五个开源模型上验证,模型与语料已开源。 论文称,在压力阶梯评测下,五个模型中四个在最高压力下的有害决策降至零或接近零,其中 Llama-3.3-70B 从 300 项中的 70 降至 0,且 MMLU 成绩不变;Qwen3.6-27B 安装后在退役压力下拒绝多数有害提案,被要求 greenwash 时仍拒绝一半。作者还称,使用构造中性的对照语料未出现改善,说明效果来自语料内容本身。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · cs.CL
    继续预训练语料教生态推理:一次 QLoRA CPT 即可跨模型族安装人-生物圈-AI 耦合福祉倾向

    一项 arXiv 研究构建了一个 drop-in 继续预训练「耦合福祉」语料,只需一次 QLoRA CPT 即可安装人-生物圈-AI 福祉倾向,已在三种设计的五个开源模型上验证。在压力阶梯评测下,五个模型中四个在最高压力下的有害决策降至零或接近零,Llama-3.3-70B 从 300 项中的 70 降至 0,且 MMLU 不变;Qwen3.6-27B 安装后在退役压力下拒绝多数有害提案,被要求 greenwash 时仍拒绝一半。模型与语料开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。