跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分49

llm-self-detoxifier:基于 SASA 的推理时去毒化工具包

hwilner/llm-self-detoxifier

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hwilner/llm-self-detoxifier

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 llm-self-detoxifier 基于 SASA 受控解码算法,在推理时利用模型内部表征引导生成远离毒性内容,无需重训练、微调或外部奖励模型,适用于 GPT-2、Llama 等自回归模型。依据原论文,RealToxicityPrompts 毒性从 0.481 降至 0.426(降 10%),AttaQ 从 0.264 降至 0.142(降 42%),困惑度与基线相当。

来源:GitHub · 灵魂体仓库 · github.com