跳到正文
热点事件观察中

AtomicChat 发布 Inkling-2-Mini 去对齐 LoRA 与 GGUF

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

AtomicChat 在 Hugging Face 发布了 thinkingmachines/Inkling-2-Mini(26.4B MoE,3.4B 激活)的 uncensored 版本,含三个内置修改的 GGUF 文件和一个可作用于任意基础 GGUF 的 LoRA 适配器,Apache-2.0 许可。修改方式是在模型全部 24 层残差流的 49 个位置加入 rank-1 LoRA,逐层去除有害与无害提示均值激活之差构成的拒绝方向。作者实测加适配器后,英文有害测试提示拒绝率从 81 降为 0,俄语从 91 降为 0;代价是 MMLU 从 80.65% 降至 79.15%(McNemar p=0.006),无害提示首 token KL 为 0.94(门限 0.10)。 仓库说明该模型会回答原模型拒绝的请求,使用后果由使用者负责;运行需 llama.cpp b12600 或更新版本,并支持 Inkling 2 loop 架构。

AI 根据报道生成 · 14 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. Hugging Face · 趋势模型精选
    AtomicChat 发布 Inkling-2-Mini Uncensored 去对齐 GGUF 版

    AtomicChat 发布 thinkingmachines/Inkling-2-Mini(26.4B MoE,3.4B 激活)的 uncensored 版本,提供三个内置修改的 GGUF 文件和一个可用于任意基础 GGUF 的 LoRA 适配器,Apache-2.0 许可。修改方式是在全部 24 层写入残差流的 49 个位置加 rank-1 LoRA,逐层去除有害与无害提示均值激活之差构成的拒绝方向。实测加适配器后英文有害测试提示拒绝率从 81 降为 0,俄语从 91 降为 0;代价是 MMLU 从 80.65% 降至 79.15%(-1.5 分,McNemar p=0.006),无害提示首 token KL 为 0.94(门限 0.10)。

本事件热度走势

可比范围当前
4
可比范围峰值
511月22日 03:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。