跳到正文
Hugging Face · 新模型:uncensored·· 6 天前精选AI 评分53

LFM2.5-24B-A2B-Uncensored 发布:仅改动一个张量将拒绝率从 89/100 降到 0

pottokao/LFM2.5-24B-A2B-Uncensored

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/pottokao/LFM2.5-24B-A2B-Uncensored

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

pottokao 发布基于 LiquidAI/LFM2.5-24B-A2B 的去对齐版本,用 Heretic 的 ARA 方法和分布式 Optuna 搜索实现。仅 model.layers.38.self_attn.out_proj.weight 一个张量被改动,BF16 权重、tokenizer 和聊天模板保持官方原样。实测(关闭思考块后测)拒绝率从原版 89/100 降到 0/100,first-token KL 为 0.260;作者提醒不同测法下 KL 数字差异巨大,需同口径对比。用法与原模型相同,支持 transformers / vLLM / SGLang / llama.cpp,官方 DSpark draft 模型在此版本上的接受率尚未测得。

推荐理由

原文给出只用一个张量的最小改动和关闭思考块前后的 KL 对照,可帮助读者判断去对齐版本的取舍。

来源:Hugging Face · 新模型:uncensored · huggingface.co