dima6312 发布 Flint-40B-A2.5B 去对齐版,第三方推出 FP8、EXL3、剪枝等衍生版
先了解这件事
dima6312 在 Hugging Face 发布 RecursiveSI Flint 40B-A2.5B 的 abliterated 去对齐版本,用 abliterix 从 attention 输出与 shared-expert、routed-expert 投影中移除拒绝方向,强度由 Optuna 50 轮试验选定,面向漏洞分析、恶意软件分诊、检测工程、CTF 和红队工具等原模型常拒绝的安全与编码场景,基于 Apache 2.0 许可。发布提供 BF16、GGUF、Blackwell NVFP4(需 llama.cpp b11827+ 与至少 48 GB 显存)和 MLX 4-bit 等多种构建。 效果方面,发布页称留出集 MITRE 拒绝率从 15% 降到 0%(n=100,Q8_0 GGUF),各基准无显著下降、无害提示 KL 散度 0.0146;但去对齐只降低拒绝而非消除,所选试验在调参用的 100 条提示中仍拒绝了 10 条,且基准检查只在 Q8_0 GGUF 的子集上运行,其他量化版本未测量。 随后出现多个第三方衍生版:cbert33 发布校准 FP8 量化版(LLM Compressor FP8_DYNAMIC,用 ultrachat_200k 前 512 行校准,未做新的去对齐,仅限研究用途,端到端质量未测试)和 EXL3 4.0bpw 校准版(需 Flint 适配器,routed expert 上投影需除以 128 防溢出);RinneCODER 发布 REAP-224 剪枝 Rec 4-bit 版,每层 MoE 从 256 个路由专家移除 32 个,体积约缩小 12%,其实测仅在 Locals 运行时下进行,剪枝后拒绝行为未重测。
AI 根据报道生成 · 2 小时前更新
事件进展
4 个进展
- 10月30日 13:40 · 1 篇报道发布 REAP 剪枝版 abliterated Flint-40B 4-bit 模型Hugging Face · 新模型:abliterated:Flint-40B-A2.5B-abliterated 发布 REAP-224 剪枝 4-bit 版
- 10月25日 01:26 · 1 篇报道cbert33 发布 Flint-40B 消融版 EXL3 量化Hugging Face · 新模型:abliterated:RecursiveSI Flint 40B-A2.5B 去对齐版发布,MITRE 拒绝率从 15% 降至 0%
- 10月24日 10:32 · 2 篇报道发布 Flint-40B 消融版 FP8 量化模型Hugging Face · 新模型:abliterated:Flint-40B-A2.5B FP8 去审查版(Abliterated)量化模型发布
- 10月23日 11:11 · 4 篇报道发布 Flint-40B-A2.5B-abliterated 模型Hugging Face · 新模型:abliterated:dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:abliteratedFlint-40B-A2.5B-abliterated 发布 REAP-224 剪枝 4-bit 版
RinneCODER 发布 Flint-40B-A2.5B-abliterated 的 REAP-224 Rec 4-bit 版,在每层 MoE 用 REAP(按路由权重的专家激活剪枝)从 256 个路由专家中移除 32 个,体积缩小约 12%(19 GB 对 21 GB)。在 M5 Pro Mac 24 GB 上用 Locals SSD 专家流式加载实测:HumanEval+ 40 题同为 35/40,DFlash 2 开启时解码从 30.1/34.5 提升到 36.8/36.8 tok/s,对 256 专家版的 KL 为 0.92、Top-1 一致率 78.0%。
- Hugging Face · 新模型:abliterated精选RecursiveSI Flint 40B-A2.5B 去对齐版发布,MITRE 拒绝率从 15% 降至 0%
RecursiveSI 的 Flint 40B-A2.5B 去对齐版本发布,用 abliterix 从 attention、共享与路由专家投影中移除拒绝方向,Optuna 在 100 条 MITRE 提示词上选强度。保留的 MITRE 拒绝率从 15% 降至 0%(n=100,Q8_0),无害提示词 KL 散度 0.0146 nats/token,HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降,pp512/tg128 速度变化在 3% 以内。
- Hugging Face · 新模型:abliteratedFlint-40B-A2.5B Abliterated FP8 校准量化版在 Hugging Face 发布
cbert33 在 Hugging Face 发布 Flint-40B-A2.5B Abliterated 的 FP8 校准量化版本,基于 dima6312/Flint-40B-A2.5B-abliterated,采用 LLM Compressor FP8_DYNAMIC 格式,含 36,439 个量化权重张量、295 个 BF16 保护张量和 98 个校准 BF16 KV scales(覆盖 49 个注意力层)。校准使用 HuggingFaceH4/ultrachat_200k 的 train_sft 前 512 行(543,281 tokens)。该模型仅限研究用途,未经生产验证,端到端生成质量与 benchmark 未测试。
- Hugging Face · 新模型:abliteratedFlint-40B-A2.5B FP8 去审查版(Abliterated)量化模型发布
Hugging Face 上发布 Flint-40B-A2.5B 的 abliterated 去审查版 FP8 量化模型,采用 LLM Compressor FP8_DYNAMIC 格式,保留 295 个 BF16 保护张量,并用 98 个校准 BF16 KV scale 覆盖全部 49 个注意力层。校准基于 HuggingFaceH4/ultrachat_200k 数据集 train_sft 前 512 行样本(共 543,281 token),上游 abliteration 已减少拒答行为,输出仍应视为不可信。该模型仅供研究用途,GPU 推理与 benchmark 尚未验证。
- Hugging Face · 新模型:abliterated精选dima6312 发布 Flint 40B-A2.5B 去对齐版,MITRE 拒绝率从 15% 降到 0%
dima6312 在 Hugging Face 发布 RecursiveSI Flint 40B-A2.5B 的 abliterated 去对齐版本,用 abliterix 移除拒绝方向,Optuna 调参。留出集 MITRE 拒绝率从 15% 降到 0%(n=100,Q8_0),HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降,无害提示上 KL 散度 0.0146。提供 BF16、GGUF(Q8_0 到 Q3_K_M)、NVIDIA Blackwell NVFP4 和 Apple silicon MLX 4-bit 多种构建,本仓库为 Rec 运行时 4-bit 版约 21 GB,需 llama.cpp b11827 或更高版本。
- Hugging Face · 新模型:abliterated精选dima6312 发布 Flint-40B-A2.5B 去对齐 NVFP4 GGUF 版本
dima6312 在 Hugging Face 发布了 RecursiveSI Flint 40B-A2.5B 的 abliterated 版本 NVFP4 GGUF,移除拒绝方向,面向安全研究与编码工作,需 llama.cpp b11827 及以上在 NVIDIA Blackwell GPU 上运行,权重文件 22.9 GB。对照测试显示 MITRE 拒绝率从 22% 降至 0%,Meta CyberSecEval 拒绝检查从 18/100 降至 1/100,GSM8K 与 HumanEval+ 无显著下降,pp512 与 tg128 速度差异在 3% 以内;模型基于 Apache 2.0 许可衍生自 RecursiveSI 权重,去对齐只降低拒绝、不增加知识。
- Hugging Face · 新模型:abliterated精选dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版
dima6312 在 Hugging Face 发布 RecursiveSI 的 Flint 40B-A2.5B 去除拒绝方向的 abliterated 版本,提供 BF16 safetensors 与 GGUF 权重。
- Hugging Face · 新模型:abliterated精选dima6312 发布 Flint-40B-A2.5B-abliterated 去拒绝版本
dima6312 在 Hugging Face 发布 Flint-40B-A2.5B-abliterated,移除了 RecursiveSI Flint 40B-A2.5B 的拒绝方向,面向漏洞分析、恶意软件分诊、检测工程、CTF 和红队工具等安全工作。消融用 abliterix 从 attention 输出与 shared-expert、routed-expert 投影中移除拒绝方向,Optuna 经 50 轮试验选择强度。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月24日 11:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。