Hugging Face · 新模型：abliterated·· 3 天前同新闻AI 评分60
IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 FP8 量化权重
IstroSec/ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated-FP8-DYNAMIC
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/IstroSec/ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated-FP8-DYNAMIC
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版，体积从 bf16 的 65.8 GB 降到 35.0 GB，KL 0.0134，用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16（22.1 GB）和 W4A16（20.5 GB）4-bit 版本，可在 Ampere GPU 上运行。Heretic 评测协议下（关闭思考，100 条有害提示）各版本拒绝数为 20-26/100，差异不显著；原始 ThinkingCap 拒绝 99/100，bf16 去对齐版降至 21/100。
同一新闻，精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》
来源：Hugging Face · 新模型：abliterated · huggingface.co