Hugging Face · 新模型：abliterated·· 3 天前精选AI 评分62
IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重
IstroSec/ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated-W4A16
来源与原文
Hugging Face · 新模型：abliterated
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/IstroSec/ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated-W4A16
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版，20.5 GB（bf16 为 65.8 GB），KL 0.0215，用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化，激活保持 bf16，面向无 FP4/FP8 支持的 GPU（如 Ampere）。在 DGX Spark 上用 vLLM 0.30.0 测试，4 个温度为 0 的请求均正确且工具调用格式正常；Heretic 评测显示 100 个有害提示拒绝 26 个（bf16 去对齐版为 23），作者称数个拒绝的差异不显著。
推荐理由
发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比，还注明两次基线运行差异数个拒绝不显著，便于判断精度损失。
来源：Hugging Face · 新模型：abliterated · huggingface.co