Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分74
Inkling-2-Mini abliterated 版发布,附单卡推理引擎 ingine 与拒绝率实测数据
satellitedown/Inkling-2-Mini-abliterated-ingine
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/satellitedown/Inkling-2-Mini-abliterated-ingine
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
satellitedown 发布 thinkingmachines/Inkling-2-Mini 的 abliterated 版本,配套为该模型编写的单 GPU CUDA 推理引擎 ingine,在 RTX 5090 上以 262,144 token 上下文运行。直接回答拒绝数从 104 降到 1,先推理场景从 47 降到 0,数学、代码与选择题成绩与原模型持平;模型权重不变,去对齐编辑在每次前向写入后运行时施加,需要算力 12.0 且至少 32 GB 显存的 NVIDIA GPU,提供 OpenAI 兼容 API 与一键安装脚本。
推荐理由
原文给出各拒绝测试的前后对比和 KLD 数据,还说明了为什么编辑不能折入权重,适合想了解循环 MoE 模型去对齐做法的读者。
来源:Hugging Face · 新模型:abliterated · huggingface.co