跳到正文
Hugging Face · 新模型:abliterated·· 2 天前精选AI 评分74

Inkling-2-Mini abliterated 版发布,附单卡推理引擎 ingine 与拒绝率实测数据

satellitedown/Inkling-2-Mini-abliterated-ingine

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/satellitedown/Inkling-2-Mini-abliterated-ingine

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

satellitedown 发布 thinkingmachines/Inkling-2-Mini 的 abliterated 版本,配套为该模型编写的单 GPU CUDA 推理引擎 ingine,在 RTX 5090 上以 262,144 token 上下文运行。直接回答拒绝数从 104 降到 1,先推理场景从 47 降到 0,数学、代码与选择题成绩与原模型持平;模型权重不变,去对齐编辑在每次前向写入后运行时施加,需要算力 12.0 且至少 32 GB 显存的 NVIDIA GPU,提供 OpenAI 兼容 API 与一键安装脚本。

推荐理由

原文给出各拒绝测试的前后对比和 KLD 数据,还说明了为什么编辑不能折入权重,适合想了解循环 MoE 模型去对齐做法的读者。

来源:Hugging Face · 新模型:abliterated · huggingface.co