arXiv · cs.CL· Bruno Leonardo Santos Menezes·· 13 天前精选AI 评分56
Manacá-1B-Instruct-2 发布：巴西葡萄牙语模型的可复现安全对齐与 DPO 负结果
Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge
来源与原文
arXiv · cs.CL
作者：Bruno Leonardo Santos Menezes
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20570v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Bruno Menezes 在 arXiv 发布 Manacá-1B-Instruct-2，对从零训练的 1.72B 参数巴西葡萄牙语模型 Manacá-1B 做第二代后训练对齐，SFT 语料含 291,223 条样本。论文记录三次 DPO 尝试均为负结果，包括训练 reward margin 达 1.0 但自由生成毫无变化的情况；安全性来自经三轮迭代的安全 SFT，安全 SFT 中通用数据占比从 10% 到 60% 的受控扫描显示过度拒绝曲线非单调，拐点在 40-50%。最终模型与四个外部 PT-BR 模型对比，采用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验，其安全区间下界 94.1% 高于全部四个基线的上界。
推荐理由
论文完整记录了三次失败的 DPO 和安全 SFT 数据配比扫描，还披露了 LLM 评审静默拒打分的方法学问题，可复现细节齐全。
来源：arXiv · cs.CL · arxiv.org