arXiv · cs.AI· Thomas Fel·· 2 天前AI 评分36
Mechanistic Shaping：通过模型内部表征塑造与监控模型
Shaping & Monitoring Models through their Internal Representations
来源与原文
arXiv · cs.AI
作者：Thomas Fel
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07071v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究提出 Mechanistic Shaping 框架，在训练中依据模型输出或内部表征约束模型表达与依赖的概念，在视觉、医学影像、语言等领域、最高 32B 参数规模及分类、SFT、DPO、GRPO 训练范式下显著减少目标行为且保持任务性能。研究进一步提出监控器层级，区分概念规避探针与真正消失，并归纳出概念漂移、层内擦除、以非线性编码留存于高阶统计量三种几何规避机制。实践中重塑后的概念大多仍可监控，重新拟合的线性探针在多数场景可恢复概念，梯度不流经原探针时其仍可靠。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。