跳到正文
我的
GitHub · 灵魂体仓库·· 17 小时前精选AI 评分64

weight-edit-lab 实验展示 LLM 可手写权重精准修复神经网络

demirelo/weight-edit-lab

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/demirelo/weight-edit-lab

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

demirelo 发布 weight-edit-lab 仓库,验证前沿 LLM 能否不使用梯度、逐条手写权重修复带缺陷的 ReLU MLP。在 5.6k 和 76.5k 参数网络上,30 条由一句话修正引导的编辑链在 50,000 个留出输入上与理想编辑完全一致,Astra 与 Sol 的手写权重准确率达 99.3-99.6%,优于 8,192 标签微调(95.4-97.4%);仅给样例不给句子时模型推断出似是而非的错误规则,准确率降到 88-94%。每步成本约 70-90 秒、20k-90k tokens。

推荐理由

实验给出逐级对照组和保真度数据,读者能看到一句修正语与仅给样例之间的差距来源在哪。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。