GitHub · 灵魂体仓库·· 17 小时前精选AI 评分64
weight-edit-lab 实验展示 LLM 可手写权重精准修复神经网络
demirelo/weight-edit-lab
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/demirelo/weight-edit-lab
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
demirelo 发布 weight-edit-lab 仓库,验证前沿 LLM 能否不使用梯度、逐条手写权重修复带缺陷的 ReLU MLP。在 5.6k 和 76.5k 参数网络上,30 条由一句话修正引导的编辑链在 50,000 个留出输入上与理想编辑完全一致,Astra 与 Sol 的手写权重准确率达 99.3-99.6%,优于 8,192 标签微调(95.4-97.4%);仅给样例不给句子时模型推断出似是而非的错误规则,准确率降到 88-94%。每步成本约 70-90 秒、20k-90k tokens。
推荐理由
实验给出逐级对照组和保真度数据,读者能看到一句修正语与仅给样例之间的差距来源在哪。
来源:GitHub · 灵魂体仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。