跳到正文
我的
热点事件持续更新

wsp-lab 开源仓库:仅凭权重变化预测模型基准分数

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

ArioMoniri 公开研究仓库 wsp-lab,训练小型状态空间模型,仅凭权重变化预测 LLM 在 benchmark 上的分数变化,无需对编辑后的模型做前向传播。 实验基于 Qwen3.5-0.8B 至 Qwen3.8-27B,用 abliteration(含 Heretic)、LoRA 微调、task-vector 合并等方法构建约 590 条权重编辑数据集(其中 Heretic ARA 系列因 GPU 预算待补),并比较 Mamba-2 SSM、JEPA 权重编码器、Transformer、LightGBM 及 LLM 读 delta 等多种骨干。作者称,在这种(权重 delta → 分数 delta)配对上训练的预测器,可以预测编辑轨迹中每次编辑后的 benchmark 变化。 项目 P0 阶段已完成,P3 特征与基线仍在进行中,论文拟投 TMLR。

AI 根据报道生成 · 12 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. GitHub · 灵魂体仓库
    wsp-lab 仓库:用小型状态空间模型仅凭权重变化预测 LLM benchmark 分数变化

    GitHub 仓库 wsp-lab 测试能否不运行前向传播、仅凭权重变化预测 LLM 的 benchmark 分数变化。项目在 Qwen3.5-0.8B 至 Qwen3.8-27B 上,用 abliteration(含 Heretic)、LoRA 微调、task-vector 合并等构建约 590 条编辑 zoo,比较 Mamba-2 SSM、JEPA 权重编码器、Transformer、LightGBM 及 LLM 读 delta 等骨干。目前 P0 完成、P3 特征与基线进行中,论文拟投 TMLR。

本事件热度走势

可比范围当前
5
可比范围峰值
711月5日 02:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。