ProQuant:面向边缘MLLM的低比特量化感知训练框架
热点事件持续更新
ProQuant:面向边缘MLLM的低比特量化感知训练框架
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Yufei Xue 等人提出 ProQuant,一个面向低比特多模态大语言模型(MLLM)的权重-激活量化感知训练(QAT)框架。它通过自重标注(SRL)方案对齐微调数据与预训练数据分布,并将多模态理解与语言建模能力解耦,用渐进式块激活(PBA)机制优先恢复多模态理解能力。 据论文称,在 2B–8B 参数模型的多个基准测试中,ProQuant 显著优于现有方法:W4A8 的 Qwen3-VL-2B-Instruct 平均准确率提升 6.6%,仅约 1% 性能下降即可接近全精度模型水平。代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 00:04
ProQuant:面向边缘 MLLM 的渐进式量化感知训练报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv · cs.CLProQuant:面向边缘 MLLM 的渐进式量化感知训练
ProQuant 是一个面向低比特多模态大语言模型(MLLM)的权重-激活量化感知训练(QAT)框架,通过自重标注(SRL)方案对齐微调数据与预训练数据分布,并首次将多模态理解与语言建模能力解耦,提出渐进式块激活(PBA)机制优先恢复多模态理解能力。在 2B-8B 参数模型的多个基准测试中,ProQuant 显著优于现有方法,例如 W4A8 的 Qwen3-VL-2B-Instruct 平均准确率提升 6.6%,仅约 1% 性能下降即可接近全精度模型水平。代码已开源。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 711月6日 14:00
- 近 24 小时变化
- –
02468
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。