研究实证：嵌入量化与层次表示的性能权衡

Marco Polignano 等在 arXiv 提交一项实证基准研究，评估文本嵌入中层次表示与量化两种技术的交互影响。研究基于 MTEB 的 38 个任务和四个 Transformer 嵌入模型，每任务测试 168 种配置。 结果显示：int8 量化在配对分类和重排序上与 float32 统计上无差异，总体最多损失 1.5 个百分点；二值量化则在所有任务类别中显著更差。将 8 倍维度缩减与 int8 量化结合，可实现每向量 32 倍存储缩减，仍保留基线 94.4% 的效果。此外，检索任务退化最快，研究未发现量化能加速评估的证据，而从中间层采样则可显著缩短评估时间。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。