TileQuant 发布免训练混合精度量化框架
热点事件观察中
TileQuant 发布免训练混合精度量化框架
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Hanzhi Zhang 发布 TileQuant，一个免训练的 LLM 训练后量化框架：以硬件对齐的 2D 权重瓦片为单位分配精度，在每个投影的保留预算内把得分最高的瓦片保持 16-bit、其余用 8-bit。 框架用离线校准，结合输入激活感知评分与梯度损失敏感度评分来挑选高精度瓦片；计算内核复用紧凑权重缓冲执行整数与 16-bit 计算，以减少内存访问。 据论文报告，其生成吞吐达到原模型的 2.66 倍，并在语言建模、推理、长上下文检索与问答任务上保持质量。
AI 根据报道生成 · 5 小时前更新
最新进展11月5日 07:09
TileQuant：以瓦片为精度分配单元的 LLM 混合精度训练后量化报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv · cs.AITileQuant：以瓦片为精度分配单元的 LLM 混合精度训练后量化
TileQuant 是一个免训练框架，把精度分配给硬件对齐的 2D 权重瓦片，在每个投影的保留预算内将得分最高的瓦片保持 16-bit、其余用 8-bit。离线校准结合输入激活感知评分与梯度损失敏感度评分，内核复用紧凑权重缓冲进行整数与 16-bit 计算以减少内存访问。实验显示其生成吞吐达到原模型的 2.66 倍，并在语言建模、推理、长上下文检索与问答任务上保持质量。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 511月6日 11:00
- 近 24 小时变化
- –
0246
11:0012:0013:0014:0015:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。