GitHub · 去对齐工具与仓库·· 18 天前AI 评分39
TT_LLM：用 Tensor-Train 分解压缩 Transformer 线性层的工具库
WaelRabah/TT_LLM
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/WaelRabah/TT_LLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 TT_LLM 将 HuggingFace 因果语言模型中的每个 nn.Linear 替换为 Tensor-Train 分解层，核由预训练权重经 SVD 或 TT-SVD 初始化。它支持均匀压缩与基于激活重要性的定向压缩，后者用校准提示词和 Frobenius 范数为各层打分，只压缩最不重要的层（如最不重要的 10%）。项目提供 pytest 测试与 Colab 笔记本，可通过 `pip install -e .` 安装。
来源：GitHub · 去对齐工具与仓库 · github.com