LLM-JEPA 微调分析代码仓库 VigneshThiruvel/llm-jepa-analysis 开放

该仓库提供 LLM-JEPA 与 Semantic Tube Prediction 微调的完整实现，包括 stp.py 与 finetune.py 脚本、消融研究选项和 JEPA-loss 的多种替换方式。最新版本用 4D additive attention mask 将 Text 和 Code 的两次前向合并为一次，并支持 --jepa_ratio 随机 JEPA-loss dropout，在 LD=0.75 时约 1.25X 算力即可维持微调性能；另提供 8B 模型在 H200 上训练的脚本、LoRA 微调与预训练流程，实验固定 4 个 epoch、5 个随机种子并报告平均准确率与标准差。