tmp_llm_dit 仓库用原生 PyTorch 缩小复现最新 LLM 与 DiT 核心块
GitHub 用户 HisameOgasahara 开源 tmp_llm_dit 仓库，将 DeepSeek-V4、Kimi-K3、Qwen3.6/3.8、GLM-5.3、MiniMax、Qwen-Image-2.1、Cosmos3 等最新开放权重模型的核心块用原生 PyTorch 缩小实现，在小任务上训练后对比 attention map、表征与 ablation。所有块先通过与原版代码和输出等价的验证再用于实验，提供 Colab 笔记本、模型级前向与训练行为验证（梯度、学习轨迹、float64 数值微分、路由器 bias 更新）以及 00_run_all 一键批量运行并导出结果 zip。
推荐理由：仓库把 DeepSeek-V4、Qwen3.8 等最新模型的核心块用原生 PyTorch 缩小复现，且每个实现都通过与原版输出等价验证后才用于实验。