跳到正文
GitHub · 去对齐工具与仓库·· 11 天前精选AI 评分58

tmp_llm_dit 仓库用原生 PyTorch 缩小复现最新 LLM 与 DiT 核心块

HisameOgasahara/tmp_llm_dit

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/HisameOgasahara/tmp_llm_dit

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 用户 HisameOgasahara 开源 tmp_llm_dit 仓库,将 DeepSeek-V4、Kimi-K3、Qwen3.6/3.8、GLM-5.3、MiniMax、Qwen-Image-2.1、Cosmos3 等最新开放权重模型的核心块用原生 PyTorch 缩小实现,在小任务上训练后对比 attention map、表征与 ablation。所有块先通过与原版代码和输出等价的验证再用于实验,提供 Colab 笔记本、模型级前向与训练行为验证(梯度、学习轨迹、float64 数值微分、路由器 bias 更新)以及 00_run_all 一键批量运行并导出结果 zip。

推荐理由

仓库把 DeepSeek-V4、Qwen3.8 等最新模型的核心块用原生 PyTorch 缩小复现,且每个实现都通过与原版输出等价验证后才用于实验。

来源:GitHub · 去对齐工具与仓库 · github.com