llm-engine：基于 PyTorch 的配置驱动语言与媒体模型引擎（dev-gopi 开源）

GitHub 仓库 dev-gopi/llm-engine 是一个基于 PyTorch 的配置驱动语言与媒体模型引擎，定位为教育性和实验性项目，不附带预训练权重。其活跃 GPU 配置为 40K 词表、16 层、约 81.3M 参数的模型，另含约 13.96B 参数激活、97.28B 的 MoE 规划配置和 1B/7B/30B 目标。功能覆盖 tokenizer 训练与安全词表扩展、预训练、SFT、恢复训练、DPO、评估、RAG、网页搜索、图像与音视频 latent diffusion，以及 OpenAI 兼容 API。