TinyDTVi-500M：在单张消费级 GPU 上从零预训练的紧凑型越南语大语言模型

开源项目 TinyDTVi 从零预训练了约 500M 参数（509M）的越南语 causal 语言模型，可在单张 RTX 3080（12GB）上完成训练。模型采用 24 层、16 头、embedding 维度 1088、1024 token 上下文，融合 RMSNorm、SwiGLU、RoPE 等现代改进，并使用 50,304 token 的定制 BPE 分词器。训练数据处理了 135GB 越南语原始文本，仓库含完整代码，模型权重与论文后续将在 HuggingFace 和 arXiv 发布。