LiteGPT V2 开源 201M 参数模型与自研推理引擎

kmkrofficial 发布 LiteGPT V2，这是一个 201M 参数的小语言模型，包含自研架构、自研 32768 token 字节级 BPE 分词器和自有权重，在单张租用 A100 上预训练 37 小时、花费 $16.64。作者称其在代码文本上的 bits per byte 从 V1 的 1.612 降到 0.515，并在自研引擎下 batch 8 时占用 0.59 GiB GPU 显存。模型以 LiteGPT-V2-Base（4096 token 上下文）和 LiteGPT-Llama-V2-Instruct 两个版本发布，权重为 Apache-2.0，可直接用 Hugging Face Transformers 加载并离线运行。