kmkrofficial 发布 LiteGPT V2 开源小模型
先了解这件事
kmkrofficial 发布 LiteGPT V2，这是一个 201M 参数的小语言模型，包含自研架构、自研 32768 token 字节级 BPE 分词器和自有权重。作者称其在代码文本上的 bits per byte 从 V1 的 1.612 降到 0.515；在自研推理引擎下 batch 8 时占用 0.59 GiB GPU 显存。模型在单张租用 A100 上预训练 37 小时、花费 $16.64。 模型以 LiteGPT-V2-Base（4096 token 上下文）和 LiteGPT-Llama-V2-Instruct 两个版本发布，权重为 Apache-2.0，代码为 MIT。下载后可离线运行，并可直接用 Hugging Face Transformers 加载。
AI 根据报道生成 · 7 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选LiteGPT V2 开源 201M 参数模型与自研推理引擎
kmkrofficial 发布 LiteGPT V2，这是一个 201M 参数的小语言模型，包含自研架构、自研 32768 token 字节级 BPE 分词器和自有权重，在单张租用 A100 上预训练 37 小时、花费 $16.64。作者称其在代码文本上的 bits per byte 从 V1 的 1.612 降到 0.515，并在自研引擎下 batch 8 时占用 0.59 GiB GPU 显存。模型以 LiteGPT-V2-Base（4096 token 上下文）和 LiteGPT-Llama-V2-Instruct 两个版本发布，权重为 Apache-2.0，可直接用 Hugging Face Transformers 加载并离线运行。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月6日 10:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。