tiny-llm 发布 v1-preview 推理引擎
热点事件持续更新
tiny-llm 发布 v1-preview 推理引擎
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
cooldip00/tiny-llm 发布自研推理引擎 v1-preview，用纯 PyTorch 在一台 8 GB RTX 3070 Ti Laptop 上从零训练 Llama 式小模型并配套推理。TinyLlama 1.1B 在 batch 1 下解码达 137 tok/s，为实测带宽上限的 71%，约为 HF generate 的 3.1 倍；30M 参数模型用约 1B TinyStories token 训练耗时 2 小时 27 分钟，MFU 56%。 引擎提供 OpenAI 兼容 HTTP 服务，队列满时返回 429 以限制首 token 延迟。上述 GPU 基准数据来自该笔记本；运行需 Linux 或 WSL2、NVIDIA GPU 和 uv，提供的镜像仅含 CPU 路径（无 Triton 或 CUDA graphs），速度远低于上述数字。
AI 根据报道生成 · 51 分钟前更新
最新进展11月7日 21:35
tiny-llm 在单块笔记本 GPU 上从零训练 Llama 式模型并自建推理引擎报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- GitHub · 去对齐工具与仓库精选tiny-llm 在单块笔记本 GPU 上从零训练 Llama 式模型并自建推理引擎
cooldip00/tiny-llm 用纯 PyTorch 在一台 8 GB RTX 3070 Ti Laptop 上从零训练 Llama 式小模型，并配套自研推理引擎。TinyLlama 1.1B 在 batch 1 下解码达 137 tok/s，为实测带宽上限的 71%，约为 HF generate 的 3.1 倍；30M 参数模型用约 1B TinyStories token 训练耗时 2 小时 27 分钟，MFU 56%。引擎提供 OpenAI 兼容 HTTP 服务，队列满时返回 429 以限制首 token 延迟，当前为 v1-preview。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。