paged-serving v0.2.0 控制面稳定并接入 tiny-llm CUDA 后端
先了解这件事
holtwood-systems 将 Rust 实现的 LLM serving 控制面 paged-serving 核心（分页 KV、continuous batching、调度、OpenAI 兼容 API）稳定到 v0.2.0。默认使用确定性的 CPU 参考执行器供测试/CI；在 tiny-llm cargo feature 下接入 tiny-llm 真实 CUDA 后端并启用 block_tables 分页 KV 上传。 接入后可设 PAGED_SERVING_TINY_LLM_STRATEGY=2 回退连续 KV；PAGED_SERVING_TINY_LLM_MAX_SEQS（默认 4）与 PAGED_SERVING_TINY_LLM_DECODE_RESERVE（默认 512）按显存和生成长度调节容量。 在 RTX 4090 上，0.5B W8A16 的 c1→c8 共 12 个 run 全部通过 10% 收敛门，聚合吞吐从 284.8 tok/s 升至 302.3 tok/s。
AI 根据报道生成 · 20 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库paged-serving v0.2.0：Rust 实现的 LLM serving 控制面与 OpenAI 兼容 API
Rust 实现的 LLM serving 控制面 paged-serving 核心（分页 KV、continuous batching、调度、OpenAI 兼容 API）已达 v0.2.0 稳定状态，默认 CPU 参考执行器，tiny-llm cargo feature 下接入真实 CUDA 后端并启用 block_tables 分页 KV 上传。RTX 4090 上 0.5B W8A16 的 c1→c8 共 12 个 run 全部通过 10% 收敛门，聚合吞吐 284.8→302.3 tok/s。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月6日 22:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。