TokenBatch-Lab：面向 LLM 推理的连续批处理与 Paged KV-Cache GPU 调度器

TokenBatch-Lab 推出 Stochastic-Gittins-Barrier-v239.2 GPU 调度策略，在 200 条生产级负载 trace 上实现 40.5% SLA Goodput，高于 EDF 的 38.0% 和 vLLM FCFS 的 33.5%，相对 FCFS 提升约 20.9% GPU 服务容量，P99 尾延迟为 2048.5 ms。该策略以近似 Stochastic Gittins Index、Sigmoid 松弛时间函数和凸二次 KV-Cache 压力屏障为核心，可嵌入 vLLM、TGI 调度循环。在 8x H100 集群上可释放约 $34,480 的等值算力，商业许可包经 Polar.sh 下载。