arXiv · cs.CL· Zhenyu Zhang·· 13 天前精选AI 评分55
Delta Tokenizer 论文提出会话增量分词与分段并行方案加速长 Prompt 推理
Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
来源与原文
arXiv · cs.CL
作者：Zhenyu Zhang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19801v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.19801 提出 Delta Tokenizer，一个只对会话请求增量部分做分词的 CPU 前端，并支持长请求的多核分段并行编码，输出与参考分词器完全一致。增量路径比 Hugging Face 参考分词器快约 40x，16 核下分段并行比串行快 8.2x、比 LoPT 快 1.6-2.1x；接入 SGLang 后 100K tokens 时中位 TTFT 降低 59%，Agent 会话 P99 TTFT 在负载下降低 9.5x、长请求占满前端时降低 23x。增量路径与快速编码器已在 toktier 仓库开源，分段并行路径、CPU 池调度器和 SGLang 适配器将在同一仓库发布。
推荐理由
论文给出了与 Hugging Face 参考实现和 LoPT 的具体加速对比，以及 SGLang 内的 TTFT 实测数据，可评估该方案的实际收益。
来源：arXiv · cs.CL · arxiv.org