arXiv · cs.CL· Mohammad Siavashi·· 18 天前精选AI 评分53
GraphTok论文提出GPU tokenizer，加速Agent负载下的LLM服务tokenization
Taking Tokenization off the Host for Agentic LLM Serving
来源与原文
arXiv · cs.CL
作者：Mohammad Siavashi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13325v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。
推荐理由
论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。
来源：arXiv · cs.CL · arxiv.org