Token Lab：LLM tokenization 与上下文窗口管理的 45 分钟交互课程

GitHub 项目 ayushraj059/token-lab 提供一个 45 分钟自定进度的交互课程，讲解 LLM 如何对文本进行 tokenization 以及如何在真实 AI 应用中管理上下文窗口。课程分为 BPE 手工合并、token 对比实验（英文、泰米尔语、代码、数字）、上下文窗口遗忘演示与 8,000 token 预算挑战等环节，并附 5 道测验和 Python 裁剪函数。下载仓库后直接用浏览器打开 index.html 即可运行，无需安装、无需 API key，可离线使用。