arXiv · cs.CL· Nishita Jain·· 18 小时前AI 评分44
Tokenizer 能否泄露训练数据：BPE 分词器的成员推断研究
Tokenizer Tokens Tell Training Tales
来源与原文
arXiv · cs.CL
作者：Nishita Jain
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39919v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究（arXiv:2610.39919）提出，BPE tokenizer 因在文本上训练，其词表可用来判断候选数据集是否属于其训练语料。基于 BPE 合并阈值模型，作者提出 RTAM-Fusion 方法，用 shadow tokenizer 校准稀有 token 质量，在 tokenizer membership benchmark 上较 Vocabulary Overlap 提升了 AUC 和 balanced accuracy。研究还发现现有防御在生产级词表规模下仍会向自适应攻击者泄露成员信号。
来源：arXiv · cs.CL · arxiv.org