GitHub · 灵魂体仓库·· 20 天前AI 评分10
splintr：基于 Rust 的高性能 BPE tokenizer 开源发布
Example69420/splintr
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Example69420/splintr
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的开源项目 splintr 发布，这是一个用 Rust 构建、提供 Python bindings 的高性能 BPE tokenizer，主打高速处理、内存占用低和安全性。支持 Windows、macOS 和 Linux，最低要求 4 GB RAM 和 150 MB 磁盘空间，通过 `splintr --version` 可验证安装，项目采用 MIT License 开源。
来源：GitHub · 灵魂体仓库 · github.com