GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分61
WillBooster 发布 tokzip:面向 Prompt、LLM 输出与源码的无损压缩工具
WillBooster/tokzip
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/WillBooster/tokzip
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
WillBooster 在 GitHub 发布 tokzip,一个针对静态存储的提示词、LLM 输出与源码的无损压缩器,以 Rust 编译为约 1.15 MB 的 wasm 模块,支持 Node、Bun 和 Cloudflare Workers。编码器逐段自动检测语言,内置 21 种语言的字典与模型先验,在 3,514 篇文档的基准上总体压缩到输入的 20.8%,优于 brotli -11 的 26.3%、zstd -19 的 31.1% 和 gzip -9 的 31.9%;每帧带 CRC-32 校验并验证往返无损,解压不可信数据时可传 maxLength 限制展开。当前为 pre-release 的 Format v1,重训练会替换字典并使早期构建的帧失效。
推荐理由
README给出与brotli、zstd、gzip在同一语料上的分语言压缩率对比数据,读者可以直接评估它在提示词与代码存储场景的收益。
来源:GitHub · 去对齐工具与仓库 · github.com