GitHub · 灵魂体仓库·· 1 天前精选AI 评分67
PAKT 开源：面向 LLM 的无损优先结构化数据 token 压缩库
sriinnu/clipforge-PAKT
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sriinnu/clipforge-PAKT
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 PAKT（Pipe-Aligned Kompact Text），一个确定性的无模型 token 压缩库，将 JSON、YAML、CSV、Markdown 转为管道分隔形式以减少发送给 LLM 的 BPE token，npm 包为 @sriinnu/pakt。L1–L3 层字节级无损往返，L4 语义层为默认关闭的有损选项；实测 JSON 10 条记录省 27%、50 条省 33%、重复日志省 57%，小型深嵌套配置反而膨胀 25%，无重复散文原样通过。压缩格式理解评测基于 36 题、gpt-4o / o200k_base tokenizer，PAKT 与 JSON 准确率 100% 对 97.2%，sign test p=1.00，作者判断为持平而非优势。
推荐理由
给出了逐内容类型的 token 节省实测表和 36 题理解评测对照，可直接评估这个无模型压缩方案是否值得用在自己管道里。
来源：GitHub · 灵魂体仓库 · github.com