PAKT 开源:面向 LLM 的结构化数据 token 压缩库
热点事件持续更新
PAKT 开源:面向 LLM 的结构化数据 token 压缩库
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
作者 sriinnu 发布开源库 PAKT(npm 包 @sriinnu/pakt),将 JSON、YAML、CSV、Markdown 转为管道分隔形式,以减少发送给 LLM 的 BPE token。其 L1–L3 核心层为字节级无损,解压后可还原原始输入;L4 语义层为默认关闭的有损选项。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 19:53
PAKT 开源:面向 LLM 的无损优先结构化数据 token 压缩库报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- GitHub · 灵魂体仓库精选PAKT 开源:面向 LLM 的无损优先结构化数据 token 压缩库
作者发布 PAKT(Pipe-Aligned Kompact Text),一个确定性的无模型 token 压缩库,将 JSON、YAML、CSV、Markdown 转为管道分隔形式以减少发送给 LLM 的 BPE token,npm 包为 @sriinnu/pakt。L1–L3 层字节级无损往返,L4 语义层为默认关闭的有损选项;实测 JSON 10 条记录省 27%、50 条省 33%、重复日志省 57%,小型深嵌套配置反而膨胀 25%,无重复散文原样通过。压缩格式理解评测基于 36 题、gpt-4o / o200k_base tokenizer,PAKT 与 JSON 准确率 100% 对 97.2%,sign test p=1.00,作者判断为持平而非优势。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。