跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分79

roleplay-slim 发布:保护人格前缀的对话 token 压缩库与代理

lucifergzsz414/roleplay-slim

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/lucifergzsz414/roleplay-slim

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 roleplay-slim 项目发布 v0.4,提供 Python 库和 OpenAI Chat Completions 兼容代理,用于压缩持久角色机器人的对话历史,同时保证人格前缀逐字节不变以维持 provider 前缀缓存命中。基准显示 500 轮对话从 37,176 tokens 压到 19,545 tokens(省 47.4%),默认规则压缩省 16.5%,可自带 summarizer 进一步省 92% 以上;安装包小于 5 MB,支持 DeepSeek 等前缀缓存 provider,本地代理运行在 127.0.0.1:8791,无需改代码。

推荐理由

作者用基准数据说明只压缩对话历史、不碰人格前缀的做法,读者可以照此判断它能否用在自己的长对话机器人上。

来源:GitHub · 灵魂体仓库 · github.com