Reddit · r/LocalLLaMA· /u/ghgi_·· 13 天前精选AI 评分61
Zellige AI 发布 Tessera-27B-B-CJK:用压缩 CJK 思考以节省 token 的 Qwen 微调模型
Tessera-27B-B-CJK, Zellige AIs new finetune of Qwen with novel approaches to how we think about token savings
来源与原文
Reddit · r/LocalLLaMA
作者:/u/ghgi_
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5xm28/tessera27bbcjk_zellige_ais_new_finetune_of_qwen/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Zellige AI 开源 Tessera-27B-B-CJK,一个基于 Qwen3.8-27B 的编码 Agent 模型,以混合英文、中文词汇和符号的压缩 CJK 思考来减少 token 消耗,思考过程与输出分离,回答和工具调用保持英文与代码。在 11 个 held-out 编码 Agent 任务上对比未微调基座:每轮思考 token 降至基座的 0.50-0.64 倍,88 轮匹配测试中工具调用 100% 有效、零重复循环,101K-131K token 提示下 6/6 工具调用有效;竞赛数学和难算法代码弱于基座。训练仅用四个短 LoRA 步骤,基于基座自身输出构建。
推荐理由
原文给出与基座模型同任务对比的思考 token 消耗数据和训练流程,可了解用压缩 CJK 思考省 token 的具体做法。
来源:Reddit · r/LocalLLaMA · reddit.com