跳到正文
Hugging Face Blog·· 5 天前精选AI 评分59

Hugging Face 博客预览 VocabX 方法:按成本而非频率特化词表,将葡语作文批改器推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

来源与原文

Hugging Face Blog

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果:按每个 token 的成本而非频率重建词表,在不改基座模型、数据和训练配方的前提下,将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token,bench 分数从 0.703 升到 0.810,LM head 从约 152,000 行缩到约 65,000 行;在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中,压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。

推荐理由

作者用同一基座、同一训练配方做对照实验,把成本按读写分别计价,方法思路可迁移到其他单一领域的专用模型。

来源:Hugging Face Blog · huggingface.co