跳到正文
Hugging Face Blog·· 8 天前精选AI 评分60

Dharma-AI 研究:专门化 SLM 词表可将实际应用推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,提出按每个 token 的推理成本而非出现频率重建小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,基座模型、数据和训练配方均未改变。

推荐理由

作者以生产环境作文评分器为例,展示按 token 成本而非词频重建词表,在基座模型不变时把实测推理成本降 77%。

来源:Hugging Face Blog · huggingface.co