Dharma-AI 研究:专门化 SLM 词表可将实际应用推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,提出按每个 token 的推理成本而非出现频率重建小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,基座模型、数据和训练配方均未改变。
推荐理由:作者以生产环境作文评分器为例,展示按 token 成本而非词频重建词表,在基座模型不变时把实测推理成本降 77%。
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,提出按每个 token 的推理成本而非出现频率重建小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,基座模型、数据和训练配方均未改变。
推荐理由:作者以生产环境作文评分器为例,展示按 token 成本而非词频重建词表,在基座模型不变时把实测推理成本降 77%。
微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,并返回可在约 12 毫秒内验证的简短证明。在 15 个基准程序上,它比同机最快的现有 zkVM 平均快 10 到 39 倍,在笔记本上每秒可证明 7.2 至 8.7 百万条 RISC-V 指令。
推荐理由:微软研究院把十余年零知识证明研究整合为 Magnetar,读者可了解通用程序证明在速度与密码学假设上的取舍。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX 后端,并加入结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:原文给出注意力与 Mamba 两个内核的实测数字,并拆出翻译层带来的增益,可据此判断跨平台内核迁移的可行边界。