Dharma-AI 研究:专门化 SLM 词表可将实际应用推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,提出按每个 token 的推理成本而非出现频率重建小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,基座模型、数据和训练配方均未改变。
推荐理由:作者以生产环境作文评分器为例,展示按 token 成本而非词频重建词表,在基座模型不变时把实测推理成本降 77%。
Dharma-AI 在 Hugging Face 博客中预览即将发布的 VocabX 论文,提出按每个 token 的推理成本而非出现频率重建小模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上把实测推理成本降低 77.0%,基座模型、数据和训练配方均未改变。
推荐理由:作者以生产环境作文评分器为例,展示按 token 成本而非词频重建词表,在基座模型不变时把实测推理成本降 77%。
微软研究院的 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明该猜想中的界与维度无关,是一个固定常数。
推荐理由:这篇论文证明了一个悬置31年的高维几何猜想,并展示了研究者如何通过人工筛选引导AI智能体探索上百条路径。
Google DeepMind 发布 Gemini 4 Argon,称其在物理理解、代码生成和视觉语义推理上有明显提升,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,超过其他前沿模型。
推荐理由:官方给出 Argon 在 ERQA 的 87% 成绩和机器人全流程示例提示词,可据此判断物理推理模型能覆盖哪些环节。
Google DeepMind 发布前沿模型 Gemini 4 Argon,今日起通过 Gemini API、AI Studio、Google Antigravity 及 Gemini 应用和搜索 AI Mode 向开发者、企业和订阅用户开放。
推荐理由:官方给出多领域基准排名与内部工程、科研落地案例,可据此判断前沿模型在长程任务上的实际边界。
Berkeley Sky Lab 与 IBM Research 将 K-Search 内核搜索框架扩展到 MLX 后端,并加入结构化 CUDA-to-MLX 翻译层,让已有 CUDA 内核作为知识库迁移到 Apple Silicon。
推荐理由:原文给出注意力与 Mamba 两个内核的实测数字,并拆出翻译层带来的增益,可据此判断跨平台内核迁移的可行边界。
Berkeley AI Research 提出 ABBEL 框架,将摘要内容隔离为自然语言"信念状态"并加以监督,以替代完整交互历史作为智能体的工作上下文。在 CollabBench 协作编码任务上,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也显著低于全上下文设置。
伯克利 AI 研究团队梳理了并行推理领域进展,重点分析自适应并行推理:让模型自行决定何时分解并并行化独立子任务、开多少并发线程以及如何协调。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法多由外部固定并行结构,未按问题难度自适应调整。
Berkeley AI Research 提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让世界模型的长时程规划更稳健。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部最优和高维视觉潜空间失败模式等问题。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 中的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10x 更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。