跳到正文
10月28日周三
  1. AWS Machine Learning Blog36

    Property Finder 如何修复 Amazon Bedrock 上的评估偏差,实现准确率提升、成本降低 86%

    Property Finder 在将视觉 AI 负载迁移到 Amazon Bedrock 时发现,其评估标签中 96.8% 直接沿用了现有模型的预测而非人工核验,导致任何替代模型在比较中都处于劣势。团队由专家重新标注 356 张 UAE 图像并改用多标签分类,再通过 v0 到 v27 的提示词迭代优化选型,最终在 Amazon Bedrock 上实现更高准确率与 86% 的成本下降。

10月15日周四
  1. Mistral AI71

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一,参数量为前代 SOTA 的三分之二。

    推荐理由:原文给出四个尺寸的参数量、CPU 推理延迟和三项基准排名,可据此判断时间序列基础模型的落地成本。

  2. Google Research67

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在四个基准上对比独立 LLM、基础工具、Earth AI 工具和带前置规划的完整智能体四种配置,并开源 GeoKTools 与 GeoExpertQueries 两个新基准的开发集。

    推荐理由:原文给出四个基准上的对照结果,说明专用地理工具与前置规划各自带来的差异。

10月7日周三
  1. Microsoft Research31

    微软研究院播客:AI 会犯哪些错,失败又能教我们什么

    微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。Neville 还分享使用当前 AI 系统的实用建议,并强调结果偏离预期时细查数据的重要性。

10月5日周一