Ai2 研究:LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems,并开源基准、数据和代码,用于测试 LLM 新颖性评判器。研究基于 ICLR 2026 评审构建 154 条高新颖与 145 条低新颖的人类想法池,测试 GPT-5.1 至 GPT-5.4、Claude Sonnet 4.5 与 Claude Opus 4.5/4.6 六个评判模型。
Ai2 发布研究 Old Ideas, Novel Problems,并开源基准、数据和代码,用于测试 LLM 新颖性评判器。研究基于 ICLR 2026 评审构建 154 条高新颖与 145 条低新颖的人类想法池,测试 GPT-5.1 至 GPT-5.4、Claude Sonnet 4.5 与 Claude Opus 4.5/4.6 六个评判模型。
Google 发布地理空间推理智能体的技术报告,在四个基准上对比独立 LLM、基础工具、Earth AI 工具和带前置规划的完整智能体四种配置,并开源 GeoKTools 与 GeoExpertQueries 两个新基准的开发集。
推荐理由:原文给出四个基准上的对照结果,说明专用地理工具与前置规划各自带来的差异。
GitHub 发布 AI 代码评审离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。