Ai2 发布 LLM 新颖性评判基准与数据管线
热点事件观察中
Ai2 发布 LLM 新颖性评判基准与数据管线
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Ai2 发布研究 Old Ideas, Novel Problems，考察大语言模型能否可靠评判科研想法的新颖性，并同时开源用于测试新颖性评判器的基准、数据和代码，以及一条可供研究者构建新评测集的自动化管线。 该研究基于 ICLR 2026 评审构建想法池，其中高新颖想法 154 条、低新颖想法 145 条，测试了 GPT-5.1 至 GPT-5.4、Claude Sonnet 4.5 与 Claude Opus 4.5/4.6 共六个评判模型。报道未给出这些模型的评判准确率或结论。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 00:12
Ai2 研究：LLM 能否可靠判断研究想法的新颖性报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face BlogAi2 研究：LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，并开源基准、数据和代码，用于测试 LLM 新颖性评判器。研究基于 ICLR 2026 评审构建 154 条高新颖与 145 条低新颖的人类想法池，测试 GPT-5.1 至 GPT-5.4、Claude Sonnet 4.5 与 Claude Opus 4.5/4.6 六个评判模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。