Ai2 发布新研究：LLM 能否可靠判断科研想法是否新颖？

Ai2 发布“Old Ideas, Novel Problems”研究及配套基准、数据和代码，系统检验 LLM 判断科研想法新颖性的可靠性。结果显示，提示词的微小改动即可大幅改变判断，GPT-5.4 在同样的配对任务上准确率从 93.5% 跌至 40.9%。更多检索与推理预算并未稳定提升效果，简单的 Claude Opus 4.6 提示以远低于专用评估器的成本取得更好准确率。