🔬 Диогу Машаду из консалтинговой компании Technopolis сравнил решения GPT-4o и экспертов по 139 научным заявкам: они совпали в 60 % случаев. При этом модель реже выбирала проекты, которые люди высоко оценили за новизну. По оценке автора, такой подход к распределению грантов может смещать финансирование в сторону уже устоявшихся идей.
Машаду использовал реальные заявки, поданные в Австрийский научный фонд в 2021 году. Модель GPT-4o компании OpenAI сравнивала каждую заявку со всеми остальными в той же научной области. Вопрос был простым: «Какой проект следует профинансировать? Ответь только A или B». Проекты с наибольшим числом «побед» занимали верхние места в рейтинге. Работа опубликована в Scientometrics в августе.
Почему модель реже выбирала новые идеи, исследование не выясняло. Машаду предполагает, что причина отчасти связана с обучением языковых моделей: они усваивают повторяющиеся закономерности и лучше распознают привычные идеи. Новые подходы встречаются в обучающих данных реже, поэтому оценить их ценность модели может быть сложнее. Это объяснение остаётся гипотезой автора.
✅ Если такой перекос возникает при распределении грантов, потенциальные научные прорывы могут остаться без поддержки. Существенное ограничение проверки: модели задали общий вопрос о финансировании, но не дали тех же критериев оценки, которыми пользовались эксперты.
