Скрыть
Раскрыть

Адрес редакции:
101000, Москва, Армянский пер., д. 4, стр. 2, каб. 101а

Е-mail:
hsejournal.psychology@gmail.com

 


Организационная психология

Валуева Е. А.1,2, Панфилова А. С.1, Рафикова А. С.1,3
  • 1 ФГБУН Институт психологии РАН, 129366, Москва, ул. Ярославская, д. 13, к. 1
  • 2 ФГБОУ ВО «Московский государственный психолого-педагогический университет», 127051, Россия, Москва, ул. Сретенка, д. 29
  • 3 Государственный академический университет гуманитарных наук, 119049, Москва, Мароновский пер., д. 26

Автоматическая оценка тестов на вербальную креативность: от лексических баз данных к большим языковым моделям

2024. Т. 21. № 1. С. 202–225 [содержание номера]

В статье рассматривается эволюция методов автоматической оценки вербальных тестов на дивергентное мышление. Основным предметом внимания исследователей становится возможность оценить оригинальность ответов испытуемых с помощью подсчета их семантической удаленности от стимульной задачи. В период с 2009 по 2019 г. главным методом оценки семантических расстояний стал латентно-семантический анализ. В целом, с точки зрения внутренней согласованности и корреляции с экспертными оценками, его применение давало удовлетворительные результаты, позволяя сохранить допустимый баланс качества и затраченных усилий. Однако выявились проблемы (зависимость оценок от используемого корпуса, нестабильность результатов, систематические искажения, связанные с длиной анализируемых ответов), которые заставили исследователей перейти к более продвинутым моделям дистрибутивной семантики (GloVe, Word2Vec), большим языковым моделям и обучению с учителем. Большие языковые модели (особенно дообученные на материале тестов креативности) показали более высокую эффективность, чем модели, оценивающие семантические расстояния, и приблизились к оценкам, которые дают эксперты. Помимо оценки оригинальности, в статье рассматриваются работы, в которых предлагаются методы автоматической оценки разработанности, гибкости, ассоциативного потока и дивергентной семантической интеграции. Приводятся ссылки на онлайн-платформы, позволяющие получать автоматические оценки оригинальности ответов на дивергентные тесты. Обсуждается проблема интерпретации полученных с помощью больших языковых моделей результатов. Недостатком применения этих моделей является отсутствие понимания, на каких основаниях выносится суждение об оригинальности творческих продуктов. Обсуждаются перспективы применения объяснимого искусственного интеллекта для оценки результатов вербальных и невербальных тестов творческого мышления.

BiBTeX
RIS
 
 
Rambler's Top100 rss