Прошел семинар НУГ "Построение рейтингов методами коллективного выбора"
Передерина О.Г. «Ранжирование политологических журналов по основным библиометрическим индексам».
На сегодняшний день используется множество различных индексов для получения максимально объективной и всеохватывающей оценки качества журналов. На основе каждого индекса строится собственный рейтинг, такие рейтинги помогают определить качество журнала по какому-либо признаку. Но из-за большого количества таких индексов, рейтинги, сформированные на основании различных индексов, приводят к несовпадению оценок влиятельности журналов.
На основе восьми индексов цитирования (импакт-фактор, пятилетний импакт-фактор, индекс оперативности, SNIP, SJR, индекс Хирша, собственный фактор и индекс влияния статьи) было построено 8 рейтингов для 84 англоязычных журналов по политологии. Далее на основе значений по этим восьми индексам, между каждым из индексов были рассчитаны корреляции Пирсона. Рассчитанные корреляции показали, что для индексов с большим окном цитирования (пятилетний импакт-фактор) значения корреляции больше, чем для других индексов (значения достигают 94%), а для индексов с малым окном цитирования (индекс оперативности), мы наблюдаем противоположные тенденции (наименьшее значение – 8%). Далее были рассчитаны значения для ранговых корреляций (доля строго и нестрого согласующихся пар), где мы смогли наблюдать те же тенденции. Исходя из полученных значений мер степени согласованности рейтингов журналов модно заключить, что использование различных библиометрических показателей приводит к схожим, но далеко не всегда совпадающим оценкам. Даже в случаях, когда доля согласованных пар показывает наивысшие результаты, индексы дают противоположные значения как минимум в 10% случаев. Но так как в основе каждого индекса лежат разумные соображения подсчета и у нас нет повода выкидывать какие-либо индексы, или же наоборот, предпочитать один индекс другим, встает задача построения единого агрегированного рейтинга, учитывающего все многообразие различных сторон журналов, которые фиксируют различные индексы, что приводит к задаче многокритериального ранжирования. Для ее решения в работе используются модели теории коллективного выбора.
Из общего множества индексов был удален пятилетний импакт-фактор в силу его высокой корреляции с другими индексами. При построении агрегированного рейтинга альтернативами будут считаться журналы, а мнением индивидуального участника процесса принятия коллективных решений – оценки данных журналов по определенному показателю цитируемости. При построении рейтингов использовалось правило Коупленда №1, правило Коупленда №3, слабые устойчивые множества, правило Борда и двойное правило Симпсона. Далее опять были проведены расчеты доли строго и нестрого согласованных пар, но для новых пяти ранжирований с помощью теории коллективного выбора, и было обнаружено, что все значения ранговых корреляций выше, чем если бы мы просто сравнивали корреляции между индексами цитирования. Были получены высокие корреляции между пятью показателями, посчитанными с применением теории коллективного выбора, и импакт-фактором. Это говорит нам о том, что применение теории коллективного выбора дает нам хорошие результаты, на основе которых можно судить о качестве журналов.
Основным выводом исследования является то, что итоговые агрегированные рейтинги, полученные с использованием моделей теории коллективного выбора позволяют учитывать все многообразие различных аспектов одного журнала, что делает итоговый рейтинг более полным, чем просто рейтинги, построенные на основании какого-либо одного индекса, а высокие корреляции между индексами и новыми рейтингами говорят о том, что итоговые агрегированные рейтинги могут служить новой интегральной характеристикой качества журналов.