Метрики изданий в Google Scholar
В июле Google Scholar опубликовал обновленные данные по метрикам научных журналов, включая сборники материалов некоторых инженерных и IT-конференций. Из списка были исключены издания, в которых было размещено менее 100 публикаций за период с 2018 по 2022 г., а также те, у которых не было ни одной цитируемой статьи, вышедшей в данный пятилетний период. Дополнительно были опубликованы списки из 100 наиболее высоко оцененных журналов на 11 языках, включая русский.
Мы сравнили список российских журналов в Google Scholar, «белый» национальный список, размещенный на сайте РЦНИ, и метрики изданий в недавно опубликованном Scimago Journal Report. Из 100 журналов в русскоязычном списке Google Scholar в список РЦНИ входят 29, а в SJR — 19. Поскольку Google Scholar работает по поисковым алгоритмам, его охват намного выше, чем у многих других наукометрических баз, но он не предусматривает оценки качества источников, которые являются наиболее значимыми для отдельных наук. Поэтому в топ-100 входит достаточно много журналов, которые редко попадают в экспертные списки в связи с особенностями редакционной политики.
Google Scholar включает в себя большое количество перекрестных ссылок на цитируемые источники. Он достаточно удобен, если нужно быстро найти ссылку на оригинальную публикацию в конкретном журнале или проанализировать источники определенной статьи. Тем не менее широкий охват служит и определенным препятствием для адекватной оценки уровня и значимости отдельных изданий, так как селективность исходной выборки играет немаловажную роль в построении надежных показателей. Поэтому мы советуем с крайней осторожностью подходить к выбору места публикации лишь на основании представленных данных и обращаться к другим источникам, включая экспертные списки.
#GoogleScholar #рейтинги #hиндекс
В июле Google Scholar опубликовал обновленные данные по метрикам научных журналов, включая сборники материалов некоторых инженерных и IT-конференций. Из списка были исключены издания, в которых было размещено менее 100 публикаций за период с 2018 по 2022 г., а также те, у которых не было ни одной цитируемой статьи, вышедшей в данный пятилетний период. Дополнительно были опубликованы списки из 100 наиболее высоко оцененных журналов на 11 языках, включая русский.
Мы сравнили список российских журналов в Google Scholar, «белый» национальный список, размещенный на сайте РЦНИ, и метрики изданий в недавно опубликованном Scimago Journal Report. Из 100 журналов в русскоязычном списке Google Scholar в список РЦНИ входят 29, а в SJR — 19. Поскольку Google Scholar работает по поисковым алгоритмам, его охват намного выше, чем у многих других наукометрических баз, но он не предусматривает оценки качества источников, которые являются наиболее значимыми для отдельных наук. Поэтому в топ-100 входит достаточно много журналов, которые редко попадают в экспертные списки в связи с особенностями редакционной политики.
Google Scholar включает в себя большое количество перекрестных ссылок на цитируемые источники. Он достаточно удобен, если нужно быстро найти ссылку на оригинальную публикацию в конкретном журнале или проанализировать источники определенной статьи. Тем не менее широкий охват служит и определенным препятствием для адекватной оценки уровня и значимости отдельных изданий, так как селективность исходной выборки играет немаловажную роль в построении надежных показателей. Поэтому мы советуем с крайней осторожностью подходить к выбору места публикации лишь на основании представленных данных и обращаться к другим источникам, включая экспертные списки.
#GoogleScholar #рейтинги #hиндекс
Сравнение методов расчета высокоцитируемых публикаций
Подсчет статей, которые выделяются за счет аномально высокого количества полученных цитирований, являются объектом изучения экспертов, занимающимися количественным анализом науки.
Очевидная необъективность и отсутствие точных методов, которые используются для составления «рейтингов» высокоцитируемых публикаций, заставляют исследователей искать новые подходы для их усовершенствования. Наиболее распространенным из различных критериев такой оценки является определение высокоцитируемых статей как статей, находящихся в первом процентиле (верхний 1%) числа цитирований, с чем связано два неразрешенных вопроса:
· как составить список наиболее цитируемых статей, ранжированных в порядке убывания (или возрастания), в зависимости от метода?
· как преобразовать это порядковое распределение в процентили, пригодные для сравнения публикаций в разных предметных областях?
Используемые для решения этих вопросов методы на данный момент имеют определенные недостатки. Но всё же общее мнение исследователей сводится к тому, что независимо от того, как рассчитывается рейтинг, необходимо учитывать практику публикаций и цитирования каждой научной специальности, чтобы уменьшить влияние асимметрии науки. Недавнее введение в Web of Science процентиля предметных категорий для журналов, перечисленных в Journal Citation Reports (JCR), является подтверждением такого консенсуса.
В 2022 году был предложен новый подход — метод Вагнер, который, в отличие от распространенных, не учитывает год выхода и тип публикации, а также направленность журнала. В апрельской статье Quantative Science Studies авторы проанализировали эффективность предложенного подхода путем его сопоставления с более привычным (в основе которого лежит метод InCites, схожий с методами Лейденского рейтинга и SCImago Journal Rank).
Исследование показало, что при использовании метода Вагнер статистическое предпочтение отдается публикациям из Китая, Японии, Южной Кореи и Сингапура, а также Саудовской Аравии и Швейцарии. В отличие от InCites, он отводит меньшую долю другим странам и регионам, таким как Австралия, Канада, Европейский союз, Великобритания, Бразилия и Южная Африка.
Анализ по дисциплинам (см. график) объясняет этот перекос: страны, в которых более развиты инженерные науки, более широко представлены в новом подходе. С другой стороны, страны со значительной долей публикаций фундаментальных исследований, исследований в области социальных и гуманитарных наук представлены недостаточно по сравнению с данными, полученными при помощи метода InCites.
Согласно результатам исследования, выбор метода расчета перцентилей влияет на долю представленности стран и дисциплин: по мнению авторов, метод Вагнер существенно искажает результаты, а «верность традиционным методам», применяемым для составления рейтинга высокоцитируемых статей, абсолютно оправдана.
#обзор #HCP #webofscience #рейтинги
Подсчет статей, которые выделяются за счет аномально высокого количества полученных цитирований, являются объектом изучения экспертов, занимающимися количественным анализом науки.
Очевидная необъективность и отсутствие точных методов, которые используются для составления «рейтингов» высокоцитируемых публикаций, заставляют исследователей искать новые подходы для их усовершенствования. Наиболее распространенным из различных критериев такой оценки является определение высокоцитируемых статей как статей, находящихся в первом процентиле (верхний 1%) числа цитирований, с чем связано два неразрешенных вопроса:
· как составить список наиболее цитируемых статей, ранжированных в порядке убывания (или возрастания), в зависимости от метода?
· как преобразовать это порядковое распределение в процентили, пригодные для сравнения публикаций в разных предметных областях?
Используемые для решения этих вопросов методы на данный момент имеют определенные недостатки. Но всё же общее мнение исследователей сводится к тому, что независимо от того, как рассчитывается рейтинг, необходимо учитывать практику публикаций и цитирования каждой научной специальности, чтобы уменьшить влияние асимметрии науки. Недавнее введение в Web of Science процентиля предметных категорий для журналов, перечисленных в Journal Citation Reports (JCR), является подтверждением такого консенсуса.
В 2022 году был предложен новый подход — метод Вагнер, который, в отличие от распространенных, не учитывает год выхода и тип публикации, а также направленность журнала. В апрельской статье Quantative Science Studies авторы проанализировали эффективность предложенного подхода путем его сопоставления с более привычным (в основе которого лежит метод InCites, схожий с методами Лейденского рейтинга и SCImago Journal Rank).
Исследование показало, что при использовании метода Вагнер статистическое предпочтение отдается публикациям из Китая, Японии, Южной Кореи и Сингапура, а также Саудовской Аравии и Швейцарии. В отличие от InCites, он отводит меньшую долю другим странам и регионам, таким как Австралия, Канада, Европейский союз, Великобритания, Бразилия и Южная Африка.
Анализ по дисциплинам (см. график) объясняет этот перекос: страны, в которых более развиты инженерные науки, более широко представлены в новом подходе. С другой стороны, страны со значительной долей публикаций фундаментальных исследований, исследований в области социальных и гуманитарных наук представлены недостаточно по сравнению с данными, полученными при помощи метода InCites.
Согласно результатам исследования, выбор метода расчета перцентилей влияет на долю представленности стран и дисциплин: по мнению авторов, метод Вагнер существенно искажает результаты, а «верность традиционным методам», применяемым для составления рейтинга высокоцитируемых статей, абсолютно оправдана.
#обзор #HCP #webofscience #рейтинги
Связь финансирования университета и его места в Шанхайском рейтинге
Сегодня мы бы хотели затронуть тему влияния финансирования университета на его место в Шанхайском рейтинге, а также рассказать об инструменте прогнозирования позиции вуза в данном рейтинге.
Тяжело переоценить влияние объема ресурсов организации на позицию в университетском рейтинге, но все же предполагается, что это влияние не играет ключевую роль и что рейтинговая позиция зависит от огромного количества параметров. Однако результаты недавнего исследования показывают существенную и устойчивую связь объема финансирования и позиции в рейтинге.
В статье авторы проанализировали 318 международных университетов и выявили связь между их финансовыми ресурсами и местом в Шанхайском рейтинге (ARWU) от 2019 года. Анализ показал, что университеты с высокими и низкими баллами ARWU зачастую демонстрируют одинаково высокую эффективность в использовании имеющихся ресурсов, из чего следует, что разница между ними состоит не в искусстве управления ресурсами, а в их количестве.
Следует отметить, что отсутствие открытой информации о финансовых данных университетов и размытые стандарты бухгалтерского учета значительно затрудняют сбор информации и влияют на выборку данных.
Существуют национальные базы — американская IPEDS, европейская ETER, британская HESA и другие, но в настоящее время финансовые данные большинства из них ограничиваются только расходами и доходами, в то время как данные об активах, обязательствах и денежных потоках не предоставляются. В этом отношении авторы делают несколько замечаний о возможных шагах по унификации данных: в частности, было бы желательно обогатить существующие базы данных вузов дополнительными финансовыми данными (или создать новые).
Сами по себе рейтинги, хотя и привлекают внимание общественности из-за удобства ранжирования организаций по показателям и тех выводов, которые можно сделать на этом основании, в то же время активно критикуются. Так, авторы ссылаются на других исследователей, которые выделяют три основные тенденции критических замечаний в адрес рейтингов:
а) содержание показателей: отсутствие учета междисциплинарности, предвзятость к крупным университетам, реальное социальное влияние университета, эффективность распоряжения
ресурсами, альтернативные миссии университетов)
б) методология: статистическая ненадежность и опора на метрики, потенциально содержащие ошибки;
в) влияние: идеологическая нагруженность, легитимация неравенства, «самоисполняющееся пророчество».
Выявление взаимосвязи параметров финансирования и итогового балла университета в рейтинге позволяет спрогнозировать его позицию в будущем. Для этого авторы разделили ARWU на несколько лиг и разработали прогностическую модель (HEI league prediction tool) для оценки балла ARWU и соответствующей лиги, опираясь на данные о ресурсах университета.
Прогностическая модель доступна онлайн по следующей ссылке: https://simonedileo.shinyapps.io/ARWU_League_Estimator/
Модель использует несколько параметров: стоимость материальных неденежных активов, общая сумма операционных расходов, количество студентов, академического и административного персонала (в эквиваленте полной занятости).
Библиометрические показатели в расчет не включены — впрочем, их связь с финансированием университета гораздо более опосредована, чем соотношение студентов и преподавателей. Одним из возможных вариантов доработки модели мог бы стать учет бюджета НИОКР, поскольку он обладает более выраженной корреляцией с публикационной активностью.
#обзор #рейтинги #ARWU
Сегодня мы бы хотели затронуть тему влияния финансирования университета на его место в Шанхайском рейтинге, а также рассказать об инструменте прогнозирования позиции вуза в данном рейтинге.
Тяжело переоценить влияние объема ресурсов организации на позицию в университетском рейтинге, но все же предполагается, что это влияние не играет ключевую роль и что рейтинговая позиция зависит от огромного количества параметров. Однако результаты недавнего исследования показывают существенную и устойчивую связь объема финансирования и позиции в рейтинге.
В статье авторы проанализировали 318 международных университетов и выявили связь между их финансовыми ресурсами и местом в Шанхайском рейтинге (ARWU) от 2019 года. Анализ показал, что университеты с высокими и низкими баллами ARWU зачастую демонстрируют одинаково высокую эффективность в использовании имеющихся ресурсов, из чего следует, что разница между ними состоит не в искусстве управления ресурсами, а в их количестве.
Следует отметить, что отсутствие открытой информации о финансовых данных университетов и размытые стандарты бухгалтерского учета значительно затрудняют сбор информации и влияют на выборку данных.
Существуют национальные базы — американская IPEDS, европейская ETER, британская HESA и другие, но в настоящее время финансовые данные большинства из них ограничиваются только расходами и доходами, в то время как данные об активах, обязательствах и денежных потоках не предоставляются. В этом отношении авторы делают несколько замечаний о возможных шагах по унификации данных: в частности, было бы желательно обогатить существующие базы данных вузов дополнительными финансовыми данными (или создать новые).
Сами по себе рейтинги, хотя и привлекают внимание общественности из-за удобства ранжирования организаций по показателям и тех выводов, которые можно сделать на этом основании, в то же время активно критикуются. Так, авторы ссылаются на других исследователей, которые выделяют три основные тенденции критических замечаний в адрес рейтингов:
а) содержание показателей: отсутствие учета междисциплинарности, предвзятость к крупным университетам, реальное социальное влияние университета, эффективность распоряжения
ресурсами, альтернативные миссии университетов)
б) методология: статистическая ненадежность и опора на метрики, потенциально содержащие ошибки;
в) влияние: идеологическая нагруженность, легитимация неравенства, «самоисполняющееся пророчество».
Выявление взаимосвязи параметров финансирования и итогового балла университета в рейтинге позволяет спрогнозировать его позицию в будущем. Для этого авторы разделили ARWU на несколько лиг и разработали прогностическую модель (HEI league prediction tool) для оценки балла ARWU и соответствующей лиги, опираясь на данные о ресурсах университета.
Прогностическая модель доступна онлайн по следующей ссылке: https://simonedileo.shinyapps.io/ARWU_League_Estimator/
Модель использует несколько параметров: стоимость материальных неденежных активов, общая сумма операционных расходов, количество студентов, академического и административного персонала (в эквиваленте полной занятости).
Библиометрические показатели в расчет не включены — впрочем, их связь с финансированием университета гораздо более опосредована, чем соотношение студентов и преподавателей. Одним из возможных вариантов доработки модели мог бы стать учет бюджета НИОКР, поскольку он обладает более выраженной корреляцией с публикационной активностью.
#обзор #рейтинги #ARWU
