Выше квартилей
2.49K subscribers
89 photos
1 video
1 file
254 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
​​OPEN ACCESS DASHBOARD

COKI (Curtin Open Knowledge Initiative) разработали интерактивную панель стран и университетов с открытым доступом. Открытый доступ к результатам исследований — небольшая, но важная часть эффективного открытого института знаний. COKI относят статью к открытому доступу, если она открыта у издателя, открыта у другой платформы или и у издателя, и на других платформах вместе.

Датасет COKI Open Access охватывает 142 страны и 5118 институций, которые имеют как минимум 1000 публикаций. Процесс работы такой:
1. Данные о публикациях берут из нескольких источников: Crossref Metadata (цитаты, название статьи, название журнала), Crossref Funder Registry (спонсор), Crossref Events (соцсети и мероприятия), Microsoft Academic Graph (MAG) (аффилиация, тема), Unpaywall (статус OA), the Research Organization Registry (ROR) (идентификаторы учреждения), Open Citations (дополнительная информация о цитировании).
2. Синтезируют их: группируют публикации по общему признаку и году издания (например, институция + год публикации).
3. Делают расчеты открытого доступа для каждой страны или учреждения.
Данные визуализируются здесь. О том, как это работает и какие у системы ограничения, можно почитать здесь.

Так, для России процент статей с открытым доступом 27% (209 тысяч публикаций). К 2021 году 22% статей с открытым доступом у издателя, 5% — с открытым доступом на других платформах, 14% — с открытым доступом и у издателя, и на других платформах.

Мы сделали срез по организациям РФ с 1000 и более публикаций в 2021 году и упорядочили их по открытому доступу, он составляет от 22 до 58 %. Подробнее на визуализации.

#открытыйдоступ #университеты #инфографика #россия
​​Можно ли быть признанным, но нецитируемым?

«Можно ли быть признанным, но нецитируемым? Сравнение опросных и наукометрических оценок репутаций в социальных науках» — с таким докладом выступил вчера Михаил Соколов (научный руководитель Центра институционального анализа науки и образования ЕУСПб) на 192-м заседании Московского семинара по науковедению и наукометрии.

Цитирование — это не всегда голос за качество работы, это может быть возвращение интеллектуального долга, политический акт и т.п. Поэтому оценивание научного вклада только на основе метрик не всегда точно. Всегда есть вероятность признать несуществующие заслуги ученого и не признать реальные.

Автор выделил 3 основные проблемы при использовании метрик:
1. Проблема валидности: неясно, как соотносятся полученные и ожидаемые цитирования, и их признание/влияние. В разных дисциплинах цитируют по-разному .
2. Проблема покрытия: языковые зоны (неанглоязычная наука лишь частично попадает в зону видимости основных цитатных баз) и разнообразие жанров (статьи в журналах цитируются лучше, чем диссертации, тезисы конференции и другие жанры).
3. Проблема реактивности (цитирование превращается в валюту) и отрицательного набора (чем менее этично ведут себя ученые при цитировании, тем лучше они цитируются).

ЦИАНО провел исследование, базируясь на репутационных опросах о том, кто внес самый значимый вклад в науку/отрасль. На основе данных опроса и наукометрии можно сделать выводы о реальном положении дел в науке. В выборку для опроса попали те, кто за последние 5 лет опубликовали минимум 3 статьи в РИНЦ (социологи, экономисты, политологи) и были зарегистрированы в Elibrary. Около 25% исследователей из выборки поучаствовали в опросе. Основные вопросы, которые задавали респондентам были следующие: кто сделал важный вклад в свою область исследования и в науку в целом, кого добавить в экспертное жюри по специальности? Полученные результаты складывали в общий репутационный рейтинг и сравнили с общими показателями метрик: elibrary, ядро РИНЦ и RSCI. В качестве иллюстрации приводим таблицу соотношения данных из опроса с данными из elibrary, ядра РИНЦ и RSCI (например, 6 человек, которые вошли в ТОП-20 elibrary, вошли в ТОП-20 в рамках обобщенного репутационного рейтинга).

При сопоставлении результатов рейтингов цитируемости и опроса наименьшие расхождения выявлены при сравнении ведущих ученых по цитированиям в журналах RSCI, тогда как на вершине рейтинга по цитируемости в ядре РИНЦ в целом немало исследователей, редко упоминаемых экспертами. Авторы при этом отмечают, что на ошибки в сопоставлении результатов рейтингов и опросов влияли: дисциплинарные границы, ошибочная атрибуция, соавторство и коллективные монографии, национальность, жанры публикации и цитатные базы, манипуляции, границы между наукой и практикой.

О подобных результатах в социологии можно почитать в исследовании «Академические репутации в российской социологии».

#обзор #доклад #цитирование #россия
​​Гендерные диспропорции в российской академии: библиометрический анализ

Марина Пилкина и Андрей Ловаков в своей статье поднимают проблему гендерного неравенства исследователей. Результаты их анализа (121 953 статьи WoS как минимум с одним российским автором, опубликованные в период с 2017 по 2019 год) показывают, что по-прежнему сохраняются явные признаки гендерного неравенства в российском академическом сообществе.

Во всех областях исследований среднее количество публикаций у женщин ниже, чем аналогичные показатели у мужчин. Хотя в некоторых областях наблюдается относительный гендерный паритет, разрыв между обоими полами остается стабильным для большинства дисциплин.

В настоящее время общая тенденция во многих странах заключается в том, что число женщин-студентов и аспирантов в университетах превышает число мужчин. Однако мужчины составляют 72% мирового академического пула. Россия занимает первое место в мире по доле женщин-преподавателей в системе высшего образования (60% общего преподавательского состава). Однако российские женщины менее представлены на высших академических должностях и в академическом менеджменте. Женщины в основном занимают более низкие должности, такие как доценты, преподаватели, ассистенты. Как следствие, гендерные различия наблюдаются в различных аспектах научной деятельности, начиная от заявок на гранты и присуждения грантов до моделей публикаций и показателей цитирования.

В последние годы в российской академии произошли существенные изменения:
1️⃣ развитие исследований в университетах;
2️⃣ новые форматы финансирования (например, мегагранты, более длительные исследовательские гранты от Российского научного фонда);
3️⃣ приглашение и возвращение ведущих зарубежных исследователей в исследовательские центры.
Такая модернизация способствовала вхождению молодых исследователей в академическую систему и активному развитию новых научных направлений и дисциплин, которые не были широко представлены в традиционной структуре исследований в России.

На иллюстрации ниже показано соотношение женщин и мужчин — авторов публикаций — в России по 21 области исследований за 2017-2019 годы.
Возможно разделение некоторых областей исследований на три группы:
1️⃣ дисциплины с преобладанием мужчин (STEM: физика, информатика, математика, инженерия, космонавтика, материаловедение);
2️⃣ области, которые стремятся к гендерному равенству среди авторов (фармакология и токсикология, неврология и поведение, клиническая медицина);
3️⃣ области, в которых доминируют женщины (психиатрия/психология, иммунология).
Эти результаты позволяют частично подтвердить традиционное деление областей исследований на женские и мужские.

Интересны также следующие наблюдения:
• процент женщин-авторов, опубликовавших только одну статью в 2017–2019 годах, превышает процент мужчин во всех дисциплинах. Однако доля женщин уменьшается и становится ниже по сравнению с мужчинами, когда количество опубликованных статей увеличивается.
• доля женщин-авторов, опубликовавших пять и более статей, сравнительно невелика по всем дисциплинам и составляет в среднем 2% (6% для мужчин).

На сегодняшний день мы видим гендерный дисбаланс среди ученых. Вероятно в российской политической и научной системах отсутствует гендерная политика и заинтересованность в ученых-женщинах.

#обзор #россия #гендернаяполитика
SJR 2021: изменения в квартилях Российских журналов

Несколько дней назад обновились квартили Scopus. Мы сделали динамику обновленного рейтинга 2021 по сравнению с предыдущим.
В целом число журналов растет, причем самый заметный рост произошел за счет первого (было 32 журнала — стало 53) и четвертого (было 160 — стало 181) квартилей. Остальные журналы в основном стабильны в квартилях. Уровень Q1 удалось удержать 27 российским журналам, Q2 — 44 журналам, а еще 14 журналов поднялись с Q2 на Q1. На том же уровне Q3 остались 52 журнала, на Q4 — 126 журналов. Понизили свой статус в общем 42 журнала, а повысили — 105 журналов.

#scopus #sjr #квартили #россия #журналы #инфографика
​​Вышка в журнале Nature

У Вышки только что вышла статья «ADAR1 masks the cancer immunotherapeutic promise of ZBP1-driven necroptosis» в одном из самых старейших и крутых журналов Nature. Давайте наукометрически посмотрим, насколько это значимый результат.

В Scopus у журнала Nature 325736 публикаций, 136328 всех публикаций типа article (40%) и review (2%). Далее мы будем рассматривать только публикации типа article и review. 53982 статьи находятся в открытом доступе. Рекордное количество статей было опубликовано в 1970 году — 3882. Среди организаций-лидеров по количеству публикаций в журнале Nature: Howard Hughes Medical Institute (2844), University of Cambridge (2645), Harvard Medical School (2374), University of Oxford (2226), Massachusetts Institute of Technology (2157). При этом на США приходится 35857 публикаций, 15916 — на Великобританию, 6265 — на Германию, 4399 — на Францию и 843 — на Россию. 304 публикации под аффилиацией РАН (607 вместе со всеми подразделениями), 98 статей — МГУ. Всего было опубликовано 10 статей с аффилиацией Высшей Школы Экономики (4 из них в 2021 году).
Начиная с 1996 года количество российских статей в Nature не опускалось ниже 10 в год, за исключением 2011 года. В 2020 году количество статей достигло 40, что на данный момент является максимумом для России.
Самая первая публикация с российской аффилиацией — это работа Д.И. Менделеева «Mendeleef's Researches on Mariotte's Law» (1877 год).
Самая цитируемая российская статья — 17 046 цитирований— «Two-dimensional gas of massless Dirac fermions in graphene» за авторством К.С. Новоселова (University of Manchester), С.В. Морозова (ИПТМ РАН) и других авторов была опубликована в 2005 году.

#обзор #scopus #университеты #россия
​​Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030

В методике Приоритет для ВУЗов исследовательского трека есть (был?) параметр Highly Cited Papers — высокоцитируемые публикации. Он считается по WoS Core Collection и определенному классификатору ESI и определяется как число публикаций за 5 лет в 1% по цитируемости. Согласно методике, окончательные показатели для ВУЗов фиксируются на 1 июля соответствующего года. К сожалению, в виду отключения базы в РФ, нам не удалось достать все данные, но приводим динамику основного публикационного показателя программы по 14 ВУЗам из 17. В виду особенностей расчета показателя — именно эти данные пошли бы в отчет про программе.

#рейтинг #университеты #россия #инфографика #приоритет2030
​​Наукометрия vs экспертиза: сравниваем списки журналов

В России последнего десятилетия управление наукой велось с опорой на квартили по базам Web of Science и Scopus. Механическое применение квартилей противоречит как современным мировым тенденциям, так и критериям самой наукометрии, но имеет своих сторонников — в основном из числа представителей естественных наук, в которых журнальные метрики лучше отражают реальную значимость изданий.

Сейчас на фоне ухода WoS и вероятного ухода Scopus обсуждается создание российского национального списка учитываемых журналов, который придет на смену квартилям. Очевидно, для обеспечения плавности перехода на первом этапе его стоит формировать в основном из изданий, включенных в эти базы. Но также очевидно и другое:
• Списки WoS\Scopus необходимо проредить от изданий, не обеспечивающих должный контроль качества публикаций, в том числе откровенно «мусорных». Продолжать стимулировать и спонсировать симуляцию науки в текущих условиях просто недопустимо.
• Метрики цитируемости должны быть подспорьем для принятия содержательных решений по рангам конкретных журналов, а не подменять их. Решения с их учетом должны принимать специалисты-предметники — естественно, не местечковые, а мирового уровня.
• Многие авторитетные издания по целому ряду дисциплин — особенно гуманитарных — не входят в WoS\Scopus, и речь здесь далеко не только про российские журналы.

Чтобы лучше подсветить эти проблемы, мы решили сопоставить два списка журналов — Scopus (как больший из двух коммерческих списков) и национальный норвежский — наиболее известный из списков, составленных экспертами (с учетом, но не приматом наукометрии). Он давно и успешно применяется в Норвегии для распределения части финансирования науки среди университетов и вдохновил на создание аналогичных списков в других странах.
В норвежском списке есть три уровня:
• 0 — по сути, «черный список»: статья приносит ноль баллов (туда, например, недавно попал популярный в России Sustainability),
• 1 — учитываемые журналы, научному уровню, профессиональному охвату и рецензированию которых можно доверять (25,5 тысяч),
• 2 — ведущие журналы (немногим более 2 тысяч).
В рамках оценки за статью в журнале 1 уровня университет получит 1 балл, за статью в журнале 2 уровня — 3 балла, монографии приносят от 5 до 8 баллов, статьи в сборниках и труды конференций — до 1 балла.

Сопоставление списков мы проводили по ISSN (печатному и электронному), а если совпадений не было — по названию. Из-за ошибок и разночтений часть журналов могла не совпасть (погрешность мы оцениваем в <5%). В некоторых направлениях (прежде всего, Computer Science) на 1-2 уровни добавлены ведущие конференции, здесь мы их не учитывали.

В отличие от списков WoS\Scopus в норвежском соблюдается примерный паритет по числу изданий между крупными направлениями. Соответственно, процент журналов, индексируемых в Scopus, получается совершенно разный.

Цифры говорят сами за себя: полагаться на Scopus для оценки гуманитарных наук не стоит, да и с другими областями есть сложности, особенно на уровне «просто нормальных» журналов. С другой стороны, ведущие журналы по большинству дисциплин в целом индексируются в Scopus хорошо.

Очень большие различия наблюдаются также на уровне стран, причем хуже всего с индексацией в Scopus у скандинавских изданий, что отчасти объясняется высоким процентом гуманитарных изданий среди них (это обусловлено важностью локального контекста в этих областях).

#квартили #экспертныесписки #норвежскийсписок #scopus #россия
​​QS World University Rankings 2023

Хотим вам рассказать о методологии рейтинга QS, основанного на опросе экспертов из разных областей науки. Основной рейтинг QS — это рейтинг университетов мира, также есть отдельный рейтинг университетов по областям исследований.

В QS университеты оцениваются по шести показателям: академическая репутация и репутация работодателя, соотношение преподавателей и студентов, цитируемость исследований, доля иностранных студентов и преподавателей. Помимо основных показателей рейтинга, можно отфильтровать университеты по их уровню достижения целей в области устойчивого развития.

• Академическая репутация (традиционно являющая базой рейтинга — 40% веса) отражает качество преподавания и исследований в университете. Анализ на основе более 130 000 мнений экспертов из сферы высшего образования.
• Репутация работодателя (10% веса): какие учебные заведения выпускают наиболее компетентных, инновационных и эффективных выпускников.
• Соотношение преподавателей и студентов (20% веса)
• Цитаты на факультет (20% веса)
• Доля иностранных студентов и доля иностранных преподавателей
(5% и 5% веса)

В этом году рейтинг QS включает почти 1500 ВУЗов со всего мира. Одиннадцатый год подряд Массачусетский технологический институт (MIT) остается университетом номер один в мире. Кембриджский университет занимает второе место, при этом Стэнфордский и Гарвардский университеты стабильно занимают 3-е и 5-е места, как и в прошлом году, а Оксфордский университет находится на 4-м месте (по сравнению со 2-м местом в прошлом году). Китай достиг важной вехи: два его ведущих университета впервые вошли в число 15-ти лучших.
48 российских университетов вошли в рейтинг в этом году. МГУ занял 75 место, МГТУ им. Баумана — 230, НГУ — 260, ТГУ — 264, МФТИ — 267, СпбГУ — 270, РУДН — 295, ВШЭ — 308.

Каждый из узкотематических рейтингов QS, в том числе QS World University Rankings by Subject, составляется с использованием четырех источников. Первые два из них представляют собой глобальные опросы ученых и работодателей QS, которые используются для оценки международной репутации учебных заведений по каждому предмету. Вторые два показателя оценивают влияние исследований на основе цитирований исследований на статью и индекса Хирша по соответствующей тематике. Также для иногда применяется такой показатель, как международная исследовательская сеть (для крупных университетов).

В рейтинге QS World University Rankings by Subject применяется различное взвешивание показателей по каждому предмету. Например, в медицине, где уровень публикаций очень высок, цитирование исследований и индекс Хирша составляют 25% от общего балла каждого университета. А в областях с гораздо более низким уровнем публикаций, таких как история, эти показатели составляют только 15% от общего рейтинга. А в области искусства и дизайна, где опубликовано слишком мало статей для статистических данных, рейтинг основан исключительно на опросах экпертов.

ТОП-5 предметного рейтинга среди российских университетов на 2022 год представлен в иллюстрации.

#рейтинг #университеты #россия
Рейтинг публикационной активности университетов от аналитического центра «Эксперт»

На прошлой неделе мы рассказывали вам про рейтинг QS. Для сравнения предлагаем вам ознакомиться с методологией другого рейтинга, который не принимает в расчет опросы и учитывает только количественные показатели. Аналитический центр «Эксперт» с 2016 года проводит исследование публикационной активности российских университетов через призму публикационной активности, готовности университетов генерировать изобретения и воспитывать предпринимателей новой волны.

Расчет рейтинга осуществляется на основе четырех смысловых блоков:
Качество роста: качество цитирований университета, концентрация статей в журналах.
Востребованность: средний уровень журналов, где опубликованы статьи, среднее число цитат на одну статью, взвешенное с учетом предметной области число цитирований.
Масштаб: научный коллектив, индекс Хирша, доля публикаций.
Превосходство: объем публикаций Q1, средняя цитируемость статей Q1, представленность в подобластях Q1.

Показатели рассчитывались за 2018–2021 годы. В предметном рейтинге принимают участие университеты, опубликовавшие за четыре года не менее 0,5% всех российских публикаций в соответствующей области. Начиная с прошлого года в расчетах стали учитываться только журнальные статьи во всех предметах, кроме компьютерных наук и искусственного интеллекта (где в учете сохранились и тезисы конференций). Блок «Превосходство» включил в себя комбинацию показателей, которые рассчитываются по публикациям, вошедшим в первый квартиль Scopus и WoS (в гуманитарных вместо квартиля WoS использовалось вхождение в индекс AHCI).

За 10 лет в 2,8 раз увеличился объем статей с российской аффилиацией в международной базе Scopus, в 2,2 раза вырос вклад российских организаций в наиболее цитируемые публикации в мире — с 0,8% до 1,8%. МГУ, СПбГУ, КФУ и РУДН остаются представлены во всех 16 предметных областях.

Данные рейтинга можно посмотреть в таблице на сайте «Эксперта», там есть информация по 2021 и 2022 году с разделением баллов по категориям.

#рейтинг #университеты #россия
Чем российские журналы встречают иностранцев? Часть 1

В последнее время много говорят о развитии российских журналов, которые должны стать конкурентными на мировой арене и открытыми для иностранцев. Мы в Вышке постоянно мониторим отечественные издания, которые действительно проходят бурную трансформацию, в том числе направленную на привлечение иностранных авторов. Происходит это, правда, разными путями, и подчас промежуточные результаты могут вызвать за границей скорее недоумение.

Действительно, главное изменение последних лет заключается в быстром исчезновении русскоязычных изданий как таковых. Речь в первую очередь о формальной стороне дела: уже крайне редки журналы без англоязычной страницы с инструкцией для авторов, которых там, казалось бы, ждут. Это часто связано не с чаяниями и устремлениями редакций как таковых, а с их ориентацией на Scopus и младший индекс WoS Core Collection: ESCI, где международность издания — один из основных критериев приема в базу и присутствия в ней.

Сейчас в Scopus порядка 600-700 российских журналов: точное их число определить трудно(в июльском списке добавилось еще несколько десятков), так как многие переводные «журналы» составляются из нескольких отечественных, нередко избирательно.

Как бы то ни было, типичный российский журнал сейчас именно типичен: построен на открытой платформе OJS или ее перелицованной коммерческой версии Elpub, принимает в основном статьи на русском, но де-юре является мультиязычным, а также излишне тесно связан с издающей организацией. Такая формальная ориентация на международность при, увы, нередком фактическом сохранении локального уровня — ключевой отличительный признак наших научных журналов.

При этом в некоторых журналах, относящихся скорее не к основному «вузовско-медицинскому» потоку 2000-х-2010-х, а к возрождаемой ныне позднесоветской традиции, иностранцев не ждут вовсе:
«В журнале ”Алгебра и логика” публикуются работы, доложенные на заседаниях одноименного семинара при Новосибирском государственном университете» (англоязычных инструкций для авторов нет вовсе).
Research carried out under the auspices of the prestigious P. N. Lebedev Physical Institute of the Russian Academy of Sciences will form the core of this journal (Journal of Russian Laser Research).
The contents of the Russian Journal of Numerical Analysis and Mathematical Modeling is based on the results of research conducted in the Russian Federation. To this end, the Editorial Board considers for publication primarily papers in which at least one of the authors is a citizen of Russia. The Editorial Board also considers papers based on research conducted by Russian scientists outside of Russia.

Где-то для авторов из «дальнего зарубежья» могут сделать исключение, если они работают в русле советской традиции или в соавторстве с «нашими», под которыми — опять предчувствие? — подразумевается именно население бывшего СССР целиком:
Although the main emphasis is on the publication of work from Russia and other states of the former Soviet Union, submissions are also welcome from authors elsewhere, particularly those whose results pertain to recent research from Russia and other states of the former Soviet Union, or who are engaged in collaborative research projects with colleagues from these states. (Mendeleev Communication)
Research Results in Pharmacology’s mission is to facilitate international cooperation in pharmacological research through: (1) English-language publication of high-quality work performed in Russia and other neighboring countries, following the highest possible publishing standards, and (2) involvement of foreign researchers in joint scientific and publication projects.

К счастью, такие издания в явном меньшинстве (по нашим оценкам, их менее 20%), но и в других у иностранцев могут быть проблемы.

Об этих проблемах мы расскажем в следующих постах.

#журналы #россия