Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 3а. Цитируемость: институты РАН

В третьей части нашего анализа мы используем предыдущие результаты и данные из SciVal, чтобы посмотреть, как цитируются труды институтов РАН и университетов «5-100». Обращаем внимание: цитируемость любой статьи накапливается со временем, поэтому все графики цитируемости по годам имеют естественный спадающий тренд.

Выводы:

1) Цитируемость институтов в целом следует упомянутому ниспадающему тренду. Так как общее количество статей у институтов РАН растёт медленно (см. предыдущие посты), то и профиль цитируемости не меняется.

2) Профили цитируемости физических институтов отличаются от профилей цитируемости других институтов РАН. Видно, что физические институты цитируют больше и чаще.

3) В целом все институты имеют примерно равную долю самоцитирований на уровне 20-25%.

4) Видна связь между структурой публикационной активности и количеством цитирований. ФИАН больше публикуется в топ-10% и поэтому у ФИАН больше цитат. Исключение – Институт прикладной физики РАН, который сумел опубликовать в большой коллаборации ряд высокоцитируемых статей в 2016 и 2017 годах.

5) Однако, например, в сравнении с MIT все статьи цитируются на 30% хуже (и более). Удельное цитирование одной статьи по годам сопоставимо с MIT только у Института прикладной физики в 2017 году.

6) Удельная цитируемость институтов РАН на одну статью в целом сопоставима с удельной цитируемостью университетов.

Отменен конкурс на лучшие проекты фундаментальных научных исследований 2021 года.
В соответствии с решением Правительства РФ от 12 февраля 2021 года конкурс проектов фундаментальных научных исследований ("а") отменен. На основании этого решения дальнейший прием заявок на конкурс прекращен. Поступившие заявки останутся без рассмотрения.
https://www.rfbr.ru/rffi/ru/classifieds/o_2119256

Уже в апреле (с)

"В свете решения Российского фонда фундаментальных исследований об отмене конкурса на лучшие проекты фундаментальных научных исследований 2021 года Российский научный фонд подтверждает свою позицию о сохранении преемственности видов грантовой поддержки научных исследований и объемов грантового финансирования. Планируется, что объявление новых конкурсов РНФ состоится уже в апреле текущего года".

https://www.rscf.ru/news/found/o-planakh-rossiyskogo-nauchnogo-fonda-po-obyavleniyu-novykh-konkursov/

Вопросы в зал
Из чата @trueresearch_chat

Который день в чате идёт бурное обсуждение финансирования науки и, в частности, внутренней кухни Российского научного фонда. Подписчики канала интересуются:

- работой экспертного совета РНФ в целом;
- процессом выбора экспертов (работает ли случайный выбор по кодам?);
- процессом принятия решения по результатам экспертизы;
- работой с отрицательными отзывами на рецензентов.

Если вы владеете такой информацией (являясь членом совета, координатором, сотрудником фонда), буду благодарен за ваши ответы. Писать можно в @RResearcherBot, анонимность гарантируется.

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 4. Самостоятельность исследований: методика расчёта

В новой части нашего анализа мы планируем глубже вникнуть в структуру публикационной активности вузов проекта «5-100» и институтов РАН. Наиболее острые вопросы — реальный вклад организаций в публикуемые статьи и множественные аффилиации авторов. К сожалению, стандартные инструменты не предоставляют такую статистику в явном виде, поэтому была предпринята попытка восстановить её косвенным образом. Итак, задача: найти средний вклад организации в публикуемую статью. Приводим подробное объяснение методики, результаты - сразу после.

За основу был взят показатель КБПР (комплексный балл публикационной результативности), который рассчитывается РИНЦ и выкладывается в открытом доступе на портале elibrary.ru. Этот показатель напрямую учитывает вклад научной организации в публикуемые статьи: например, если только 2 из 10 соавторов указали данный вуз/институт в качестве места работы, то и в зачёт пойдут 20% от условной стоимости статьи в баллах. Если же каждый автор указал по 2 места работы, то, соответственно, одной организации зачтётся ещё вдвое меньше баллов. РИНЦ позволяет проследить изменение общего КБПР организации (суммарного и по отраслям знаний) с 2011 по 2020 годы.

Цена самой статьи при расчёте КБПР сильно зависит от квартиля журнал: публикация в журнале первого квартиля WoS стоит 20 баллов, в Q2 — 10 баллов, в Q3 — 5 баллов, в Q4 — 2,5 балла, в остальном ядре РИНЦ (остальных журналах WoS, Scopus, RSCI без квартиля) цена статьи составляет 1 балл. РИНЦ позволяет увидеть, как менялся по годам средневзвешенный импакт-фактор журнала, в котором опубликованы статьи данной организации, но не предоставляет информацию о квартилях журналов. Поэтому для анализа нам была необходима простая связь между импакт-фактором журнала и его квартилем, а значит и стоимостью статьи по методике КБПР. Усреднение импакт-факторов журналов из разных областей показывает, что для естественных наук можно использовать приблизительную формулу:

[стоимость статьи по КБПР] = 4 * [импакт-фактор журнала],

причём в математических науках лучшее совпадение даёт коэффициент 5 вместо 4, в среднем по всем наукам — коэффициент 6. Мы отбрасываем журналы из списка ВАК, так как их вес в КБПР равен 0,12 балла, что не позволяет им заметно влиять на итоговую сумму КБПР при существующем распределении статей по категориям журналов.

Как же вычислить средний вклад вуза/НИИ в статью? Предположим, что за 2015 год организация набрала 1000 баллов КБПР, опубликовав 500 статей в ядре РИНЦ со средним импакт-фактором 2,5. Это означает, что 1 статья принесла данному заведению 1000/500 = 2 балла. Но полная стоимость статьи с таким импакт-фактором составляет 10 баллов (по формуле 4*2,5; получилось, что в среднем авторы публикуются в Q2). Следовательно, средняя доля организации в статьях составляет 2/10 = 20%.

Эмпирическая проверка показывает, что оценка хорошо работает для организаций естественнонаучного профиля, со средним импакт-фактором статей больше единицы. В случае общественного или гуманитарного профиля или при среднем импакт-факторе статей < 0,5 формула может завышать "коэффициент самостоятельности". При расчётах для единообразия результатов всюду применялся коэффициент 4, коррекция коэффициента (6 вместо 4) применялась только для ВШЭ, у которой заметно доминируют публикации по общественным и гуманитарным наукам.

Также РИНЦ предоставляет статистику распределения статей данной организации по числу соавторов, что позволяет найти среднее число соавторов в статье (статьи в мега-коллаборациях были исключены из рассмотрения). Умножая его на найденный выше коэффициент самостоятельности, мы получаем среднее число сотрудников из данной организации, участвующих в одной публикации. Если оно ниже единицы, например равно 0,5 или 0,33, значит в среднем в статье участвует один автор, который указывает 2 или 3 места работы соответственно.

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 4б. Самостоятельность исследований и кооперация: вузы

Мы рассмотрели показатель "самостоятельности работ" вузов из проекта "5-100" за 2011-2019 годы по методике, описанной выше.

Дисклеймер: безусловно, вычисленная средняя доля организации в публикуемой статье — это грубая оценка. Ценность такого анализа представляет динамика показателя по годам и сравнение результатов различных организаций между собой. 2020 год был исключен из рассмотрения, так как далеко не все статьи 2020-го года выпуска были проиндексированы РИНЦ.

1. В 2011-2013 годах (до запуска проекта "5-100") вузы показывали разнонаправленную динамику, самостоятельность исследований была в диапазоне от 20% до почти 90%; в среднем динамика нулевая.

2. С запуском проекта "5-100" вклад всех вузов в публикуемые статьи начинает падать, уменьшаясь к 2018 году в 2-3 раза.

3. Среднее число сотрудников конкретного университета, участвующих в одной публикации, кратно снизилось. По нашей оценке, в 2011-2013 годах оно составляло в среднем 1,5 человека на статью (от 1,3 до 3), а к 2018 году упало до 0,65 человека; у ряда вузов этот показатель равен 0,5. Это означает, что в большинстве статей нет "целых" авторов из данного университета, а есть только указавшие его как одно из нескольких мест работы.

Строго говоря, в рамках данного подхода мы не можем различить, является это следствием реальной кооперации с другими исследовательскими центрами или покупки аффилиаций у российских или зарубежных учёных.

4. В качестве альтернативного примера были выбраны два лидирующих российских вуза, не участвовавших в проекте "5-100", — МГУ и СПбГУ, на графиках представлено их усреднённое поведение. Как видно, сильные тренды отсутствуют, "коэффициент самостоятельности работ" колебался вокруг 50%, к 2019 году он составил 46%. Среднее число авторов в статье изменилось незначительно, от 1,5 до 1,3-1,4 человек.

В целом видно, что усредненные показатели самостоятельности вузов проекта "5-100" совпадали с показателями МГУ/СПбГУ до 2013 года, но затем стали резко падать.