Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 4а. Самостоятельность исследований: институты РАН

Мы рассмотрели показатель "самостоятельности работ" вузов из проекта "5-100" за 2011-2019 годы по методике.

Дисклеймер: безусловно, вычисленная средняя доля организации в публикуемой статье — это грубая оценка. Ценность такого анализа представляет динамика показателя по годам и сравнение результатов различных организаций между собой.

1. Средний вклад институтов РАН в публикуемую статью практически не менялся с 2011 по 2019 годы, есть слабый тренд на снижение вклада (38% -> 33% за всё время).

2. Величина вклада для конкретного института зависит, прежде всего, от его специализации. Степень самостоятельности работ математических институтов составляет более 50%, большинства химических и физических — колеблется в диапазоне 30-40%, особняком стоит ФИАН с долей менее 20% (вероятно, из-за заметного участия в крупных проектах).

3. Среднее число сотрудников, участвующих в одной публикации от данного академического института колеблется от 1 до 1,8 человек (в зависимости от специализации), сильных общих трендов не выявлено. Общее число соавторов статьи также сильно зависит от научной специализации института: в математике это менее 2 человек, в естественных науках — 4-5 человек.

К дискуссии о числе грантов "в одни руки"
от подписчика

"Были в моей практике прецеденты, когда особо хитрые руководители РНФ фиксировали только число основных исполнителей, а остальных вводили-выводили хоть и не каждый месяц, но гораздо чаще нормального. Не выходя за рамки 10 человек. Ну а что - кандидатов и аспирантов в лаборатории/на кафедре много, проблем нет, а кормить надо всех.

Особенно хитрые (с бешеным числом статей) включали в состав основных исполнителей только одного человека. А остальных также вводили-выводили. С формулировкой "сотрудник выполнил возложенные на него обязательства", "в ходе реализации проекта возникла необходимость смены плана работы (привлечения специалиста с более высокими компетенциями)" и т.п. Вводим в состав коллектива на стадии заявки крутых исполнителей, потом в середине года — перед началом нового конкурса — выводим его из коллектива (меняя на сотрудника с меньшим числом публикаций, но с той же степенью) и от его имени подаем заявку на новый конкурс.

Ох, как было смешно смотреть на перечень приказов о смене состава коллектива! А сделать ничего нельзя, хотя и понимаешь, что происходит: руководитель подкармливает остальных сотрудников и готовит задел для следующего гранта. Навсегда запомнился один руководитель РНФ, который вводил в состав коллектива на пару месяцев людей с готовыми "на выход" статьями, чтобы зачесть их в индикаторы (он пообещал зачем-то более 20 статей за 3 года).

В итоге РФФИ и ввел правило, что состав коллектива можно изменять только один раз в год.

Это я к тому, что ученые-лидеры хакнут любые запреты — они еще с советских времен обучены таким административным фокусам, что глаза на лоб лезут. А всё по закону! И вы их этими формальными запретами не остановите. Да и руководство РНФ/РФФИ отлично ознакомлено с такой практикой и не препятствуют ей.

К сожалению, коллеги, ограничения по числу грантов лидеров-руководителей и "грантрайтеров", у которых есть большие и хоть сколько-нибудь активно работающие группы, не остановят".

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Как изменялся комплексный балл публикационной результативности (КБПР) у вузов проекта "5-100" в 2011-2019 годах. Этот показатель учитывает качество журнала, в котором публикуется статья, а также долю организации в этой статье.

Представлены графики для следующих университетов проекта "5-100":

Высшая школа экономики
Университет ИТМО
НИЯУ МИФИ
Томский государственный университет
МФТИ
НИТУ МИСиС
Новосибирский государственный университет

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Как изменялся комплексный балл публикационной результативности (КБПР) у институтов РАН в 2011-2019 годах. Этот показатель учитывает качество журнала, в котором публикуется статья, а также долю организации в этой статье.

Представлены графики для следующих институтов РАН:

Математический институт им. В.А. Стеклова РАН (Москва)
Институт математики им. С.Л. Соболева СО РАН (Новосибирск)
Физико-технический институт им. А.Ф. Иоффе РАН (Санкт-Петербург)
Физический институт им. П.Н. Лебедева РАН (Москва)
Институт прикладной физики РАН (Нижний Новгород)
Институт органической химии им. Н.Д. Зелинского РАН (Москва)
Институт катализа им. Г.К. Борескова СО РАН (Новосибирск)
Институт океанологии им. П.П. Ширшова РАН (Москва)
Институт цитологии и генетики СО РАН (Новосибирск)

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Как изменялся комплексный балл публикационной результативности (КБПР) у вузов проекта "5-100" и институтов РАН в 2011-2019 годах; представлены усреднённые показатели.

Балл КБПР учитывает качество журнала, в котором публикуется статья, а также долю организации в этой статье. Для сравнения добавлены усредненные показатели МГУ и СПбГУ, все графики независимо нормированы на показатель КБПР 2011 года (это значение принято за единицу).

1) Видно, что старт проекта "5-100" не изменил темпов роста КБПР у вузов. Однако, в 2013-2014 года начался рост показателя у институтов РАН.

2) В 2016-2017 годах рост КБПР большинства вузов остановился, в то время как у институтов РАН сохраняется медленный положительный тренд.

3) МГУ и СПбГУ на рассматриваемом отрезке развивались стабильно, темпы совпадают со средними темпами развития РАН.

Редакция НОП спешит поприветствовать нового врио ректора МФТИ, тонкого любителя женской красоты Дмитрия Ливанова.

Другие итоги проекта "5-100"
о которых забыла сказать Счётная палата

Что произошло с наукой в сильнейших вузах проекта "5-100" за 2013-2019 годы:

- публикационная активность выросла в 2-3 раза;
- вклад в публикуемые статьи упал в 2,5 раза;
- рост реальной научной продуктивности вузов составил около 60% и прекратился к 2017 году;
- ведущие институты РАН, которые в проекте не участвовали, показали такой же рост продуктивности;
- вероятно, значительная часть увеличения публикационной активности вузов связана с покупкой аффилиаций ведущих российских и зарубежных учёных.

Подробности и аргументы — в следующем посте. Базовые данные были собраны в совместном проекте каналов Русский research и Кипящий МИФИ, здесь и далее я привожу свою интерпретацию цифр, которая может отличаться от интерпретации коллег.

Проект "0.5 - 0.33"
кто написал десятки тысяч статей

Недавно Счётная палата опубликовала анализ проекта "5-100", который многим показался поверхностным. В частности, аудиторы сделали вывод о качественном росте университетской науки и формировании вузов-лидеров. Одно из оснований — это, безусловно, увеличение числа публикуемых научных статей. Однако, попытка глубже разобраться в теме приводит к главному незаданному вопросу: каков реальный вклад вуза в конкретную научную работу?

Единственный наукометрический инструмент, который позволяет приблизиться к ответу, — это Комплексный балл публикационной результативности (КБПР, вычисляется РИНЦ, см. портал elibrary.ru). При его расчёте учитывается не только качество журналов, но и список соавторов с аффилиациями в каждой статье: конкретная организация получает "очки" пропорционально своему вкладу в работу. Таким образом, в отличие от общего числа статей, суммарный показатель КБПР даёт более адекватное представление о продуктивности вуза или научного института.

Что говорят графики КБПР? Самый быстрый рост продуктивности наблюдался ещё до старта проекта "5-100", то есть в 2011-2013 годах. Затем рост стал замедляться и остановился (у большинства вузов) в 2016-2017 годах, в некоторых случаях сменившись падением. Как это соотносится с ростом валового числа статей?

Ответ простой: средняя доля вузов в публикуемых статьях неуклонно снижалась, упав, по моим примерным оценкам, в 2,5 раза, от 45-50% до 20% и ниже. Коллеги из Кипящего МИФИ склонны расценивать это позитивно, как результат построения более широких научных коллабораций. Рад бы согласиться, но не могу: во-первых, видел своими глазами покупку аффилиаций активных учёных (перечисление вуза в списке мест работы = премия). Во-вторых, по тем же примерным оценкам, к 2018 году среднее число сотрудников университета 5-100, участвующих в публикации, упало до 2/3 человека, а в ряде случаев — до 1/2 человека. Это напрямую указывает, что в значительной части статей вуз представлен одним "сотрудником" с 2-3 местами работы.

Как воспринимать эти данные? И почему рост коллабораций исследователей самих с собой пришелся на момент поступления финансирования по проекту "5-100"? Для понимания полезно полистать списки наиболее цитируемых статей университетов за 2015-2016 годы и найти там немало учёных-многостаночников, трудящихся одновременно в двух вузах Западной Европы, саудовском Университете короля Абдул-Азиза и, положим, Томском государственном университете. Выводы довольно однозначные.

Показательно, что за период 2013-2019 гг. ведущие институты РАН, которых проект "5-100" не касался напрямую, увеличили продуктивность на те же 60%. Более того, академические институты сохранили темпы роста в 2017-2019 годах, когда рост продуктивности университетов уже остановился. В институтах РАН число соавторов и вклады в публикуемые работы остаются стабильными (1,2-1,4 соавтора, дающие вклад порядка 35%). Близкую динамику демонстрируют МГУ и СПбГУ.

Значит ли это, что университеты проекта "5-100" накачали деньгами, которые ушли на покупку аффилиаций в статьях весом 0.5 или 0.33 человека? По моим представлениям, это действительно так в значительной части случаев. Были профинансированы даже не сами ведущие вузы, а сильнейшие внешние коллективы и отдельные учёные, которые и без проекта "5-100" не были обделены вниманием. Вероятно, где-то это принесло пользу в виде научных работ аспирантов и студентов, но далеко не везде.

Исчерпывающую информацию о формальной приписке аффилиаций в статьях мог бы дать РИНЦ, опубликовав сведения об изменении среднего числа соавторов статьи от каждой организации. При желании можно было бы проследить и траекторию перетекания аффилиаций вслед за крупными проектами. Очевидно, что эти данные уже собраны, так они были необходимы для вычисления КБПР. Могу лишь догадываться, что их обнародование решили отложить, чтобы проект "5-100" не пришлось переименовывать в проект "0.5" или даже "0.33".

Пришло время защитить вузовскую науку, не всё же критиковать. На днях Незыгарь cообщил, что Балтийский федеральный университет платит за публикацию статьи в журнале "Biomolecules" издательства MDPI (1800 евро, оплата почему-то прошла через 3 дня после публикации). Поясню, как это надо понимать:

- издательство MDPI специализируется на платной и быстрой публикации статей нормального качества, с реальной рецензией, так что откровенного мусора в их журналах нет (почти нет);

- репутация у издательства соответствующая: конечно, это не Nature или Science, но при необходимости там печатаются вполне приличные учёные;

- если БФУ официально оплачивает сотрудникам такие расходы, то это скорее плюс, который говорит о нормальной работе бухгалтерии в вузе (вероятнее всего, источник средств — это грант, которым распоряжаются сами авторы);

- действительно, публикационная гонка иногда застаёт врасплох самые сильные группы, заставляя выбирать дорогие и срочные журналы.

К слову, вклад сотрудников БФУ в публикацию — почти 50% (судя по аффилиациям). Как показывает исследование проекта "5-100", реальный вклад университетов в публикуемые статьи планомерно падал все последние годы. БФУ — скорее исключение из этого правила. Продолжение исследования, посвящённое вузам второй волны проекта "5-100", ждите в следующих постах.

О новом эксперименте по финансированию НИР/НИОКР
от подписчика

Минфин выложил проект постановления Правительства РФ об эксперименте 2021-2022 года по финансированию научно-исследовательских, опытно-конструкторских и технологических работ. Подписчик делится своим взглядом на документ.

"1. В эксперименте принимают участие Минфин, Минобрнауки, Минпромторг, ФМБА и РАН.

2. Появятся три новых методики определения уровня готовности технологий — в дополнение к тем, что уже существуют (вместо их доработки). Измерения готовности становятся более расплывчатыми.

3. Создаются новые экспертные советы. Это ещё больше фрагментирует научную политику, так как уже существуют советы по приоритетным направлениям научно-технологического развития РФ.

4. Из перечня базовых уровней готовности технологий исчезли поисковые исследования, а на прикладные исследования выделено 2 уровня. В документе прикладные исследования и экспериментальные разработки противопоставлены опытно-промышленному производству и коммерциализации.

5. Предлагаются новые обязательные требования для субсидий по проведению прикладных научных исследований и экспериментальных разработок:

- наличие подтвержденного письменно интереса от других организаций или письменное подтверждение обеспечения трансфера результатов со стороны получателя субсидий. Вероятно, спустя 2-4 года у получателей субсидий проверят исполнение этих обещаний;

- обязательное привлечение внебюджетных средств: от 70% до 100% от размера субсидии, в зависимости от уровня готовности технологии;

- для всего, кроме исследований по госзаданию, введены требования по объему полученной выручки или по внедрению в производство технологий, либо по достижению заранее заявленного уровня готовности (выглядят оторванными от реальности).

Надо заметить, что выручка и внедрение — это барьеры для любой науки (российской и иностранной), которые редко преодолеваются. Таким образом, обозначенные обещания не будут выполняться в большой доли случаев, что может приводить к возврату субсидий и не оставляет исследователям права на ошибку.

6. В документе есть прямой запрет предоставления субсидий на выполнение государственного (муниципального) задания по проведению прикладных научных исследований и экспериментальных разработок. На мой взгляд, это будет уменьшать долю российских исследователей, умеющих проводить прикладные научные исследования и выполнять экспериментальные разработки. Остаётся надеяться, что такие исследователи откроют свое дело, а не покинут профессию.

Кстати, запрет не касается исследований и разработок в области общественных и гуманитарных наук. Полагаю, за этой справедливой ремаркой стоят широко известные университеты.

В целом научный мир относительно быстро адаптируется к обстоятельствам, и теперь будет выгоднее удерживать низкий уровень готовности технологий для ухода от дополнительных обязательств. Для некоторых отраслей Постановление может быть рабочим, если произойдет отраслевое перераспределение университетов и научных организаций (о котором много раз писала Научная Каторга), а их учредители смогут обеспечить тесную связь науки и бизнеса.

На мой взгляд, несмотря на благие цели, в Постановлении допущена череда опасных промахов: задачи внедрения, трансфера, коммерциализации и софинансирования возлагаются на ученых, хотя от них решение зависит в минимальной степени. Более того, они же будут нести и ответственность за решение этой задачи (по типовым условиям — вплоть до полного возврата субсидии).

Думаю, в текущем виде Постановление снизит комфорт сотрудничества науки и государства, а также предсказуемость работы в науке. Если целью эксперимента является простой мониторинг, то выбраны не самые лучшие методы. Достаточно было бы построить такое наблюдение на базе ЕГИСУ НИОКТР, не вызывая шок у неподготовленной публики. Хочется верить, что Минобрнауки сможет взвешенно отреагировать на проект Постановления".

сложные отношения

В середине лета 1964 года Институт химической кинетики снарядил специальную экспедицию в Норильск для проверки эффективности этого чуда техники в деле убийства мошек

Мы с Кипящим МИФИ продолжаем смотреть с разных сторон на научные успехи российских университетов и научных институтов. В этот раз мы решили взглянуть на публикационные показатели мировых лидеров: Оксфорда, Стэнфорда, MIT, Сингапурского университета и др.

Конечно, сравнивать валовые показатели особого смысла не имеет: все выбранные университеты имеют, например, разное число сотрудников и их распределение по научным тематикам. Однако общее качество публикационной активности оценить можно: так, доля статей в журналах первого квартиля у мировых лидеров составляет 65-75%, а российских вузов МГУ и ВШЭ — лишь около 35%. Не менее сильная разница видна и в средней цитируемости одной статьи.

Особенно большие отличия проявляются при подсчёте доли публикаций в журналах высшего качества (топ-1%): здесь МГУ и ВШЭ появляются примерно в 7-10 раз реже. Удивительно, что это один из устойчивых показателей, который почти невозможно резко улучшить. Однако, если повернуть вопрос финансовой стороной — сравнить ещё и бюджеты университетов — то, уверен, картина станет не такой однозначной.

Учёные и преподаватели не ждут ничего хорошего от "просветительских" поправок в закон об образовании, которые были окончательно приняты Госдумой. По результатам опроса, более 70% респондентов ожидают негативного эффекта для популяризации науки, позитивного — лишь 3%. Остальные не готовы прогнозировать влияние поправок либо считают его нейтральным.

Опрос в канале Наука и университеты показал близкие результаты. Ранее против поправок высказались многие известные учёные и популяризаторы науки, Президиум РАН в полном составе и Счётная палата РФ.

Мои предложения для РИНЦ

Анализ публикационной активности вузов последних лет показывает, что реальный вклад организации в публикуемые работы становится более весомой характеристикой, чем само число статей. У топовых университетов происходят резкие скачки показателей: на фоне пяти- и даже десятикратного роста количества статей в течение нескольких лет, собственный вклад в публикации падает в 2-3 раза. К сожалению, имеющаяся статистика позволяет оценить происходящие изменения лишь косвенно.

Предлагаю Российскому индексу научного цитирования (РИНЦ) обратить внимание на соответствующие показатели и отобразить их динамику в сводной статистике по каждой организации на сайте elibrary.ru. Замечу, что почти все необходимые данные уже были собраны для расчёта КБПР. Ниже привожу конкретные предложения.

I. Базовый уровень

Отобразить в статистическом отчёте об организации:

- средний вклад организации в статью из ядра РИНЦ, по годам;
- средний вклад организации в статью в журнале первого квартиля WoS (Q1), по годам;
- то же для Q2, Q3, Q4;

- среднее число авторов из организации в статье из ядра РИНЦ, по годам;
- среднее число авторов из организации в статье в журнале первого квартиля WoS, по годам;
- то же для Q2, Q3, Q4.

Всё — с учётом числа указанных аффилиаций, как при подсчёте КБПР. Автор, указавший три места работы, идёт в зачёт с весом 1/3 и т.д.

II. Продвинутый анализ

В принципе, аналитической базы РИНЦ достаточно для нахождения потенциальных "купленных" аффилиаций. Пример подозрительной траектории: некто с хорошей публикационной активностью трудоустраивается в вуз в качестве второго или третьего места работы, это отражается в списке аффилиаций. Однако, в течение следующих лет среди соавторов так и не появляются сотрудники (аспиранты) данного вуза, т.е. совместные работы на самом деле не ведутся. Либо ведутся на таком незаметном уровне, что не дотягивают даже до пары статей.

Естественно, методика требует детальной настройки и ручной проверки многих прецедентов. И результаты по части II логичнее оставить для внутреннего пользования, либо публиковать в самом общем виде.

С одной стороны, попытки выявить такие практики могут казаться охотой на ведьм: отстаньте от больших учёных и вообще. С другой стороны, деньги, потраченные на выплаты западному профессору, могли бы пойти на финансирование настоящего персонала университета, пусть и с менее гламурными публикациями в результате.

В целом я уверен, что данные о самостоятельности публикаций (особенно наиболее рейтинговых) абсолютно необходимы для объективной оценки научных организаций , тем более — в условиях жесткой публикационной гонки. Предлагаю подумать над этими предложениями представителям РИНЦ и, шире, тех ведомств, которые заинтересованы в понимании результатов крупных проектов по поддержке науки.