Проблемы воспроизводимости наукометрических исследований
Принцип воспроизводимости — один из основных критериев получения научного знания. Если результаты исследований невозможно воспроизвести, то зачастую это значит, что либо исследование проводится некорректно с методологической точки зрения, либо авторы изначально преследуют недобросовестные цели. В XXI веке проблема воспроизводимости обсуждается широко, во многом этой дискуссии поспособствовал выход эссе «Why Most Published Research Findings Are False» Джона Иоаннидиса в 2005 году. По результатам опроса, опубликованным в Nature в 2016 году, более 70% ученых безуспешно пробовали воспроизвести чужие эксперименты, а более 50% не смогли воспроизвести свои собственные.
Кризис воспроизводимости, прежде всего, касается медицины, биологии, психологии, а также ряда социальных наук, однако в действительности является междисциплинарным. В 2017 году на семинаре ISSI в Ухане была инициирована дискуссия о воспроизводимости результатов исследований в области наукометрии, а в 2018 на конференции в Лейдене авторы представили исследование, в котором попытались подытожить более ранние выводы, а также очертить основные проблемы, с которыми сталкивается наукометрия в связи с затронутой проблемой.
В первой части статьи говорится о непосредственной воспроизводимости (direct reproducibility), под которой понимается возможность воспроизведения результата, идентичного исходному исследованию, при условии использования тех же данных, инструментов и методов. Среди вероятных причин невоспроизводимости, помимо некорректной методологии и намеренного злоупотребления, авторы называют случайные ошибки, завышение значимости результатов и предвзятость при публикации.
Вторая часть статьи посвящена концептуальной воспроизводимости (conceptual reproducibility). Это проверка третьей стороной надежности исследования путем воспроизведения исходных утверждений с использованием альтернативных данных, методов и процедур. Основное внимание уделяется интерпретации данных и обоснованности доказательств, полученных на основе этих данных.
В своем исследовании авторы сформулировали «таксономию рисков»: набор характеристик статьи, которые следует проверить, чтобы иметь возможность предположить концептуальную воспроизводимость статьи. Все они делятся на три категории:
1. Оперативные предположения и решения:
• выбор данных,
• моделирование данных,
• аналитический подход;
2. Контроль качества:
• полнота и консистентность первичных данных,
• выбор параметров, обеспечивающий стабильность результатов;
3. Описание результатов:
• описание ограничений,
• утверждения ссылаются на эмпирические результаты,
• обсуждение точности, ошибок измерений и влияния случайности.
В работе использовались несколько типов наукометрических статей в зависимости от предмета исследования: 1. Теоретические, 2. Методологические, 3. Эмпирические (глобальные), 4. Эмпирические (частные случаи), 5. Эмпирические (источники наукометрических данных).
Перечисленные типы статей могут быть в большей или меньшей степени подвержены различным рискам нарушения воспроизводимости. Так, методологические работы достаточно уязвимы перед шумом в первичных данных, а эмпирические работы вызывают вопросы с точки зрения полноты и непротиворечивости данных: у статей в выборке либо полностью отсутствовало обсуждение данных и выбора параметров, либо, если оно присутствовало, не обсуждалось влияние возможных упущений на аргументацию статьи.
В работе, представленной на конференции, достаточно хорошо описывается нынешнее положение дел в плане оценки публикаций с точки зрения воспроизводимости данных, однако вопрос об алгоритмизации оценки ожидаемой воспроизводимости в наукометрии остается открытым — вероятно, так же, как и в других областях.
#воспроизводимость #наукометрия
Принцип воспроизводимости — один из основных критериев получения научного знания. Если результаты исследований невозможно воспроизвести, то зачастую это значит, что либо исследование проводится некорректно с методологической точки зрения, либо авторы изначально преследуют недобросовестные цели. В XXI веке проблема воспроизводимости обсуждается широко, во многом этой дискуссии поспособствовал выход эссе «Why Most Published Research Findings Are False» Джона Иоаннидиса в 2005 году. По результатам опроса, опубликованным в Nature в 2016 году, более 70% ученых безуспешно пробовали воспроизвести чужие эксперименты, а более 50% не смогли воспроизвести свои собственные.
Кризис воспроизводимости, прежде всего, касается медицины, биологии, психологии, а также ряда социальных наук, однако в действительности является междисциплинарным. В 2017 году на семинаре ISSI в Ухане была инициирована дискуссия о воспроизводимости результатов исследований в области наукометрии, а в 2018 на конференции в Лейдене авторы представили исследование, в котором попытались подытожить более ранние выводы, а также очертить основные проблемы, с которыми сталкивается наукометрия в связи с затронутой проблемой.
В первой части статьи говорится о непосредственной воспроизводимости (direct reproducibility), под которой понимается возможность воспроизведения результата, идентичного исходному исследованию, при условии использования тех же данных, инструментов и методов. Среди вероятных причин невоспроизводимости, помимо некорректной методологии и намеренного злоупотребления, авторы называют случайные ошибки, завышение значимости результатов и предвзятость при публикации.
Вторая часть статьи посвящена концептуальной воспроизводимости (conceptual reproducibility). Это проверка третьей стороной надежности исследования путем воспроизведения исходных утверждений с использованием альтернативных данных, методов и процедур. Основное внимание уделяется интерпретации данных и обоснованности доказательств, полученных на основе этих данных.
В своем исследовании авторы сформулировали «таксономию рисков»: набор характеристик статьи, которые следует проверить, чтобы иметь возможность предположить концептуальную воспроизводимость статьи. Все они делятся на три категории:
1. Оперативные предположения и решения:
• выбор данных,
• моделирование данных,
• аналитический подход;
2. Контроль качества:
• полнота и консистентность первичных данных,
• выбор параметров, обеспечивающий стабильность результатов;
3. Описание результатов:
• описание ограничений,
• утверждения ссылаются на эмпирические результаты,
• обсуждение точности, ошибок измерений и влияния случайности.
В работе использовались несколько типов наукометрических статей в зависимости от предмета исследования: 1. Теоретические, 2. Методологические, 3. Эмпирические (глобальные), 4. Эмпирические (частные случаи), 5. Эмпирические (источники наукометрических данных).
Перечисленные типы статей могут быть в большей или меньшей степени подвержены различным рискам нарушения воспроизводимости. Так, методологические работы достаточно уязвимы перед шумом в первичных данных, а эмпирические работы вызывают вопросы с точки зрения полноты и непротиворечивости данных: у статей в выборке либо полностью отсутствовало обсуждение данных и выбора параметров, либо, если оно присутствовало, не обсуждалось влияние возможных упущений на аргументацию статьи.
В работе, представленной на конференции, достаточно хорошо описывается нынешнее положение дел в плане оценки публикаций с точки зрения воспроизводимости данных, однако вопрос об алгоритмизации оценки ожидаемой воспроизводимости в наукометрии остается открытым — вероятно, так же, как и в других областях.
#воспроизводимость #наукометрия
PubMed Central (PMC)
Why Most Published Research Findings Are False
There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true ...
«Мертвые души» в соавторах
31 октября в некоторых странах в канун католического Дня всех святых широко отмечается Хэллоуин. Несмотря на неоднозначные реакции и отношение к его празднованию в России, сама дискуссия — хороший повод затронуть близкие к области death studies вопросы в контексте наукометрии. Сегодня мы рассмотрим кейс, касающийся посмертного авторства, на примере известного венгерского математика Пала Эрдёша (1913-1996).
Широкой публике он известен в первую очередь благодаря шуточному «числу Эрдёша» — рекуррентно определяемому показателю, который демонстрирует кратчайший путь соавторства от какого-либо ученого к самому Эрдёшу: например, у прямого соавтора Эрдёша показатель 1, у исследователя, пишущего в коллаборации с соавтором Эрдёша — 2, а ученые, от которых нельзя построить цепочку соавторств с Эрдёшем, имеют в качестве показателя бесконечность. По сути, можно сказать, что число Эрдёша — это число «рукопожатий» между соавторами (проверить, какое у вас число Эрдёша, вы можете в специальном сервисе).
В заметке 2011 года Вольфганг Гленцель (Wolfgang Glänzel) отмечает, что по разным причинам уже в 21 веке — в период от 3 до 10 лет после смерти П. Эрдёша — вышло 25 статей, которые указывали его как соавтора. Работу Гленцеля, в свою очередь, упоминает польский ученый Марек Космульски (Marek Kosmulski) в статье 2021 года в рамках исследования случаев фиктивного посмертного соавторства.
«Фиктивное авторство» — это форма научного мошенничества, в котором недобросовестные ученые поддельно приписываются к исследованию из корыстных соображений (например, наиболее распространенный случай: старший коллега принуждает младшего добавлять его в соавторы). В качестве случая крайнего злоупотребления соавторством Космульски приводит исследованный в статье 2020 года случай, названный «free-riding»: руководитель группы добавляет всех членов в качестве соавторов, и у последних зачастую нет права редактировать конечный вариант «их» текста.
Такая форма фиктивного соавторства, как посмертное, имеет свои особенности, т.к. усопший автор всегда более уязвим для манипуляций его именем. Для подобных случаев Космульски предлагает новое понятие — «некроавторство».
При этом Космульски подчеркивает, что не относит к фиктивному соавторству те случаи подлинного посмертного авторства, причиной которых стали:
• Технические проблемы: между отправкой и окончательной печатью прошло много времени.
• Финансовые проблемы: автор был слишком беден, чтобы покрыть расходы на печать, и не мог найти спонсоров.
• Цензура (например, государственная или издательская), и т. д., не позволившие опубликовать работу при жизни автора.
Чтобы обосновать границу легитимного указания на авторство, Космульски ссылается на критерии Международного комитета редакторов медицинских журналов (ICMJE):
• Существенный вклад в разработку концепции или дизайна работы, а также получение, анализ или интерпретация данных для работы,
• Подготовка проекта работы или ее критический пересмотр с учетом важного интеллектуального содержания,
• Окончательное утверждение версии для публикации,
• Согласие нести ответственность за все аспекты работы, чтобы вопросы, связанные с точностью или целостностью любой части работы, были надлежащим образом изучены и решены.
Если хотя бы один из критериев не выполнен, то возникает повод сомневаться в уместности указания соавторства.
По оценке автора «некроавторство» как форма научного мошенничества не является серьезной угрозой, так как почти не приносит реальной пользы. Однако он замечает, что в случае с менее известными учеными, чем П. Эрдёш, редакторы и рецензенты могут не иметь технической возможности узнать о кончине одного из авторов, что открывает пространство для манипуляций.
#обзор #журналы #некроавторство
31 октября в некоторых странах в канун католического Дня всех святых широко отмечается Хэллоуин. Несмотря на неоднозначные реакции и отношение к его празднованию в России, сама дискуссия — хороший повод затронуть близкие к области death studies вопросы в контексте наукометрии. Сегодня мы рассмотрим кейс, касающийся посмертного авторства, на примере известного венгерского математика Пала Эрдёша (1913-1996).
Широкой публике он известен в первую очередь благодаря шуточному «числу Эрдёша» — рекуррентно определяемому показателю, который демонстрирует кратчайший путь соавторства от какого-либо ученого к самому Эрдёшу: например, у прямого соавтора Эрдёша показатель 1, у исследователя, пишущего в коллаборации с соавтором Эрдёша — 2, а ученые, от которых нельзя построить цепочку соавторств с Эрдёшем, имеют в качестве показателя бесконечность. По сути, можно сказать, что число Эрдёша — это число «рукопожатий» между соавторами (проверить, какое у вас число Эрдёша, вы можете в специальном сервисе).
В заметке 2011 года Вольфганг Гленцель (Wolfgang Glänzel) отмечает, что по разным причинам уже в 21 веке — в период от 3 до 10 лет после смерти П. Эрдёша — вышло 25 статей, которые указывали его как соавтора. Работу Гленцеля, в свою очередь, упоминает польский ученый Марек Космульски (Marek Kosmulski) в статье 2021 года в рамках исследования случаев фиктивного посмертного соавторства.
«Фиктивное авторство» — это форма научного мошенничества, в котором недобросовестные ученые поддельно приписываются к исследованию из корыстных соображений (например, наиболее распространенный случай: старший коллега принуждает младшего добавлять его в соавторы). В качестве случая крайнего злоупотребления соавторством Космульски приводит исследованный в статье 2020 года случай, названный «free-riding»: руководитель группы добавляет всех членов в качестве соавторов, и у последних зачастую нет права редактировать конечный вариант «их» текста.
Такая форма фиктивного соавторства, как посмертное, имеет свои особенности, т.к. усопший автор всегда более уязвим для манипуляций его именем. Для подобных случаев Космульски предлагает новое понятие — «некроавторство».
При этом Космульски подчеркивает, что не относит к фиктивному соавторству те случаи подлинного посмертного авторства, причиной которых стали:
• Технические проблемы: между отправкой и окончательной печатью прошло много времени.
• Финансовые проблемы: автор был слишком беден, чтобы покрыть расходы на печать, и не мог найти спонсоров.
• Цензура (например, государственная или издательская), и т. д., не позволившие опубликовать работу при жизни автора.
Чтобы обосновать границу легитимного указания на авторство, Космульски ссылается на критерии Международного комитета редакторов медицинских журналов (ICMJE):
• Существенный вклад в разработку концепции или дизайна работы, а также получение, анализ или интерпретация данных для работы,
• Подготовка проекта работы или ее критический пересмотр с учетом важного интеллектуального содержания,
• Окончательное утверждение версии для публикации,
• Согласие нести ответственность за все аспекты работы, чтобы вопросы, связанные с точностью или целостностью любой части работы, были надлежащим образом изучены и решены.
Если хотя бы один из критериев не выполнен, то возникает повод сомневаться в уместности указания соавторства.
По оценке автора «некроавторство» как форма научного мошенничества не является серьезной угрозой, так как почти не приносит реальной пользы. Однако он замечает, что в случае с менее известными учеными, чем П. Эрдёш, редакторы и рецензенты могут не иметь технической возможности узнать о кончине одного из авторов, что открывает пространство для манипуляций.
#обзор #журналы #некроавторство
Сравнение некрологов, индексируемых в Web of Science и OpenAlex
Продолжая затронутую в предыдущем посте тему, мы решили подробнее посмотреть на биографии и некрологи, посвященные выдающимся исследователям. Подобный жанр относительно редко встречается в научных журналах: например, в статье, посвященной анализу биографических статей в WoS, говорится, что таких публикаций меньше 2% от общего числа индексируемых текстов. В это число также входят статьи, традиционно не относящиеся к жанру биографии (стенограммы лекций, обзорные материалы и т. п.).
В ходе анализа статей в хронологической выборке с 1945 по 2014 годы (всего рассмотренно 190 350 статей) авторы пришли к выводу о наличии определенных тенденций, касающихся гендерного и предметного распределения проанализированных данных.
Так, например, установлено, что 78,0% статей написаны о мужчинах, 15,8% — о женщинах, а в 6,1% случаев (11 689 статей) пол человека, которому посвящалась публикация, не был распознан. Пол автора статьи чаще всего не был связан с полом описываемого ученого: среди авторов и мужчины, и женщины в одинаковой степени писали чаще о мужчинах. Наибольшая доля статей о женщинах относилась к области искусств и гуманитарных наук (почти 24%), социальных наук (более 18%) и междисциплинарных наук (более 17%). Самая низкая доля была в науках о жизни и биомедицине (14%), а также в области технологий и физических наук (обе области — чуть больше 12%).
Несмотря на то, что научные статьи в областях естественных и биомедицинских наук обычно цитируются чаще, чем, например, в социальных науках, наибольшее среднее число цитирований биографических статей было обнаружено именно в области социальных наук.
С 2007 года происходит уменьшение количества биографических статей. Эту тенденцию можно объяснить развитием интернета и переходу от традиционных биографических статей к персональным веб-страницам организаций.
В нашем посте мы хотели бы обратить внимание на самую распространенную подкатегорию биографических статей — некрологи, которые составляют около 61% от общего числа таких статей. При этом более 45% из них были связаны с естественными науками, а гендерное распределение в этой категории примерно такое же, как и в обычных биографических статьях: 77% некрологов посвящены мужчинам, 15% — женщинам.
В OpenAlex в отличие от Web of Science нет отдельного типа публикации «biographical item», однако «biography» присутствует в списке концептов. Мы проанализировали более 100 тысяч публикаций, относящихся к этой категории, и отобрали среди них те, в заголовке которых указаны годы жизни деятеля, которому посвящена публикация. На основании этих данных, а также данных Web of Science по предметным областям журналов, мы построили диаграмму, на которой отображается медианное количество прожитых лет, а также квартильные значения по этому показателю по каждой из 6 областей ОЭСР. Средний возраст по всем областям — 63,9 лет.
#некрологи #webofscience #openalex
Продолжая затронутую в предыдущем посте тему, мы решили подробнее посмотреть на биографии и некрологи, посвященные выдающимся исследователям. Подобный жанр относительно редко встречается в научных журналах: например, в статье, посвященной анализу биографических статей в WoS, говорится, что таких публикаций меньше 2% от общего числа индексируемых текстов. В это число также входят статьи, традиционно не относящиеся к жанру биографии (стенограммы лекций, обзорные материалы и т. п.).
В ходе анализа статей в хронологической выборке с 1945 по 2014 годы (всего рассмотренно 190 350 статей) авторы пришли к выводу о наличии определенных тенденций, касающихся гендерного и предметного распределения проанализированных данных.
Так, например, установлено, что 78,0% статей написаны о мужчинах, 15,8% — о женщинах, а в 6,1% случаев (11 689 статей) пол человека, которому посвящалась публикация, не был распознан. Пол автора статьи чаще всего не был связан с полом описываемого ученого: среди авторов и мужчины, и женщины в одинаковой степени писали чаще о мужчинах. Наибольшая доля статей о женщинах относилась к области искусств и гуманитарных наук (почти 24%), социальных наук (более 18%) и междисциплинарных наук (более 17%). Самая низкая доля была в науках о жизни и биомедицине (14%), а также в области технологий и физических наук (обе области — чуть больше 12%).
Несмотря на то, что научные статьи в областях естественных и биомедицинских наук обычно цитируются чаще, чем, например, в социальных науках, наибольшее среднее число цитирований биографических статей было обнаружено именно в области социальных наук.
С 2007 года происходит уменьшение количества биографических статей. Эту тенденцию можно объяснить развитием интернета и переходу от традиционных биографических статей к персональным веб-страницам организаций.
В нашем посте мы хотели бы обратить внимание на самую распространенную подкатегорию биографических статей — некрологи, которые составляют около 61% от общего числа таких статей. При этом более 45% из них были связаны с естественными науками, а гендерное распределение в этой категории примерно такое же, как и в обычных биографических статьях: 77% некрологов посвящены мужчинам, 15% — женщинам.
В OpenAlex в отличие от Web of Science нет отдельного типа публикации «biographical item», однако «biography» присутствует в списке концептов. Мы проанализировали более 100 тысяч публикаций, относящихся к этой категории, и отобрали среди них те, в заголовке которых указаны годы жизни деятеля, которому посвящена публикация. На основании этих данных, а также данных Web of Science по предметным областям журналов, мы построили диаграмму, на которой отображается медианное количество прожитых лет, а также квартильные значения по этому показателю по каждой из 6 областей ОЭСР. Средний возраст по всем областям — 63,9 лет.
#некрологи #webofscience #openalex
Особенности наукометрической оценки в гуманитарных и естественных науках
В октябрьской статье Scholarly Kitchen, на фоне закрытия нескольких гуманитарных программ в Университете Западной Вирджинии, Карин Вульф в очередной раз поднимает вопрос о том, что применение моделей и требований, предъявляемых к STEM, в гуманитарных и социальных науках не только неуместно, но и нежелательно и даже опасно.
Действительно, часто приходится подчеркивать необходимость использования различных подходов, метрик и показателей при сравнении областей SSH (Social Sciences & Humanities) и STEM (Science, Technology, Engineering & Mathematics) — об особенностях оценки гуманитарных наук упоминается даже в нашем руководстве. Традиционные метрики, которые на сегодняшний день используются большинством библиометрических баз, рассчитаны преимущественно на естественные и инженерно-технические науки, тогда как в гуманитарных и социальных науках есть своя специфика: а) публикации часто представлены на родном языке, б) монографии составляют существенную долю в отдельных областях, в) в среднем число соавторов в областях SSH ниже, чем в STEM; г) темп выпуска новых публикаций в SSH также намного ниже (Waltman).
По этой причине нет универсального способа оценки публикационной активности, который был бы одинаково эффективен в отношении рассматриваемых укрупненных областей. В сегодняшнем посте мы предлагаем ознакомиться со статьей датского исследователя П. Мельхиорсена (P. Melchiorsen), посвященного особенностям библиометрии SSH и STEM.
В этой статье рассматриваются двое условных ученых, ведущих исследования в областях гуманитарных и технических наук, находящихся примерно на одной ступени научной карьеры и активности. Исследователь X публикует в основном материалы конференций в сборниках и журналах на английском языке. Среднее количество авторов публикаций — 4,2. Исследователь А пишет в основном на датском языке, но типы публикаций гораздо более разнообразны: это статьи, главы книг, книги, обзоры, комментарии и дебаты в журналах. Среднее количество авторов публикаций – 1,3. И у Х, и у А число публикаций заметно увеличивается до и в течение нескольких лет после назначения на должность профессора, а затем снова снижается.
Для анализа эффективности их работы предлагается использовать три типа индикаторов:
1. Основанные на публикациях:
1. Количество и типы публикаций;
2. Фракционный балл — для международных коллабораций и общий;
2. Основанные на цитированиях:
1. Индекс Хирша в WoS и Google Scholar;
2. Публикации в журналах из верхнего дециля по CiteScore;
3. FWCI;
3. Альтметрики:
1. Число скачиваний;
2. Число упоминаний в медиа;
3. Объем финансирования.
Все эти показатели рассчитывались для сотрудников подразделения, в которых работали рассматриваемые ученые. Полученные значения распределялись по квартилям (заметим, что в данном примере четвертый квартиль является наивысшим); для итоговой оценки использовался так называемый q-индекс, который представляет собой простую сумму квартилей по вышеприведенным показателям. Таким образом, максимально возможное значение q-индекса равно числу показателей, умноженному на 4.
На скриншоте приведены лепестковые диаграммы для рассматриваемых гипотетических исследователей. Несмотря на сильные различия в распределении преимуществ и в публикационных стратегиях, их q-индексы оказались близки друг другу: 35 у исследователя X и 37 у исследователя А.
На первый взгляд, такой подход выглядит достаточно привлекательным для ранжирования исследователей в рамках одного подразделения крупного университета или института, а также для последующего сравнения эффективности работы ученых из разных областей. Однако вопрос о том, как сравнивать ученых из различных институтов или даже стран, остается открытым. К тому же суммирование квартилей (пусть и в разрезе разных индикаторов) является скорее еще одним количественным формализованным подходом, подменяющим экспертное оценивание исследовательского вклада по модели «выше квартилей».
#SSH #STEM #обзор #руководство
В октябрьской статье Scholarly Kitchen, на фоне закрытия нескольких гуманитарных программ в Университете Западной Вирджинии, Карин Вульф в очередной раз поднимает вопрос о том, что применение моделей и требований, предъявляемых к STEM, в гуманитарных и социальных науках не только неуместно, но и нежелательно и даже опасно.
Действительно, часто приходится подчеркивать необходимость использования различных подходов, метрик и показателей при сравнении областей SSH (Social Sciences & Humanities) и STEM (Science, Technology, Engineering & Mathematics) — об особенностях оценки гуманитарных наук упоминается даже в нашем руководстве. Традиционные метрики, которые на сегодняшний день используются большинством библиометрических баз, рассчитаны преимущественно на естественные и инженерно-технические науки, тогда как в гуманитарных и социальных науках есть своя специфика: а) публикации часто представлены на родном языке, б) монографии составляют существенную долю в отдельных областях, в) в среднем число соавторов в областях SSH ниже, чем в STEM; г) темп выпуска новых публикаций в SSH также намного ниже (Waltman).
По этой причине нет универсального способа оценки публикационной активности, который был бы одинаково эффективен в отношении рассматриваемых укрупненных областей. В сегодняшнем посте мы предлагаем ознакомиться со статьей датского исследователя П. Мельхиорсена (P. Melchiorsen), посвященного особенностям библиометрии SSH и STEM.
В этой статье рассматриваются двое условных ученых, ведущих исследования в областях гуманитарных и технических наук, находящихся примерно на одной ступени научной карьеры и активности. Исследователь X публикует в основном материалы конференций в сборниках и журналах на английском языке. Среднее количество авторов публикаций — 4,2. Исследователь А пишет в основном на датском языке, но типы публикаций гораздо более разнообразны: это статьи, главы книг, книги, обзоры, комментарии и дебаты в журналах. Среднее количество авторов публикаций – 1,3. И у Х, и у А число публикаций заметно увеличивается до и в течение нескольких лет после назначения на должность профессора, а затем снова снижается.
Для анализа эффективности их работы предлагается использовать три типа индикаторов:
1. Основанные на публикациях:
1. Количество и типы публикаций;
2. Фракционный балл — для международных коллабораций и общий;
2. Основанные на цитированиях:
1. Индекс Хирша в WoS и Google Scholar;
2. Публикации в журналах из верхнего дециля по CiteScore;
3. FWCI;
3. Альтметрики:
1. Число скачиваний;
2. Число упоминаний в медиа;
3. Объем финансирования.
Все эти показатели рассчитывались для сотрудников подразделения, в которых работали рассматриваемые ученые. Полученные значения распределялись по квартилям (заметим, что в данном примере четвертый квартиль является наивысшим); для итоговой оценки использовался так называемый q-индекс, который представляет собой простую сумму квартилей по вышеприведенным показателям. Таким образом, максимально возможное значение q-индекса равно числу показателей, умноженному на 4.
На скриншоте приведены лепестковые диаграммы для рассматриваемых гипотетических исследователей. Несмотря на сильные различия в распределении преимуществ и в публикационных стратегиях, их q-индексы оказались близки друг другу: 35 у исследователя X и 37 у исследователя А.
На первый взгляд, такой подход выглядит достаточно привлекательным для ранжирования исследователей в рамках одного подразделения крупного университета или института, а также для последующего сравнения эффективности работы ученых из разных областей. Однако вопрос о том, как сравнивать ученых из различных институтов или даже стран, остается открытым. К тому же суммирование квартилей (пусть и в разрезе разных индикаторов) является скорее еще одним количественным формализованным подходом, подменяющим экспертное оценивание исследовательского вклада по модели «выше квартилей».
#SSH #STEM #обзор #руководство
Семинар НЦ НИУ ВШЭ: Открытый воспроизводимый датасет публикационных метрик России
Рады пригласить всех на очередной семинар Наукометрического центра, который пройдет онлайн во вторник 14 ноября в 16:00.
На семинаре советник проректора НИУ ВШЭ Иван Стерлигов представит свой новый научный проект:
«Открытый воспроизводимый датасет публикационных метрик России».
Выступление будет состоять из двух частей. В первой будут продемонстрированы инструменты автоматического сбора датасета, позволяющие всем желающим легально получать и актуализировать множество метрик по России и другим странам, а также любым другим сущностям в БД Scopus.
Вторая часть будет посвящена самим показателям, в первую очередь их динамике в 2022-23 гг. Рассматриваются изменения в числе публикаций России в разрезах тематик и уровней селективности изданий в сравнении с рядом других стран, смена направлений и форматов международного соавторства, перемены в обслуживающих отечественную науку издательствах, динамика по совокупности российских изданий и отдельным ключевым международным журналам. В заключение приводятся аналогичные показатели по набору 20+ ведущих российских вузов и НИИ.
Семинар адресован в первую очередь науковедам и наукометристам, а также всем, интересующимся измерениями науки и происходящим с публикациями России и мира.
Требуется предварительная регистрация.
#анонс #вебинары
Рады пригласить всех на очередной семинар Наукометрического центра, который пройдет онлайн во вторник 14 ноября в 16:00.
На семинаре советник проректора НИУ ВШЭ Иван Стерлигов представит свой новый научный проект:
«Открытый воспроизводимый датасет публикационных метрик России».
Выступление будет состоять из двух частей. В первой будут продемонстрированы инструменты автоматического сбора датасета, позволяющие всем желающим легально получать и актуализировать множество метрик по России и другим странам, а также любым другим сущностям в БД Scopus.
Вторая часть будет посвящена самим показателям, в первую очередь их динамике в 2022-23 гг. Рассматриваются изменения в числе публикаций России в разрезах тематик и уровней селективности изданий в сравнении с рядом других стран, смена направлений и форматов международного соавторства, перемены в обслуживающих отечественную науку издательствах, динамика по совокупности российских изданий и отдельным ключевым международным журналам. В заключение приводятся аналогичные показатели по набору 20+ ведущих российских вузов и НИИ.
Семинар адресован в первую очередь науковедам и наукометристам, а также всем, интересующимся измерениями науки и происходящим с публикациями России и мира.
Требуется предварительная регистрация.
#анонс #вебинары
Mts-link.ru
Семинар НЦ НИУ ВШЭ. Открытый воспроизводимый датасет публикационных метрик России
Рады пригласить всех на очередной семинар Наукометрического центра, который пройдет онлайн во вторник 14 ноября в 16:00.
На семинаре советник проректора НИУ ВШЭ Иван Стерлигов представит свой новый научный проект: "Открытый воспроизводимый датасет публикационных…
На семинаре советник проректора НИУ ВШЭ Иван Стерлигов представит свой новый научный проект: "Открытый воспроизводимый датасет публикационных…
Позавчера состоялся онлайн-семинар, на котором Иван Стерлигов (ВШЭ) представил свой проект — открытый воспроизводимый датасет публикационных метрик России, а также продемонстрировал особенности работы с ним. Запись семинара и презентация доступна на нашем сайте и Youtube-канале.
Zenodo
Open and Reproducible Dataset of Bibliometric Indicators of Russia
Version 1. Data collected on 03-04 November 2023.by Ivan Sterligov, HSE University, ivan.sterligov@gmail.comSee readme.md for detailsThe dataset comes with python code that lets anyone collect and update all the data automatically, provided they set up a…
Цели устойчивого развития: сравнение исследований по Web of Science и OpenAlex
С тех пор как в 2015 году ООН представила «Цели в области устойчивого развития» (ЦУР) в качестве основной повестки на период до 2030 года, классификация исследовательских работ, содействующих выполнению поставленных целей, стала еще одним широко используемым подходом при анализе научного вклада и результативности. Для того, чтобы отметить вклад исследователей в достижение этих целей, в базах Scopus и WoS были введены специальные классификаторы, указывающие на реализацию какой из 17 целей направлено конкретное исследование. Такая схема позволила ученым оценить текущие объемы исследований в разрезе не только научных областей, но и ЦУР. Однако, можно задаться вопросом, насколько репрезентативны данные классификаторы?
Так, в 2020 году вышло крупное исследование, посвященное оценке разных подходов к определению связи исследований с ЦУР. В нем авторы указывают, что любое подобное исследование должно предполагать несколько этапов подготовки: (а) предварительная интерпретация тем и концепций ЦУР, (б) определение того, что подразумевается под “вкладом” в ЦУР, (в) преобразование концепций в поисковый запрос, который позволит найти публикации, внесшие вклад, и (г) выбор базы данных.
Исследователи отобрали статьи, которые напрямую заявляют о своем вкладе в ЦУР (т.к. оценить косвенный вклад крайне сложно), и сравнили получившиеся результаты с тем, что было реализовано при помощи SciVal компанией Elsevier. В результате они обнаружили большое расхождение полученных данных. Несмотря на то, что их собственный подход выявил примерно схожее с WoS количество статей, тем не менее, найденные разными подходами статьи совпадали только в 25-50% случаев (в отношении разных целей процент совпадения варьировался). Исходя из этих результатов, авторы статьи настаивают на том, что данные WoS, посвященные ЦУР, следует оценивать критически.
При этом 13 сентября команда OpenAlex анонсировала обновление схемы базы данных: среди прочего, были добавлены поля и баллы для обозначения силы связей с целями устойчивого развития; для разметки использовалась модель машинного обучения, основанная на репозитории Aurora Universities Network. Этот репозиторий содержит размеченные поисковые запросы, касающиеся реализации ЦУР. Мы решили воспользоваться этим, чтобы расширить и дополнить анализ приведенного исследования.
С этой целью сделали собственную выборку из OpenAlex. Первоначально были отобраны более 112 тысяч статей, для которых указана тематика (concept) «sustainable development goals», а из них выделены статьи, для которых сила связей с различными целями составляет не менее 0,6. Таких статей оказалось 21 300.
Наибольшее количество статей посвящены следующим целям:
- Цель №2 «ликвидация голода» (4536),
- Цель №8 «достойная работа и экономический рост» (4078),
- Мета-цель №17 «партнерство в интересах устойчивого развития» (3642),
- Цель №9 «индустриализация, инновации и инфраструктура» (2025).
Кроме того, мы выяснили, что 52% статей находятся в открытом доступе, при этом 65% из них имеет статус Gold OA.
Следует отметить, что статьи, отобранные таким образом, все-таки составляют неполный датасет, поскольку концепции присваиваются автоматически на основании заголовка и аннотации статьи. Таким образом, если в этих полях не указывались «цели устойчивого развития» в качестве термина, статья не попадала в нашу выборку.
Результат визуализирован в приведенной диаграмме. Предлагаем читателям сравнить показатели.
#цур #wos #openalex #обзор #журналы #инфографика
С тех пор как в 2015 году ООН представила «Цели в области устойчивого развития» (ЦУР) в качестве основной повестки на период до 2030 года, классификация исследовательских работ, содействующих выполнению поставленных целей, стала еще одним широко используемым подходом при анализе научного вклада и результативности. Для того, чтобы отметить вклад исследователей в достижение этих целей, в базах Scopus и WoS были введены специальные классификаторы, указывающие на реализацию какой из 17 целей направлено конкретное исследование. Такая схема позволила ученым оценить текущие объемы исследований в разрезе не только научных областей, но и ЦУР. Однако, можно задаться вопросом, насколько репрезентативны данные классификаторы?
Так, в 2020 году вышло крупное исследование, посвященное оценке разных подходов к определению связи исследований с ЦУР. В нем авторы указывают, что любое подобное исследование должно предполагать несколько этапов подготовки: (а) предварительная интерпретация тем и концепций ЦУР, (б) определение того, что подразумевается под “вкладом” в ЦУР, (в) преобразование концепций в поисковый запрос, который позволит найти публикации, внесшие вклад, и (г) выбор базы данных.
Исследователи отобрали статьи, которые напрямую заявляют о своем вкладе в ЦУР (т.к. оценить косвенный вклад крайне сложно), и сравнили получившиеся результаты с тем, что было реализовано при помощи SciVal компанией Elsevier. В результате они обнаружили большое расхождение полученных данных. Несмотря на то, что их собственный подход выявил примерно схожее с WoS количество статей, тем не менее, найденные разными подходами статьи совпадали только в 25-50% случаев (в отношении разных целей процент совпадения варьировался). Исходя из этих результатов, авторы статьи настаивают на том, что данные WoS, посвященные ЦУР, следует оценивать критически.
При этом 13 сентября команда OpenAlex анонсировала обновление схемы базы данных: среди прочего, были добавлены поля и баллы для обозначения силы связей с целями устойчивого развития; для разметки использовалась модель машинного обучения, основанная на репозитории Aurora Universities Network. Этот репозиторий содержит размеченные поисковые запросы, касающиеся реализации ЦУР. Мы решили воспользоваться этим, чтобы расширить и дополнить анализ приведенного исследования.
С этой целью сделали собственную выборку из OpenAlex. Первоначально были отобраны более 112 тысяч статей, для которых указана тематика (concept) «sustainable development goals», а из них выделены статьи, для которых сила связей с различными целями составляет не менее 0,6. Таких статей оказалось 21 300.
Наибольшее количество статей посвящены следующим целям:
- Цель №2 «ликвидация голода» (4536),
- Цель №8 «достойная работа и экономический рост» (4078),
- Мета-цель №17 «партнерство в интересах устойчивого развития» (3642),
- Цель №9 «индустриализация, инновации и инфраструктура» (2025).
Кроме того, мы выяснили, что 52% статей находятся в открытом доступе, при этом 65% из них имеет статус Gold OA.
Следует отметить, что статьи, отобранные таким образом, все-таки составляют неполный датасет, поскольку концепции присваиваются автоматически на основании заголовка и аннотации статьи. Таким образом, если в этих полях не указывались «цели устойчивого развития» в качестве термина, статья не попадала в нашу выборку.
Результат визуализирован в приведенной диаграмме. Предлагаем читателям сравнить показатели.
#цур #wos #openalex #обзор #журналы #инфографика
День рождения «Выше квартилей» — нам два года!
Сегодня нашему каналу исполняется ровно два года 🎉
Как и в прошлом году, мы составили подборку самых просматриваемых публикаций за прошедшее время. Если вы вдруг пропустили что-то, у вас есть возможность вернуться к этим постам по ссылкам:
1️⃣ Новое в руководстве: коллекция датасетов
2️⃣ Международный день женщин в науке
3️⃣ Изменения в квартилях журналов WoS
4️⃣ HSE SciBot — бот по поиску журналов в Списках Вышки
5️⃣ Новое в руководстве: раздел про OpenAlex
6️⃣ Может ли ChatGPT усилить эффект Матфея: на примере наук об окружающей среде
7️⃣ Насколько Crossref может быть полезен как инструмент библиографического поиска в сфере искусства и гуманитарных наук
8️⃣ Метрики изданий в Google Scholar
9️⃣ Соответствие журналов Белого списка квартилям журналов в Scopus и WoS
🔟 И снова про Twitter: если вашу работу твитнули, какова вероятность, что ее процитируют?
Наибольшую популярность неизменно получали анонсы вебинаров, которые проводились на базе Наукометрического центра. Записи всех вебинаров вы можете найти на нашем сайте.
И, конечно, следите за нашим каналом, чтобы не пропустить новые мероприятия!
Сегодня нашему каналу исполняется ровно два года 🎉
Как и в прошлом году, мы составили подборку самых просматриваемых публикаций за прошедшее время. Если вы вдруг пропустили что-то, у вас есть возможность вернуться к этим постам по ссылкам:
1️⃣ Новое в руководстве: коллекция датасетов
2️⃣ Международный день женщин в науке
3️⃣ Изменения в квартилях журналов WoS
4️⃣ HSE SciBot — бот по поиску журналов в Списках Вышки
5️⃣ Новое в руководстве: раздел про OpenAlex
6️⃣ Может ли ChatGPT усилить эффект Матфея: на примере наук об окружающей среде
7️⃣ Насколько Crossref может быть полезен как инструмент библиографического поиска в сфере искусства и гуманитарных наук
8️⃣ Метрики изданий в Google Scholar
9️⃣ Соответствие журналов Белого списка квартилям журналов в Scopus и WoS
🔟 И снова про Twitter: если вашу работу твитнули, какова вероятность, что ее процитируют?
Наибольшую популярность неизменно получали анонсы вебинаров, которые проводились на базе Наукометрического центра. Записи всех вебинаров вы можете найти на нашем сайте.
И, конечно, следите за нашим каналом, чтобы не пропустить новые мероприятия!
Цели устойчивого развития: внутренние и международные коллаборации
В продолжение нашего предыдущего поста о ЦУР, сегодня мы затронем тему международного партнерства и коллабораций и с этой целью обратимся к недавнему исследованию, посвященному разработке инструментов по поиску партнерств для выполнения ЦУР.
В статье указывается, что с момента оформления ЦУР большая часть усилий была направлена на выявление и оценку связей между секторами, разработку инструментов и сбор данных о взаимодействии ЦУР для политики и планирования. Но намного меньше внимания уделялось разработке методов и инструментов на основе фактических данных, которые бы ставили своей целью совершенствование подходов по внедрению коллабораций для выполнения ЦУР.
Хотя партнерства для устойчивого развития стали очень популярными и распространенными за последние два десятилетия, исследования показывают, что локальные негосударственные группы (университеты, компании, небольшие неправительственные организации, местные жители и организации на местном уровне) участвуют в реализации ЦУР недостаточно активно, так как такие партнерства являются сложными и дорогостоящими.
Используя инструменты OpenAlex, мы проанализировали распределение числа внутренних и международных коллабораций в публикациях, напрямую связанных с целями устойчивого развития. Результаты представлены на диаграмме.
Подавляющее большинство статей, напрямую касающихся устойчивого развития, — от 72% (Affordable and clean energy) до 83% (Peace, Justice and strong institutions) — пишутся в рамках внутренних коллабораций. Судя по всему международное сотрудничество наиболее характерно для целей, предполагающих активный обмен опытом и напрямую связанных с общемировым благополучием — «недорогостоящая и чистая энергия», «хорошее здоровье», «борьба с изменением климата». Внутренние коллаборации, напротив, предпочтительны в направлениях, тесно связанных с политикой конкретного государства — «мир, правосудие и эффективные институты», «качественное образование», «достойная работа и экономический рост».
#цур #openalex #обзор #инфографика
В продолжение нашего предыдущего поста о ЦУР, сегодня мы затронем тему международного партнерства и коллабораций и с этой целью обратимся к недавнему исследованию, посвященному разработке инструментов по поиску партнерств для выполнения ЦУР.
В статье указывается, что с момента оформления ЦУР большая часть усилий была направлена на выявление и оценку связей между секторами, разработку инструментов и сбор данных о взаимодействии ЦУР для политики и планирования. Но намного меньше внимания уделялось разработке методов и инструментов на основе фактических данных, которые бы ставили своей целью совершенствование подходов по внедрению коллабораций для выполнения ЦУР.
Хотя партнерства для устойчивого развития стали очень популярными и распространенными за последние два десятилетия, исследования показывают, что локальные негосударственные группы (университеты, компании, небольшие неправительственные организации, местные жители и организации на местном уровне) участвуют в реализации ЦУР недостаточно активно, так как такие партнерства являются сложными и дорогостоящими.
Используя инструменты OpenAlex, мы проанализировали распределение числа внутренних и международных коллабораций в публикациях, напрямую связанных с целями устойчивого развития. Результаты представлены на диаграмме.
Подавляющее большинство статей, напрямую касающихся устойчивого развития, — от 72% (Affordable and clean energy) до 83% (Peace, Justice and strong institutions) — пишутся в рамках внутренних коллабораций. Судя по всему международное сотрудничество наиболее характерно для целей, предполагающих активный обмен опытом и напрямую связанных с общемировым благополучием — «недорогостоящая и чистая энергия», «хорошее здоровье», «борьба с изменением климата». Внутренние коллаборации, напротив, предпочтительны в направлениях, тесно связанных с политикой конкретного государства — «мир, правосудие и эффективные институты», «качественное образование», «достойная работа и экономический рост».
#цур #openalex #обзор #инфографика
Наука без прорывов? Индекс революционности научных исследований (disruption index)
Известный исследователь Лутц Борманн в соавторстве со своим немецким коллегой совсем недавно опубликовал обзорную статью, посвященную индексу “революционности” или “прорыва” в науке (disruption index). В первой части статьи авторы подробно анализируют технические аспекты индекса и его вариантов, а в последующих — эффективность и ограничения. Поводом для обзора стали исследования в Nature, в которых обращалось внимание на снижение прорывного потенциала у новых научных работ и патентов.
Индекс прорыва используется для оценки влияния научных работ на появление подрывных инноваций — нововведений, которые обесценивают конкурентоспособные параметры благодаря уникальному преимуществу и тем самым создают новую рыночную парадигму.
При этом индекс прорыва следует отличать от индекса новизны. Последний, как отмечают авторы, основывается на представлении о том, что творчество — это не creatio ex nihilo (”творение из ничего”), а кумулятивный процесс, проявляющийся в нетипичных комбинациях предшествующего знания. С историей создания и принципом расчета индекса прорыва можно ознакомиться в работе Фанка и Оуэн-Смит, на которую ссылаются авторы.
В самой же обзорной статье приводится несколько наблюдений по теме индекса прорыва, основанных на анализе последних исследований в области:
1️⃣ В первую очередь исследователи обращают внимание на то, что прорыв и консолидация — противоположные понятия. Чем больше число статей, которые цитируют публикацию, но не ее источники, тем более прорывной ее следует считать: “Большие команды, как правило, проводят консолидирующие исследования, в то время как маленькие команды, как правило, выпускают революционные публикации” (Ву и др., 2019).
2️⃣ Свежие публикации по теме подтверждают, что всё больше исследователей пытаются интегрировать индекс прорыва в оценку влияния отдельных публикаций на научные области. Некоторые исследователи идут дальше и предлагают использовать индекс прорыва журналов (JDI) в качестве альтернативы традиционным показателям, таким как JIF (см. Цзян и Лю, 2023).
3️⃣ Снижение индекса прорыва свидетельствует не столько о том, что наука стагнирует, сколько об “инфляции цитирования”: на сдвиг в структуре сетей цитирования влияют такие факторы, как постепенное увеличение списков литературы и самоцитирование.
4️⃣ При этом на глобальном уровне наблюдается постоянное снижение средних показателей индекса прорыва во всех дисциплинах. Этот результат кажется неожиданным на фоне массового расширения глобальной научной системы в последние десятилетия.
Тенденция снижения числа прорывных исследований, как показывает обзор, подтверждается сегодня многими авторами, и это открывает пространство для новой научной дискуссии. В части обсуждения приведенной по теме литературы К. Лейбел и Л. Борманн подчеркивают, что выявленная тенденция стала заметной только благодаря введению индекса прорыва. На наш взгляд, пока неясно, как именно следует ее интерпретировать: говорит ли она о том, что наука в целом становится менее “прорывной” или, напротив, что смена парадигм становится для науки новой нормой.
По крайней мере один прорыв года, имеющий непосредственное отношение к науке, зафиксировать все же можно: словари Collins и Cambridge Dictionary связывают слова года с искусственным интеллектом (AI) на фоне популярности генеративных моделей.
#обзор #disruptionindex
Известный исследователь Лутц Борманн в соавторстве со своим немецким коллегой совсем недавно опубликовал обзорную статью, посвященную индексу “революционности” или “прорыва” в науке (disruption index). В первой части статьи авторы подробно анализируют технические аспекты индекса и его вариантов, а в последующих — эффективность и ограничения. Поводом для обзора стали исследования в Nature, в которых обращалось внимание на снижение прорывного потенциала у новых научных работ и патентов.
Индекс прорыва используется для оценки влияния научных работ на появление подрывных инноваций — нововведений, которые обесценивают конкурентоспособные параметры благодаря уникальному преимуществу и тем самым создают новую рыночную парадигму.
При этом индекс прорыва следует отличать от индекса новизны. Последний, как отмечают авторы, основывается на представлении о том, что творчество — это не creatio ex nihilo (”творение из ничего”), а кумулятивный процесс, проявляющийся в нетипичных комбинациях предшествующего знания. С историей создания и принципом расчета индекса прорыва можно ознакомиться в работе Фанка и Оуэн-Смит, на которую ссылаются авторы.
В самой же обзорной статье приводится несколько наблюдений по теме индекса прорыва, основанных на анализе последних исследований в области:
1️⃣ В первую очередь исследователи обращают внимание на то, что прорыв и консолидация — противоположные понятия. Чем больше число статей, которые цитируют публикацию, но не ее источники, тем более прорывной ее следует считать: “Большие команды, как правило, проводят консолидирующие исследования, в то время как маленькие команды, как правило, выпускают революционные публикации” (Ву и др., 2019).
2️⃣ Свежие публикации по теме подтверждают, что всё больше исследователей пытаются интегрировать индекс прорыва в оценку влияния отдельных публикаций на научные области. Некоторые исследователи идут дальше и предлагают использовать индекс прорыва журналов (JDI) в качестве альтернативы традиционным показателям, таким как JIF (см. Цзян и Лю, 2023).
3️⃣ Снижение индекса прорыва свидетельствует не столько о том, что наука стагнирует, сколько об “инфляции цитирования”: на сдвиг в структуре сетей цитирования влияют такие факторы, как постепенное увеличение списков литературы и самоцитирование.
4️⃣ При этом на глобальном уровне наблюдается постоянное снижение средних показателей индекса прорыва во всех дисциплинах. Этот результат кажется неожиданным на фоне массового расширения глобальной научной системы в последние десятилетия.
Тенденция снижения числа прорывных исследований, как показывает обзор, подтверждается сегодня многими авторами, и это открывает пространство для новой научной дискуссии. В части обсуждения приведенной по теме литературы К. Лейбел и Л. Борманн подчеркивают, что выявленная тенденция стала заметной только благодаря введению индекса прорыва. На наш взгляд, пока неясно, как именно следует ее интерпретировать: говорит ли она о том, что наука в целом становится менее “прорывной” или, напротив, что смена парадигм становится для науки новой нормой.
По крайней мере один прорыв года, имеющий непосредственное отношение к науке, зафиксировать все же можно: словари Collins и Cambridge Dictionary связывают слова года с искусственным интеллектом (AI) на фоне популярности генеративных моделей.
#обзор #disruptionindex
SpringerLink
What do we know about the disruption index in scientometrics? An overview of the literature
Scientometrics - The purpose of this paper is to provide a review of the literature on the original disruption index (DI1) and its variants in scientometrics. The DI1 has received much media...
Факторы развития карьеры молодых ученых
В рамках подготовки к студенческому фестивалю «Наука³», который пройдёт сегодня в Вышке, мы коснемся темы факторов, влияющих на развитие карьеры молодых ученых.
В прошлом месяце в Scientometrics вышло большое обзорное исследование, посвященное изучению различных показателей, используемых для прогнозирования будущего успеха исследователей, находящихся в начале академического пути. В работе Даниэль Ли (Danielle Lee) рассматривает публикации молодых исследователей с точки зрения: а) результата, требуемого от начинающего ученого, чтобы считаться успешным; б) детерминант, влияющих на данный результат.
В статье подчеркивается, что более половины из рассматриваемых в статье работ по теме ориентированы на рассмотрение показателей публикационной активности в качестве основного критерия эффективности: стратегия “publish or perish” продолжает доминировать в сознании многих исследователей.
Изучая критерии эффективности, автор приходит к выводу, что наиболее значимым фактором для будущего успеха является плодотворность молодого ученого в начале пути, в то время как совокупный импакт-фактор исследований почти не влияет на успешный старт карьеры в ранние годы: прогнозы развития молодых ученых, основанные на данном показателе, почти полностью совпадают с теми, при расчете которых авторы ориентируются на совокупность публикаций. Говоря о стратегии устойчивого карьерного пути, автор ссылается на исследования, которые указывают на “эффекта Матфея”: продолжительная и успешная карьера является результатом использования кумулятивных преимуществ опыта, репутации и социальных связей, а невозможность добиться прогресса на ранних этапах приводит к скорому закату научной карьеры.
Другим критически важным фактором в аспирантский период является влияние наставников и академических руководителей: их надзор в начале пути и наличие совместных работ положительно влияли на дальнейшую карьеру после получения ученой степени. Помимо прочего, наличие опытного наставника сокращало время, необходимое для получения руководящей академической должности, и повышало вероятность стать наставником самому.
При этом какие-то из факторов показали смешанные результаты: например, предоставление грантов значительно повысило продуктивность молодых биологов, однако для их коллег-медиков гранты не оказали никакого влияния.
Возвращаясь же к нашему анонсу, отметим, что на фестивале «Наука³» будет представлен и стенд Наукометрического центра. Приглашаем молодых ученых в атриум корпуса на Покровском бульваре с 15:00 до 18:00.
#обзор #анонс #молодыеученые
В рамках подготовки к студенческому фестивалю «Наука³», который пройдёт сегодня в Вышке, мы коснемся темы факторов, влияющих на развитие карьеры молодых ученых.
В прошлом месяце в Scientometrics вышло большое обзорное исследование, посвященное изучению различных показателей, используемых для прогнозирования будущего успеха исследователей, находящихся в начале академического пути. В работе Даниэль Ли (Danielle Lee) рассматривает публикации молодых исследователей с точки зрения: а) результата, требуемого от начинающего ученого, чтобы считаться успешным; б) детерминант, влияющих на данный результат.
В статье подчеркивается, что более половины из рассматриваемых в статье работ по теме ориентированы на рассмотрение показателей публикационной активности в качестве основного критерия эффективности: стратегия “publish or perish” продолжает доминировать в сознании многих исследователей.
Изучая критерии эффективности, автор приходит к выводу, что наиболее значимым фактором для будущего успеха является плодотворность молодого ученого в начале пути, в то время как совокупный импакт-фактор исследований почти не влияет на успешный старт карьеры в ранние годы: прогнозы развития молодых ученых, основанные на данном показателе, почти полностью совпадают с теми, при расчете которых авторы ориентируются на совокупность публикаций. Говоря о стратегии устойчивого карьерного пути, автор ссылается на исследования, которые указывают на “эффекта Матфея”: продолжительная и успешная карьера является результатом использования кумулятивных преимуществ опыта, репутации и социальных связей, а невозможность добиться прогресса на ранних этапах приводит к скорому закату научной карьеры.
Другим критически важным фактором в аспирантский период является влияние наставников и академических руководителей: их надзор в начале пути и наличие совместных работ положительно влияли на дальнейшую карьеру после получения ученой степени. Помимо прочего, наличие опытного наставника сокращало время, необходимое для получения руководящей академической должности, и повышало вероятность стать наставником самому.
При этом какие-то из факторов показали смешанные результаты: например, предоставление грантов значительно повысило продуктивность молодых биологов, однако для их коллег-медиков гранты не оказали никакого влияния.
Возвращаясь же к нашему анонсу, отметим, что на фестивале «Наука³» будет представлен и стенд Наукометрического центра. Приглашаем молодых ученых в атриум корпуса на Покровском бульваре с 15:00 до 18:00.
#обзор #анонс #молодыеученые
Telegram
Вышка для своих
1 декабря на Покровке пройдет фестиваль «Наука³»
Фестиваль науки НИУ ВШЭ — ежегодное событие студенческой научной жизни университета, которое проводится уже в шестой раз. В этом году идея фестиваля состоит в создании уникальной платформы, позволяющей студентам…
Фестиваль науки НИУ ВШЭ — ежегодное событие студенческой научной жизни университета, которое проводится уже в шестой раз. В этом году идея фестиваля состоит в создании уникальной платформы, позволяющей студентам…
Вымирающий жанр? О видимости и значимости рецензий на книги
На фоне цифровизации жанр книжных рецензий (“book review”), на первый взгляд, представляется вымирающим. Несмотря на очевидную пользу в виде обратной связи для авторов и повышения заметности обозреваемой работы книжному рецензированию как самостоятельной практике уделяется не такое пристальное внимание.
При этом уже сегодня такие материалы не имеют отдельной категории в регулярно рассматриваемых нами Scopus и OpenAlex (Web of Science выгодно отличается в этом аспекте от своих конкурентов). И если в первом случае они вовсе не представлены в базе, то во втором несмотря на формальную индексацию нельзя ни безболезненно выделить их среди журнальных статей, ни найти в метаданных ссылку на исходный материал, который находится в фокусе внимания рецензента.
В недавнем посте The Scholary Kitchen приводится рассуждение на тему несправедливого и несвоевременного обесценивания важности книжных рецензий. Поводом к посту стала статья с говорящим названием “In Defense of the Beleaguered Academic Book Review“, в которой выражается обеспокоенность тем, что время и труд, затраченные на написание рецензии, обычно оцениваются академическими управленцами недостаточно высоко. Автор статьи указывает, что ей как редактору журнала приходится сталкиваться с трудностями в поиске рецензентов вплоть до того, что некоторые университеты отговаривают своих сотрудников от обзоров книг, так как формальные показатели их попросту не учитывают. Статья призывает администрацию университетов пересмотреть существующую практику отказа преподавателей от написания книжных обзоров с целью отдать должное работе рецензента.
Общая же аргументация Джилл О’Нейлл (Jill O'Neill) из The Scholarly Kitchen строится вокруг того, что книжное рецензирование не должно рассматриваться в качестве побочного академического продукта, так как он выполняет необходимую функцию формирования общественного мнения и оценки на рынке. Помимо обмена мнениями между учеными книжные рецензии играют существенную роль в издательском или библиотечном деле, поставленном перед проблемой распространения новинок. Даже в случае приобретения книг по инициативе читателей, академические библиотеки зачастую осторожно подходят к расходованию средств. Отсутствие своевременных, содержательных комментариев к новым книгам создают, таким образом, проблемы для авторов, издательств и платформ.
А что же генеративные нейронные сети? Кажется, что именно они представляют основную угрозу для жанра в недалеком будущем. Взгляд автора заметки скорее можно назвать оптимистичным — AI пока что не может полноценно решить эту трудоемкую задачу. Хотя можно предположить, что довольно скоро AI может догнать по уровню по крайней мере тех молодых ученых, для которых написание книжной рецензии является входной точкой в мир академических публикаций.
#обзор #bookreview
На фоне цифровизации жанр книжных рецензий (“book review”), на первый взгляд, представляется вымирающим. Несмотря на очевидную пользу в виде обратной связи для авторов и повышения заметности обозреваемой работы книжному рецензированию как самостоятельной практике уделяется не такое пристальное внимание.
При этом уже сегодня такие материалы не имеют отдельной категории в регулярно рассматриваемых нами Scopus и OpenAlex (Web of Science выгодно отличается в этом аспекте от своих конкурентов). И если в первом случае они вовсе не представлены в базе, то во втором несмотря на формальную индексацию нельзя ни безболезненно выделить их среди журнальных статей, ни найти в метаданных ссылку на исходный материал, который находится в фокусе внимания рецензента.
В недавнем посте The Scholary Kitchen приводится рассуждение на тему несправедливого и несвоевременного обесценивания важности книжных рецензий. Поводом к посту стала статья с говорящим названием “In Defense of the Beleaguered Academic Book Review“, в которой выражается обеспокоенность тем, что время и труд, затраченные на написание рецензии, обычно оцениваются академическими управленцами недостаточно высоко. Автор статьи указывает, что ей как редактору журнала приходится сталкиваться с трудностями в поиске рецензентов вплоть до того, что некоторые университеты отговаривают своих сотрудников от обзоров книг, так как формальные показатели их попросту не учитывают. Статья призывает администрацию университетов пересмотреть существующую практику отказа преподавателей от написания книжных обзоров с целью отдать должное работе рецензента.
Общая же аргументация Джилл О’Нейлл (Jill O'Neill) из The Scholarly Kitchen строится вокруг того, что книжное рецензирование не должно рассматриваться в качестве побочного академического продукта, так как он выполняет необходимую функцию формирования общественного мнения и оценки на рынке. Помимо обмена мнениями между учеными книжные рецензии играют существенную роль в издательском или библиотечном деле, поставленном перед проблемой распространения новинок. Даже в случае приобретения книг по инициативе читателей, академические библиотеки зачастую осторожно подходят к расходованию средств. Отсутствие своевременных, содержательных комментариев к новым книгам создают, таким образом, проблемы для авторов, издательств и платформ.
А что же генеративные нейронные сети? Кажется, что именно они представляют основную угрозу для жанра в недалеком будущем. Взгляд автора заметки скорее можно назвать оптимистичным — AI пока что не может полноценно решить эту трудоемкую задачу. Хотя можно предположить, что довольно скоро AI может догнать по уровню по крайней мере тех молодых ученых, для которых написание книжной рецензии является входной точкой в мир академических публикаций.
#обзор #bookreview
The Scholarly Kitchen
The Necessity of Book Reviews - The Scholarly Kitchen
Is the scholar-to-scholar exchange found in book reviews still of value to the community? There is concern over their decline.
А Вы часто читаете книжные рецензии?
Anonymous Poll
22%
Да, читаю часто
74%
Читаю редко или не читаю вовсе
4%
Сам(а) их пишу
Les grands embrasements naissent de petites étincelles
На сайте Сорбонны опубликована новость о том, что ведущий университет Франции прекратил свою подписку на Web of Science, а также перестанет использовать другие библиометрические инструменты Clarivate в 2024 году. На выходных эту новость подхватили многие наши коллеги после заметки Ивана Бегтина.
Такое решение обусловлено тенденцией к переходу от проприетарных продуктов к открытым и бесплатным инструментам. Вместо WoS Сорбонна будет использовать OpenAlex, с которым университет собирается заключить партнерское соглашение. В будущем ожидается, что обе стороны возьмут на себя обязательства по сотрудничеству и улучшению качества данных, относящихся к Сорбонне.
Решение Сорбонны подпадает под общий тренд последних лет, связанный с Open Access. Так, в анонсе Сорбонны упоминается Лейденский CWTS Ranking, который также заявляет о приоритетности открытых данных, стремится к полной прозрачности и воспроизводимости своих рейтингов при помощи CrossRef и OpenAlex. Кроме того, Лейденский Университет анонсирует версию «открытого издания» своего рейтинга на базе OpenAlex в 2024 году.
Про OpenAlex в качестве потенциального конкурента библиометрических баз, доступных по подписке, довольно позитивно отзываются и другие университеты:
• Библиотеки HKU, HKUST, Сингапурского университета менеджмента и Университета Калгари публиковали обзорные статьи про OpenAlex с примерами составления API-запросов;
• О преимуществах использования OpenAlex писал университет Хьюстона;
• Лаборатория Утрехтского университета предлагает использовать данные базы в проекте FAIR data;
• Университет Милана официально ссылается на данные OpenAlex в отчетах о научно-исследовательской работе;
• Политехнический университет Каталонии (BarcelonaTech) использует данные базы в рамках мониторинга открытого доступа в каталонских университетах.
Как видно из приведенных заметок, обращение к открытым данных пока ограничивается лишь рекомендациями и инструкциями. Однако уже сейчас очевидно, что инициативу Сорбонны в перспективе могут разделить и другие ведущие университеты. Ведь большие пожары зарождаются из маленьких искр.
#анонсы #новости #открытыйдоступ #университеты #openalex
На сайте Сорбонны опубликована новость о том, что ведущий университет Франции прекратил свою подписку на Web of Science, а также перестанет использовать другие библиометрические инструменты Clarivate в 2024 году. На выходных эту новость подхватили многие наши коллеги после заметки Ивана Бегтина.
Такое решение обусловлено тенденцией к переходу от проприетарных продуктов к открытым и бесплатным инструментам. Вместо WoS Сорбонна будет использовать OpenAlex, с которым университет собирается заключить партнерское соглашение. В будущем ожидается, что обе стороны возьмут на себя обязательства по сотрудничеству и улучшению качества данных, относящихся к Сорбонне.
Решение Сорбонны подпадает под общий тренд последних лет, связанный с Open Access. Так, в анонсе Сорбонны упоминается Лейденский CWTS Ranking, который также заявляет о приоритетности открытых данных, стремится к полной прозрачности и воспроизводимости своих рейтингов при помощи CrossRef и OpenAlex. Кроме того, Лейденский Университет анонсирует версию «открытого издания» своего рейтинга на базе OpenAlex в 2024 году.
Про OpenAlex в качестве потенциального конкурента библиометрических баз, доступных по подписке, довольно позитивно отзываются и другие университеты:
• Библиотеки HKU, HKUST, Сингапурского университета менеджмента и Университета Калгари публиковали обзорные статьи про OpenAlex с примерами составления API-запросов;
• О преимуществах использования OpenAlex писал университет Хьюстона;
• Лаборатория Утрехтского университета предлагает использовать данные базы в проекте FAIR data;
• Университет Милана официально ссылается на данные OpenAlex в отчетах о научно-исследовательской работе;
• Политехнический университет Каталонии (BarcelonaTech) использует данные базы в рамках мониторинга открытого доступа в каталонских университетах.
Как видно из приведенных заметок, обращение к открытым данных пока ограничивается лишь рекомендациями и инструкциями. Однако уже сейчас очевидно, что инициативу Сорбонны в перспективе могут разделить и другие ведущие университеты. Ведь большие пожары зарождаются из маленьких искр.
#анонсы #новости #открытыйдоступ #университеты #openalex
Алгоритмы анализа междисциплинарных исследований
Количественный анализ междисциплинарных исследований имеет значение при оценке степени интеграции различных гипотез, концепций, теорий и методов из двух и более областей специализированного знания.
Одним из наиболее дискуссионных подходов к изучению междисциплинарности исследований является анализ списка источников публикаций. При таком подходе список источников классифицируется по дисциплинам. Как правило, исследователи используют тематические классификаторы (например, предметные категории Web of Science) или распределяют источники по предметным категориям журналов. Такой подход базируется на информации о сходстве или «когнитивной дистанции», т.е. интеграция идей из двух схожих областей будет оказывать меньшее влияние на степень междисциплинарности, чем интеграция из двух несхожих.
Для измерения междисциплинарности публикаций ученые используют показатель разнообразия Стирлинга и/или его усовершенствованные версии. Согласно его концепции, измерение разнообразия опирается на сумму трёх основных факторов:
• Разнообразие (variety) «Разнообразие — это количество категорий, по которым распределены элементы системы и ответ на вопрос: «Сколько у нас типов вещей?».
• Баланс (balance). «Чем более равномерен баланс, тем больше разнообразие».
• Несоответствие (disparity). «Это ответ на вопрос: «Насколько отличаются друг от друга типы вещей, которые у нас есть?» (Stirling A. A, 2007)
Прежде чем приступать к анализу разнообразия и баланса, мы решили проанализировать соответствие предметных областей Citation Topic (Web of Science) и OA concepts (OpenAlex). Список Citation Topic разделяется на макро-, мезо- и микро-уровень. Микро-уровень, который мы решили рассматривать, насчитывает 2488 областей — это, пожалуй, один из самых подробных классификаторов после списка концепций OpenAlex, который содержит более 65 тысяч предметных областей пяти различных уровней. Однако только для 1871 микро-области (75%) Citation Topic нашлось достаточно точное соответствие из списка концепций OpenAlex.
Напомним, что концепции OpenAlex присваиваются публикациям автоматически на основании названия журнала, заголовка и аннотации статьи. Каждой публикации присваивается несколько концепций, а для каждой концепции указывается балл связи (score) от 0 до 1, который свидетельствует о том, с какой вероятностью статья относится к указанной предметной области.
Для анализа был взят набор из всех российских публикаций за 2023 год. В Web of Science их количество составило 40 126, в OpenAlex — 109 420. Было решено найти пересечение по DOI, и объем итогового массива составил 32 355 публикаций. Для этих публикаций были добавлены Citation Topic Micro и все концепции OA с баллом связи. Оказалось, что для большей части (26 854, или 83%) предметные области по этим классификаторам вообще не пересекаются. Результаты по оставшимся оказались, как и ожидалось, достаточно неплохими: медианное значение балла связи составило 0,65.
Итак, несмотря на то, что 75% Citation Topic Micro имеют одно или даже несколько соответствий среди концепций OpenAlex, на реальном массиве данных всего 17% статей имеют частичное совпадение в классификации.
Таким образом, применение разных типов распределения на предметные категории (Citation topics — алгоритм Лейдена, OpenAlex — Microsoft Academic Graph) будет значительно отражаться на результатах количественной оценки междисциплинарности.
#webofscience #openalex #citationtopic #междисциплинарность
Количественный анализ междисциплинарных исследований имеет значение при оценке степени интеграции различных гипотез, концепций, теорий и методов из двух и более областей специализированного знания.
Одним из наиболее дискуссионных подходов к изучению междисциплинарности исследований является анализ списка источников публикаций. При таком подходе список источников классифицируется по дисциплинам. Как правило, исследователи используют тематические классификаторы (например, предметные категории Web of Science) или распределяют источники по предметным категориям журналов. Такой подход базируется на информации о сходстве или «когнитивной дистанции», т.е. интеграция идей из двух схожих областей будет оказывать меньшее влияние на степень междисциплинарности, чем интеграция из двух несхожих.
Для измерения междисциплинарности публикаций ученые используют показатель разнообразия Стирлинга и/или его усовершенствованные версии. Согласно его концепции, измерение разнообразия опирается на сумму трёх основных факторов:
• Разнообразие (variety) «Разнообразие — это количество категорий, по которым распределены элементы системы и ответ на вопрос: «Сколько у нас типов вещей?».
• Баланс (balance). «Чем более равномерен баланс, тем больше разнообразие».
• Несоответствие (disparity). «Это ответ на вопрос: «Насколько отличаются друг от друга типы вещей, которые у нас есть?» (Stirling A. A, 2007)
Прежде чем приступать к анализу разнообразия и баланса, мы решили проанализировать соответствие предметных областей Citation Topic (Web of Science) и OA concepts (OpenAlex). Список Citation Topic разделяется на макро-, мезо- и микро-уровень. Микро-уровень, который мы решили рассматривать, насчитывает 2488 областей — это, пожалуй, один из самых подробных классификаторов после списка концепций OpenAlex, который содержит более 65 тысяч предметных областей пяти различных уровней. Однако только для 1871 микро-области (75%) Citation Topic нашлось достаточно точное соответствие из списка концепций OpenAlex.
Напомним, что концепции OpenAlex присваиваются публикациям автоматически на основании названия журнала, заголовка и аннотации статьи. Каждой публикации присваивается несколько концепций, а для каждой концепции указывается балл связи (score) от 0 до 1, который свидетельствует о том, с какой вероятностью статья относится к указанной предметной области.
Для анализа был взят набор из всех российских публикаций за 2023 год. В Web of Science их количество составило 40 126, в OpenAlex — 109 420. Было решено найти пересечение по DOI, и объем итогового массива составил 32 355 публикаций. Для этих публикаций были добавлены Citation Topic Micro и все концепции OA с баллом связи. Оказалось, что для большей части (26 854, или 83%) предметные области по этим классификаторам вообще не пересекаются. Результаты по оставшимся оказались, как и ожидалось, достаточно неплохими: медианное значение балла связи составило 0,65.
Итак, несмотря на то, что 75% Citation Topic Micro имеют одно или даже несколько соответствий среди концепций OpenAlex, на реальном массиве данных всего 17% статей имеют частичное совпадение в классификации.
Таким образом, применение разных типов распределения на предметные категории (Citation topics — алгоритм Лейдена, OpenAlex — Microsoft Academic Graph) будет значительно отражаться на результатах количественной оценки междисциплинарности.
#webofscience #openalex #citationtopic #междисциплинарность
Рост значимости и динамика цитирования препринтов
Научная коммуникация в цифровую эпоху существует не только в рамках традиционных журнальных публикаций, но и в новых форматах, один из которых — e-prints (электронные публикации). К e-prints относятся два типа публикаций, появление которых стало возможным благодаря цифровизации: препринты и постпринты. Различие в том, что постпринт — научный материал, прошедший рецензирование. Распространение постпринтов играет сегодня важную роль в продвижении открытой науки (Green OA).
В целом же выпуск e-prints позволяет сократить дистанцию от момента появления материала до его публикации. Рост скорости научной коммуникации и возможность комментирования, а также обсуждения результатов исследований помогают значительно улучшить качество публикаций на базе препринтов.
Старейший и наиболее известный архив препринтов ArXiv, запущенный в августе 1991 года, изначально использовался преимущественно для препринтов по физике, математике и информатике. Однако сейчас компьютерные науки (CS) явно лидируют по количеству опубликованных на площадке препринтов в год, о чем недавно писал в своем канале Иван Стерлигов.
Интерес к препринтам активно возрос в период пандемии COVID-19, что было вызвано критической необходимостью быстрого распространения результатов исследований. Двумя активно растущими площадками в области биомедицины являются bioRxiv5 (запущен в ноябре 2013 г.) и medRxiv6 (запущен в июне 2019 г.).
Подобная динамика в различных областях вызывает живой интерес и у специалистов в области наукометрии. Так, проведенный анализ показывает, что в период с 2007 по 2017 год 66% препринтов из области компьютерных наук в дальнейшем были опубликованы под тем же названием, 11% — со значительными изменениями названия, а более 20% препринтов не доходят до стадии публикации. Авторы отмечают, что большинство препринтов, которым удалось дойти до стадии статьи, обладали такими признаками как: подробная аннотация и введение, наличие соавторов, а также подробный список источников и качественная редактура. Помимо прочего, результаты исследования подтверждают тот факт, что наличие опубликованного материала в формате препринта повышает шансы на публикацию в рецензируемых изданиях.
В 2022 г. было опубликовано исследование цитируемости препринтов на основе набора публикаций из различных журналов PLOS, причем учитывался не только сам факт цитирования, но и еще и раздел, в котором ссылались на препринт по модели IMRaD — введение (introduction), методология (method), результаты (results) или обсуждение (discussion). Выяснилось, что препринты цитируются в разделе методологии значительно чаще (во всем наборе исследуемых статей — 2369 цитат), чем официальные публикации (1397), однако общая доля цитирования препринтов составляет немногим более 1,7% от общего количества цитат. При этом количество цитирований препринтов со временем заметно растет — на диаграмме из статьи приведен рост числа цитат в каждом из разделов за 15 лет. Судя по всему, новые методы, даже на этапе препринтов, привлекают относительно большое внимание исследователей, которые, возможно, выстраивают свою работу на их основе.
В Вышке между тем также действует программа по публикации препринтов — Издательским домом и в рамках Программы фундаментальных исследований. Кроме того, на сайте размещен список репозиториев, к которым могут обращаться представители разных областей.
#препринты #ArXiv #PLOS
Научная коммуникация в цифровую эпоху существует не только в рамках традиционных журнальных публикаций, но и в новых форматах, один из которых — e-prints (электронные публикации). К e-prints относятся два типа публикаций, появление которых стало возможным благодаря цифровизации: препринты и постпринты. Различие в том, что постпринт — научный материал, прошедший рецензирование. Распространение постпринтов играет сегодня важную роль в продвижении открытой науки (Green OA).
В целом же выпуск e-prints позволяет сократить дистанцию от момента появления материала до его публикации. Рост скорости научной коммуникации и возможность комментирования, а также обсуждения результатов исследований помогают значительно улучшить качество публикаций на базе препринтов.
Старейший и наиболее известный архив препринтов ArXiv, запущенный в августе 1991 года, изначально использовался преимущественно для препринтов по физике, математике и информатике. Однако сейчас компьютерные науки (CS) явно лидируют по количеству опубликованных на площадке препринтов в год, о чем недавно писал в своем канале Иван Стерлигов.
Интерес к препринтам активно возрос в период пандемии COVID-19, что было вызвано критической необходимостью быстрого распространения результатов исследований. Двумя активно растущими площадками в области биомедицины являются bioRxiv5 (запущен в ноябре 2013 г.) и medRxiv6 (запущен в июне 2019 г.).
Подобная динамика в различных областях вызывает живой интерес и у специалистов в области наукометрии. Так, проведенный анализ показывает, что в период с 2007 по 2017 год 66% препринтов из области компьютерных наук в дальнейшем были опубликованы под тем же названием, 11% — со значительными изменениями названия, а более 20% препринтов не доходят до стадии публикации. Авторы отмечают, что большинство препринтов, которым удалось дойти до стадии статьи, обладали такими признаками как: подробная аннотация и введение, наличие соавторов, а также подробный список источников и качественная редактура. Помимо прочего, результаты исследования подтверждают тот факт, что наличие опубликованного материала в формате препринта повышает шансы на публикацию в рецензируемых изданиях.
В 2022 г. было опубликовано исследование цитируемости препринтов на основе набора публикаций из различных журналов PLOS, причем учитывался не только сам факт цитирования, но и еще и раздел, в котором ссылались на препринт по модели IMRaD — введение (introduction), методология (method), результаты (results) или обсуждение (discussion). Выяснилось, что препринты цитируются в разделе методологии значительно чаще (во всем наборе исследуемых статей — 2369 цитат), чем официальные публикации (1397), однако общая доля цитирования препринтов составляет немногим более 1,7% от общего количества цитат. При этом количество цитирований препринтов со временем заметно растет — на диаграмме из статьи приведен рост числа цитат в каждом из разделов за 15 лет. Судя по всему, новые методы, даже на этапе препринтов, привлекают относительно большое внимание исследователей, которые, возможно, выстраивают свою работу на их основе.
В Вышке между тем также действует программа по публикации препринтов — Издательским домом и в рамках Программы фундаментальных исследований. Кроме того, на сайте размещен список репозиториев, к которым могут обращаться представители разных областей.
#препринты #ArXiv #PLOS
Рост числа гиперпродуктивных авторов в РФ
Недавнее письмо Иоаннидиса в Nature (ставшее закономерным продолжением работы 2018 г.), о росте числа гиперпродуктивных авторов привлекло широкое внимание. Россия относится к числу стран с максимальным приростом таких исследователей: если в работе 2018 г. упоминался только известный специалист по рентгеноструктурному анализу М.Ю. Антипин, умерший еще в 2013 г., то в версии этого года гиперпродуктивных авторов из России уже 10. Одно из очевидных объяснений, упоминаемых Иоаннидисом с соавторами — формалистские схемы оценки научной активности по числу публикаций. Такие схемы весьма распространены в странах с аномальным ростом числа гиперпродуктивных ученых.
Мы решили дополнить данные коллег по похожей методике, также воспользовавшись базой Scopus, и делимся датасетом наиболее продуктивных авторов публикаций с российской аффилиацией и с некоторыми дополнительными фильтрами:
- во-первых, считалось общее число публикаций у автора с 2015 до 2022 г. (данные собраны в январе 2023 г. и могут быть несколько ниже актуальных на сегодня);
- во-вторых, отсекались авторы из мегаколлабораций (>100 соавторов в среднем), а для остальных приводилось среднее число соавторов, число публикаций в разбивке по типам (для РФ важны труды конференций), средний уровень журнальных публикаций по Норвежскому национальному списку (1 — нормальный журнал, 2 — ведущий, 0 — неучитываемый), а также общее число цитирований учтенных публикаций. Последняя метрика дается сугубо справочно: абсолютное число цитирований нельзя использовать для сравнения ученых из разных областей с публикациями разных лет.
Также в датасете приводятся основные тематики работ, наиболее значимые источники (журналы и т.д.) и последние аффилиации (в разрезе организаций и стран), среднее число аффилиаций у автора и среднее число российских аффилиаций. Набор данных позволяет использовать для сравнения различные индикаторы, что согласуется с современными принципами применения наукометрии.
В качестве порога установлено число публикаций — не менее 200 за 2015-2022 гг. Таких авторов нашлось 124. Все они относятся к области естественных, точных или медицинских наук. 30 авторов имеют более 300 работ, 8 — более 400. 89 ученых работают в области химии, физики и материаловедения.
Отметим, что в списке немало крупных руководителей и главных редакторов журналов, а среди наиболее популярных журналов достаточно много платных, с облегченным рецензированием; кроме того, немало и авторов, предпочитающих конференции. Многие авторы в качестве основного места работы указывают иностранные организации, и, по предварительной информации, резко снизили сотрудничество с РФ после 2022 г., а увеличение числа публикаций за счет конференций осложнилось и отчасти потеряло актуальность в связи с действующим мораторием на показатели наличия публикаций в МНБД. С учетом всего вышеперечисленного, в обозримом будущем число гиперпродуктивных авторов вряд ли будет расти.
#датасеты #scopus #гиперпродуктивность
Недавнее письмо Иоаннидиса в Nature (ставшее закономерным продолжением работы 2018 г.), о росте числа гиперпродуктивных авторов привлекло широкое внимание. Россия относится к числу стран с максимальным приростом таких исследователей: если в работе 2018 г. упоминался только известный специалист по рентгеноструктурному анализу М.Ю. Антипин, умерший еще в 2013 г., то в версии этого года гиперпродуктивных авторов из России уже 10. Одно из очевидных объяснений, упоминаемых Иоаннидисом с соавторами — формалистские схемы оценки научной активности по числу публикаций. Такие схемы весьма распространены в странах с аномальным ростом числа гиперпродуктивных ученых.
Мы решили дополнить данные коллег по похожей методике, также воспользовавшись базой Scopus, и делимся датасетом наиболее продуктивных авторов публикаций с российской аффилиацией и с некоторыми дополнительными фильтрами:
- во-первых, считалось общее число публикаций у автора с 2015 до 2022 г. (данные собраны в январе 2023 г. и могут быть несколько ниже актуальных на сегодня);
- во-вторых, отсекались авторы из мегаколлабораций (>100 соавторов в среднем), а для остальных приводилось среднее число соавторов, число публикаций в разбивке по типам (для РФ важны труды конференций), средний уровень журнальных публикаций по Норвежскому национальному списку (1 — нормальный журнал, 2 — ведущий, 0 — неучитываемый), а также общее число цитирований учтенных публикаций. Последняя метрика дается сугубо справочно: абсолютное число цитирований нельзя использовать для сравнения ученых из разных областей с публикациями разных лет.
Также в датасете приводятся основные тематики работ, наиболее значимые источники (журналы и т.д.) и последние аффилиации (в разрезе организаций и стран), среднее число аффилиаций у автора и среднее число российских аффилиаций. Набор данных позволяет использовать для сравнения различные индикаторы, что согласуется с современными принципами применения наукометрии.
В качестве порога установлено число публикаций — не менее 200 за 2015-2022 гг. Таких авторов нашлось 124. Все они относятся к области естественных, точных или медицинских наук. 30 авторов имеют более 300 работ, 8 — более 400. 89 ученых работают в области химии, физики и материаловедения.
Отметим, что в списке немало крупных руководителей и главных редакторов журналов, а среди наиболее популярных журналов достаточно много платных, с облегченным рецензированием; кроме того, немало и авторов, предпочитающих конференции. Многие авторы в качестве основного места работы указывают иностранные организации, и, по предварительной информации, резко снизили сотрудничество с РФ после 2022 г., а увеличение числа публикаций за счет конференций осложнилось и отчасти потеряло актуальность в связи с действующим мораторием на показатели наличия публикаций в МНБД. С учетом всего вышеперечисленного, в обозримом будущем число гиперпродуктивных авторов вряд ли будет расти.
#датасеты #scopus #гиперпродуктивность
bioRxiv
Evolving patterns of extremely productive publishing behavior across science
We aimed to evaluate how many authors are extremely productive and how their presence across countries and scientific fields has changed during 2000-2022. Extremely productive (EP) authors were defined as those with >60 full papers (articles, reviews, conference…
Репозиторий НЦ на GitHub
В преддверии Нового Года хотим поделиться с вами нашим репозиторием на GitHub. Он содержит скрипты на R, при помощи которых производилось большинство расчетов и визуализаций в 2023 году, а также датасеты к ним. Репозиторий будет пополняться!
#github #инфографика
В преддверии Нового Года хотим поделиться с вами нашим репозиторием на GitHub. Он содержит скрипты на R, при помощи которых производилось большинство расчетов и визуализаций в 2023 году, а также датасеты к ним. Репозиторий будет пополняться!
#github #инфографика
GitHub
GitHub - HSE-SC/vyshek
Contribute to HSE-SC/vyshek development by creating an account on GitHub.
Выше квартилей: с Новым Годом!
Команда «Выше квартилей» от всей души поздравляет подписчиков с наступающим праздником! В 2024-ом году мы желаем вам продуктивности, вдохновения и энергии для реализации своих идей, а чисто профессионально — высокой цитируемости и дружелюбных рецензентов. Оставайтесь с нами!
Мы подвели итоги 2023 года и делимся ими с вами. А следующий наш пост - небольшой эксперимент. Как вы знаете, в прошедшем году генеративные нейросети стали одной из самых обсуждаемых тем. Мы собрали небольшой музыкальный альбом, посвященный науке и наукометрии, все композиции в котором созданы при помощи Suno.
Список треков (по ссылкам есть текст):
1. Объективная наука
2. Верхний Квартиль - Наша Наукометрия
3. Звезды Большого Публикационного Пути
4. Scientometric Solstice
5. Rise Above the Quartiles
6. Scientometric Countdown
7. Data, Jingle and Jazz
8. Scientometrics Christmas Party
Команда «Выше квартилей» от всей души поздравляет подписчиков с наступающим праздником! В 2024-ом году мы желаем вам продуктивности, вдохновения и энергии для реализации своих идей, а чисто профессионально — высокой цитируемости и дружелюбных рецензентов. Оставайтесь с нами!
Мы подвели итоги 2023 года и делимся ими с вами. А следующий наш пост - небольшой эксперимент. Как вы знаете, в прошедшем году генеративные нейросети стали одной из самых обсуждаемых тем. Мы собрали небольшой музыкальный альбом, посвященный науке и наукометрии, все композиции в котором созданы при помощи Suno.
Список треков (по ссылкам есть текст):
1. Объективная наука
2. Верхний Квартиль - Наша Наукометрия
3. Звезды Большого Публикационного Пути
4. Scientometric Solstice
5. Rise Above the Quartiles
6. Scientometric Countdown
7. Data, Jingle and Jazz
8. Scientometrics Christmas Party
