Нецитируемые статьи в структуре научной коммуникации

В майском выпуске Journal of Informetrics вышла статья наших коллег из Вышки о нецитируемых статьях. В рамках исследования они выдвинули тезис о том, что нецитируемые публикации являются основой для построения особой формы научной коммуникации. Коллеги утверждают, что списки ссылок нецитируемых статей образуют динамическую систему, частично ответственную за перераспределение научного потенциала других публикаций в области.

В рамках исследования авторы обращались к базе данных INSPIRE, содержащей информацию о более чем 1,4 миллионах публикаций по физике высоких энергий. Окончательная выборка охватывает 729515 статей, опубликованных с 1970 по 2015 год.

Нецитируемые публикации обычно включают документы, которые по ряду причин не вписываются в стандарты современных баз данных. Часто к ним относятся статьи из журналов на иностранных языках, отличных от английского, книги и краткие сообщения, редакционные статьи. Сравнительное исследование языковых областей двух ведущих библиометрических баз данных показало, что 92,64% публикаций Scopus были на английском языке, а соответствующая доля в Web of Science составила 95,37%.

Кроме того, импакт-фактор журнала значительно коррелирует с коэффициентом нецитируемости. Например, в журналах первого квартиля (JCR Q1) коэффициент нецитируемости статей и обзоров составляет 1,7%, тогда как в журналах четвертого квартиля (JCR Q4) этот показатель уже равен 27,4%.

Сохраняются различия в нецитируемости и между дисциплинами. Как правило, самый высокий коэффициент нецитируемости наблюдается в гуманитарных науках.

Нужно учитывать и тот факт, что на некоторые открытия ссылаются без явного цитирования. В библиометрии это явление называется «вытеснение путем инкорпорации» (OBI — obliteration by incorporation): превращение определенных идей в универсально разделяемые без последующего цитирования. Такой тип цитирования не может быть извлечен из списков цитируемых ссылок. Для его обнаружения требуется полнотекстовый анализ. Вся эти схемы цитирования порождают нецитируемость.

Данные, полученные в ходе исследования, доказывают также, что высокоцитируемые статьи не являются прямыми противоположностями нецитируемых. Нецитируемые работы — это не ошибка исторического развития науки, а естественный результат непоследовательности и перекоса распределения вкладов в науку.

#обзор #вышка #цитирование

​​Нецитируемые статьи и их влияние на концентрацию цитирования

В продолжение поста про нецитируемые публикации в структуре научной коммуникации сегодня расскажем об исследовании влияния нецитируемых статей на концентрацию цитирования. Анализ коллег основан на метаданных о публикациях, извлеченных из основной коллекции WoS, охватывающей публикации с 1980 по 2020 год.

Для составления показателей концентрации коллеги используют два подхода: подход на основе цитирования и подход на основе ссылок. Подходы на основе цитирования и на основе ссылок различаются в отношении к статьям без ссылок. В подходе, основанном на цитировании, статьи без ссылок естественно включаются, поскольку процесс поиска данных начинается со всех статей, опубликованных в данном году. И наоборот, подход, основанный на ссылках, естественно исключает статьи без цитирования, поскольку анализ фокусируется на ссылках, сделанных в данном году. Кроме того, важно отметить, что количество нецитируемых статей имеет тенденцию к снижению с течением времени. Например, если рассматривать десятилетний период цитирования, то доля статей без ссылок снизилась с 34% в 1980 году до 11% в 2010 году среди всех статей в базе данных WoS, исключая самоцитирование.

Анализ показал, что наиболее надежным методом для анализа концентрации цитирования во времени является подход, основанный на цитировании, с учетом нецитируемых статей, с нормализацией по полю и году, а также с фиксированным временным окном. Необходимо также учитывать расширение библиометрических баз данных и эволюцию самоцитирования. Результаты этого метода показывают последовательное снижение концентрации цитирования.

Также было обнаружено, что различные регионы играют разную роль в своем вкладе в нецитируемость. Снижение относительной цитируемости статей Северной Америки и увеличение участия Европы и Азии влияет на структуру цитирования. В то время как Северная Америка по-прежнему составляет большую часть 1% самых цитируемых статей и производит много ссылок, которые получают эти статьи, ее роль среди статей, цитируемых только один раз, значительно ниже.

Выводы, сделанные в этой статье, подчеркивают важность учета нецитируемых статей и их потенциальное влияние на концентрацию цитирования.

#обзор #цитирование #wos

Факторы, влияющие на публикацию в открытом доступе: на примере Springer Nature

Мы уже писали о проблеме перехода к открытому доступу (OA) и связанной с ним плате за обработку статей (APC). Многие авторы не могут позволить себе оплатить эти взносы. Таким образом ОА может скорее усугублять существующее неравенство в системе публикаций, чем преодолевать его. Коллеги провели исследование и изучили 522 411 статей, опубликованных в издательстве Springer Nature, чтобы выявить взаимосвязь между авторами, принадлежащими к странам с разным уровнем дохода, их выбором модели публикации и влиянием их статей на цитируемость. Была обнаружена сильная корреляция между уровнем журнала и моделью публикации в золотых ОА-журналах, в то время как в гибридных журналах ОА-вариант в основном отсутствует. Также положительная корреляция между цитированием и публикацией в открытом доступе в 1,3 раза слабее в странах с высоким уровнем дохода, чем в других странах.

Результаты исследования показывают, что:

• авторы, имеющие право на освобождение от платы за обработку статей (APC), публикуются в золотых ОА-журналах чаще, чем другие,
• авторы, имеющие право на скидку APC, имеют наименьший коэффициент публикаций в ОА-журналах (что позволяет предположить, что данная скидка недостаточно мотивирует авторов публиковаться в золотых ОА-журналах),
• наиболее значимыми факторами при выборе модели OA являются уровень дохода в стране, трудовой стаж и опыт OA-публикаций, пол автора оказывает наименьшее влияние.

#обзор #открытыйдоступ #apc #scopus

«Призрак бродит по… журналам»: о последствиях использования GPT-моделей в качестве академического инструмента

ChatGPT от OpenAI, запущенный в конце ноября 2022, в последнее время находит всё больше применений в академической среде, о чем мы уже писали ранее. Он способен автоматизировать повторяющиеся задачи: например, генерировать код (правда не всегда актуальный для текущих версий пакетов), обобщать данные из нескольких научных статей, неплохо справляться с переводом текстов и даже перефразировать целые абзацы для большего соответствия академическому стилю. Однако у всего этого есть обратная сторона: во-первых, чат-боты, стремясь понравиться, зачастую выдают ложные факты за действительные, а во-вторых — могут недобросовестно использоваться самими авторами.

В недавней заметке в Scientometrics описывается одно из обнаруженных ограничений ChatGPT — склонность генерировать «призрачные» научные ссылки. Когда у чат-бота запрашивают библиографические ссылки по конкретной теме, он предоставляет правдоподобные результаты — это могут быть реальные названия статей, а в качестве источника публикации указываются названия ведущих журналов. Однако на практике выясняется, что таких статей никогда не существовало. Такие ссылки, сгенерированные при участии недобросовестных авторов, могут в конечном итоге попадать в научные публикации, особенно в тех издательствах, где процессы рецензирования слабы или вообще отсутствуют. Реальные же ссылки от GPT-моделей, вероятнее всего, усиливают эффект Матфея, о котором мы упоминали в одном из наших предыдущих постов.

Выявление таких «призрачных» ссылок — настоящий вызов для научного сообщества. Безусловно, полностью сгенерированная библиография вызовет вопросы у любого профессионала в области, однако отдельные аргументы, написанные при помощи GPT-моделей и ссылающиеся на несуществующие работы, могут с некоторой вероятностью тиражироваться в других исследованиях.

Мы же решили проверить описанный эффект сразу на трех моделях — ChatGPT, YandexGPT2 и GigaChat. Результаты вы можете видеть на скриншотах. Как и ожидалось, наиболее правдоподобные цитаты выдает ChatGPT. YandexGPT2 оказывается не менее изобретателен в создании новых публикаций: забывает о страницах, но упоминает реальных людей в качестве соавторов. А вот от GigaChat удается получить только библиографические сведения о журнале, без имен авторов и названия статей (вероятно, в данном случае использовались другие источники данных для обучения моделей).

#обзор #цитирование #искусственныйинтеллект #GPT

​О гендерном балансе: эксперимент в рамках конкурса грантового финансирования

В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.

В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:

1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?

В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.

Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.

Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.

#обзор #рецензирование #гранты #женщины

​Международный день распространения информации о болезни Альцгеймера

21 сентября во всем мире отмечается Международный день распространения информации о болезни Альцгеймера. Это нейродегенеративное заболевание является наиболее распространенным вариантом деменции (на его долю приходится около 60% случаев). Сейчас в мире насчитывается более 55 млн пациентов с этим диагнозом, и согласно прогнозу ВОЗ это число будет удваиваться каждые 20 лет.

Симптомы болезни Альцгеймера были впервые подробно описаны в 1907 году. С тех пор ведутся активные исследования по поиску возможных механизмов развития болезни, ее профилактики и лечения. Тем не менее ясности в отношении причин развития болезни и способов ее лечения все еще нет, равно как и нет лекарств с доказанной эффективностью.

Общественные затраты на поиск решений по преодолению последствий болезни Альцгеймера и деменции составляют существенную часть расходов систем здравоохранения. На исследовательскую работу в этой сфере выделяются также значительные суммы. Однако именно в случае с болезнью Альцгеймера несоблюдение академической этики стало началом большого скандала, о котором мы сегодня решили напомнить нашим читателям.

В 2006 году в Nature вышла статья, посвященная роли специфического белка Aβ*56 в ходе развития болезни Альцгеймера, за авторством Сильвена Лесне (Sylvain Lesné) и его коллег. Она завоевала популярность и в течение долгого времени оставалась наиболее авторитетной и влиятельной в этой области. Однако в 2022 году нейробиолог Мэтью Шрэг предоставил в NIH отчет, в котором выразил сомнения по поводу достоверности изображений, приводящихся в статье Лесне. Science опубликовал расследование научного журналиста Чарльза Пиллера, посвященное этому исследованию, что привело к настоящей буре в научных кругах. В итоге Nature добавили к статье предупреждение о том, что в настоящий момент проводят собственное расследование, а читателям рекомендуется с осторожностью относиться к содержимому статьи. Заметим, что за год, прошедший с начала скандала, статья так и не была отозвана ни редакцией, ни самими авторами.

Многие научные журналисты писали впоследствии о том, что сфальсифицированные результаты предопределили дальнейшие шаги в области и являлись сдерживающим фактором для проверки других гипотез. Мы решили посмотреть, насколько разветвленной оказалась сеть цитирований в рамках данного подхода. Для этого построили карту цитирований по ключевому слову “amyloid-β protein” в VOSviewer на базе OpenAlex для визуализации взаимосвязей между статьями. Отмеченное исследование (см. sylvain lesné (2006)) действительно оказалось в эпицентре научной дискуссии: в общей сложности статья 2006 года была процитирована более 2500 раз, а совокупно со связанными исследованиями публикационный граф разрастается до 27,5 тысяч наименований.

При этом заметим, что общая гипотеза, протестированная в том числе и в данной статье, всё еще является наиболее конструктивной. Надеемся, что внимательное и добросовестное отношение к проведению экспериментов и публикации результатов исследований поможет специалистам продвинуться в поисках эффективной терапии болезни Альцгеймера в ближайшие годы, особенно с учетом пристального внимания научных журналистов к данной теме.

#обзор #OpenAlex #VOSViewer #болезньальцгеймера

«Мертвые души» в соавторах

31 октября в некоторых странах в канун католического Дня всех святых широко отмечается Хэллоуин. Несмотря на неоднозначные реакции и отношение к его празднованию в России, сама дискуссия — хороший повод затронуть близкие к области death studies вопросы в контексте наукометрии. Сегодня мы рассмотрим кейс, касающийся посмертного авторства, на примере известного венгерского математика Пала Эрдёша (1913-1996).

Широкой публике он известен в первую очередь благодаря шуточному «числу Эрдёша» — рекуррентно определяемому показателю, который демонстрирует кратчайший путь соавторства от какого-либо ученого к самому Эрдёшу: например, у прямого соавтора Эрдёша показатель 1, у исследователя, пишущего в коллаборации с соавтором Эрдёша — 2, а ученые, от которых нельзя построить цепочку соавторств с Эрдёшем, имеют в качестве показателя бесконечность. По сути, можно сказать, что число Эрдёша — это число «рукопожатий» между соавторами (проверить, какое у вас число Эрдёша, вы можете в специальном сервисе).

В заметке 2011 года Вольфганг Гленцель (Wolfgang Glänzel) отмечает, что по разным причинам уже в 21 веке — в период от 3 до 10 лет после смерти П. Эрдёша — вышло 25 статей, которые указывали его как соавтора. Работу Гленцеля, в свою очередь, упоминает польский ученый Марек Космульски (Marek Kosmulski) в статье 2021 года в рамках исследования случаев фиктивного посмертного соавторства.

«Фиктивное авторство» — это форма научного мошенничества, в котором недобросовестные ученые поддельно приписываются к исследованию из корыстных соображений (например, наиболее распространенный случай: старший коллега принуждает младшего добавлять его в соавторы). В качестве случая крайнего злоупотребления соавторством Космульски приводит исследованный в статье 2020 года случай, названный «free-riding»: руководитель группы добавляет всех членов в качестве соавторов, и у последних зачастую нет права редактировать конечный вариант «их» текста.

Такая форма фиктивного соавторства, как посмертное, имеет свои особенности, т.к. усопший автор всегда более уязвим для манипуляций его именем. Для подобных случаев Космульски предлагает новое понятие — «некроавторство».

При этом Космульски подчеркивает, что не относит к фиктивному соавторству те случаи подлинного посмертного авторства, причиной которых стали:

• Технические проблемы: между отправкой и окончательной печатью прошло много времени.
• Финансовые проблемы: автор был слишком беден, чтобы покрыть расходы на печать, и не мог найти спонсоров.
• Цензура (например, государственная или издательская), и т. д., не позволившие опубликовать работу при жизни автора.

Чтобы обосновать границу легитимного указания на авторство, Космульски ссылается на критерии Международного комитета редакторов медицинских журналов (ICMJE):

• Существенный вклад в разработку концепции или дизайна работы, а также получение, анализ или интерпретация данных для работы,
• Подготовка проекта работы или ее критический пересмотр с учетом важного интеллектуального содержания,
• Окончательное утверждение версии для публикации,
• Согласие нести ответственность за все аспекты работы, чтобы вопросы, связанные с точностью или целостностью любой части работы, были надлежащим образом изучены и решены.

Если хотя бы один из критериев не выполнен, то возникает повод сомневаться в уместности указания соавторства.

По оценке автора «некроавторство» как форма научного мошенничества не является серьезной угрозой, так как почти не приносит реальной пользы. Однако он замечает, что в случае с менее известными учеными, чем П. Эрдёш, редакторы и рецензенты могут не иметь технической возможности узнать о кончине одного из авторов, что открывает пространство для манипуляций.

#обзор #журналы #некроавторство

​​Особенности наукометрической оценки в гуманитарных и естественных науках

В октябрьской статье Scholarly Kitchen, на фоне закрытия нескольких гуманитарных программ в Университете Западной Вирджинии, Карин Вульф в очередной раз поднимает вопрос о том, что применение моделей и требований, предъявляемых к STEM, в гуманитарных и социальных науках не только неуместно, но и нежелательно и даже опасно.

Действительно, часто приходится подчеркивать необходимость использования различных подходов, метрик и показателей при сравнении областей SSH (Social Sciences & Humanities) и STEM (Science, Technology, Engineering & Mathematics) — об особенностях оценки гуманитарных наук упоминается даже в нашем руководстве. Традиционные метрики, которые на сегодняшний день используются большинством библиометрических баз, рассчитаны преимущественно на естественные и инженерно-технические науки, тогда как в гуманитарных и социальных науках есть своя специфика: а) публикации часто представлены на родном языке, б) монографии составляют существенную долю в отдельных областях, в) в среднем число соавторов в областях SSH ниже, чем в STEM; г) темп выпуска новых публикаций в SSH также намного ниже (Waltman).

По этой причине нет универсального способа оценки публикационной активности, который был бы одинаково эффективен в отношении рассматриваемых укрупненных областей. В сегодняшнем посте мы предлагаем ознакомиться со статьей датского исследователя П. Мельхиорсена (P. Melchiorsen), посвященного особенностям библиометрии SSH и STEM.

В этой статье рассматриваются двое условных ученых, ведущих исследования в областях гуманитарных и технических наук, находящихся примерно на одной ступени научной карьеры и активности. Исследователь X публикует в основном материалы конференций в сборниках и журналах на английском языке. Среднее количество авторов публикаций — 4,2. Исследователь А пишет в основном на датском языке, но типы публикаций гораздо более разнообразны: это статьи, главы книг, книги, обзоры, комментарии и дебаты в журналах. Среднее количество авторов публикаций – 1,3. И у Х, и у А число публикаций заметно увеличивается до и в течение нескольких лет после назначения на должность профессора, а затем снова снижается.

Для анализа эффективности их работы предлагается использовать три типа индикаторов:

1. Основанные на публикациях:
1. Количество и типы публикаций;
2. Фракционный балл — для международных коллабораций и общий;
2. Основанные на цитированиях:
1. Индекс Хирша в WoS и Google Scholar;
2. Публикации в журналах из верхнего дециля по CiteScore;
3. FWCI;
3. Альтметрики:
1. Число скачиваний;
2. Число упоминаний в медиа;
3. Объем финансирования.

Все эти показатели рассчитывались для сотрудников подразделения, в которых работали рассматриваемые ученые. Полученные значения распределялись по квартилям (заметим, что в данном примере четвертый квартиль является наивысшим); для итоговой оценки использовался так называемый q-индекс, который представляет собой простую сумму квартилей по вышеприведенным показателям. Таким образом, максимально возможное значение q-индекса равно числу показателей, умноженному на 4.

На скриншоте приведены лепестковые диаграммы для рассматриваемых гипотетических исследователей. Несмотря на сильные различия в распределении преимуществ и в публикационных стратегиях, их q-индексы оказались близки друг другу: 35 у исследователя X и 37 у исследователя А.

На первый взгляд, такой подход выглядит достаточно привлекательным для ранжирования исследователей в рамках одного подразделения крупного университета или института, а также для последующего сравнения эффективности работы ученых из разных областей. Однако вопрос о том, как сравнивать ученых из различных институтов или даже стран, остается открытым. К тому же суммирование квартилей (пусть и в разрезе разных индикаторов) является скорее еще одним количественным формализованным подходом, подменяющим экспертное оценивание исследовательского вклада по модели «выше квартилей».

#SSH #STEM #обзор #руководство

Цели устойчивого развития: сравнение исследований по Web of Science и OpenAlex

С тех пор как в 2015 году ООН представила «Цели в области устойчивого развития» (ЦУР) в качестве основной повестки на период до 2030 года, классификация исследовательских работ, содействующих выполнению поставленных целей, стала еще одним широко используемым подходом при анализе научного вклада и результативности. Для того, чтобы отметить вклад исследователей в достижение этих целей, в базах Scopus и WoS были введены специальные классификаторы, указывающие на реализацию какой из 17 целей направлено конкретное исследование. Такая схема позволила ученым оценить текущие объемы исследований в разрезе не только научных областей, но и ЦУР. Однако, можно задаться вопросом, насколько репрезентативны данные классификаторы?

Так, в 2020 году вышло крупное исследование, посвященное оценке разных подходов к определению связи исследований с ЦУР. В нем авторы указывают, что любое подобное исследование должно предполагать несколько этапов подготовки: (а) предварительная интерпретация тем и концепций ЦУР, (б) определение того, что подразумевается под “вкладом” в ЦУР, (в) преобразование концепций в поисковый запрос, который позволит найти публикации, внесшие вклад, и (г) выбор базы данных.

Исследователи отобрали статьи, которые напрямую заявляют о своем вкладе в ЦУР (т.к. оценить косвенный вклад крайне сложно), и сравнили получившиеся результаты с тем, что было реализовано при помощи SciVal компанией Elsevier. В результате они обнаружили большое расхождение полученных данных. Несмотря на то, что их собственный подход выявил примерно схожее с WoS количество статей, тем не менее, найденные разными подходами статьи совпадали только в 25-50% случаев (в отношении разных целей процент совпадения варьировался). Исходя из этих результатов, авторы статьи настаивают на том, что данные WoS, посвященные ЦУР, следует оценивать критически.

При этом 13 сентября команда OpenAlex анонсировала обновление схемы базы данных: среди прочего, были добавлены поля и баллы для обозначения силы связей с целями устойчивого развития; для разметки использовалась модель машинного обучения, основанная на репозитории Aurora Universities Network. Этот репозиторий содержит размеченные поисковые запросы, касающиеся реализации ЦУР. Мы решили воспользоваться этим, чтобы расширить и дополнить анализ приведенного исследования.

С этой целью сделали собственную выборку из OpenAlex. Первоначально были отобраны более 112 тысяч статей, для которых указана тематика (concept) «sustainable development goals», а из них выделены статьи, для которых сила связей с различными целями составляет не менее 0,6. Таких статей оказалось 21 300.

Наибольшее количество статей посвящены следующим целям:

- Цель №2 «ликвидация голода» (4536),
- Цель №8 «достойная работа и экономический рост» (4078),
- Мета-цель №17 «партнерство в интересах устойчивого развития» (3642),
- Цель №9 «индустриализация, инновации и инфраструктура» (2025).

Кроме того, мы выяснили, что 52% статей находятся в открытом доступе, при этом 65% из них имеет статус Gold OA.

Следует отметить, что статьи, отобранные таким образом, все-таки составляют неполный датасет, поскольку концепции присваиваются автоматически на основании заголовка и аннотации статьи. Таким образом, если в этих полях не указывались «цели устойчивого развития» в качестве термина, статья не попадала в нашу выборку.

Результат визуализирован в приведенной диаграмме. Предлагаем читателям сравнить показатели.

#цур #wos #openalex #обзор #журналы #инфографика