Насколько мы недооцениваем или переоцениваем свои публикации перед рецензированием?
Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.
Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:
• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.
Основные результаты опроса:
1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.
2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.
3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.
4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.
5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.
Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.
#обзор #рецензирование #журналы #конференции
Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.
Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:
• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.
Основные результаты опроса:
1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.
2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.
3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.
4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.
5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.
Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.
#обзор #рецензирование #журналы #конференции
Как рецензенты отбирают заявки для грантов в Европейском исследовательском совете
European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).
Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.
Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.
Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:
1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.
2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.
3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.
4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.
Читать далее
#обзор #рецензирование #гранты
European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).
Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.
Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.
Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:
1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.
2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.
3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.
4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.
Читать далее
#обзор #рецензирование #гранты
О гендерном балансе: эксперимент в рамках конкурса грантового финансирования
В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.
В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:
1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?
В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.
Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.
Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.
#обзор #рецензирование #гранты #женщины
В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.
В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:
1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?
В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.
Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.
Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.
#обзор #рецензирование #гранты #женщины
