Взгляд из МРТ
#methods
Публикация: Frey, M., Nau, M., & Doeller, C. F. (2021). Magnetic resonance-based eye tracking using deep neural networks (pp. 1-8). Nature Publishing Group.
Недавно в Nature Neuroscience предложили новый метод реконструкции движения глаз DeepMReye. Поскольку движение глаз является важным поведенческим маркером процессов восприятия, внимания, речевой обработки и т. д., сочетание регистрации движения глаз (айтрекинга) и активности мозга может быть очень информативным и с точки зрения интерпретации результатов, и с точки зрения учёта артефактов при записи.
В условиях использования фМРТ (функциональной магнитно-резонансной томографии) регистрация движения глаз усложняется из-за нахождения участника в сканере. Несмотря на существование совместимых с МРТ камер для айтрекинга, большая часть фМРТ-исследований не использует их из-за технических сложностей калибровки и прочих нюансов.
Авторы публикации предложили не регистрировать движения глаз напрямую, а реконструировать их из МРТ-сигнала глаз, поскольку в зависимости от направления взгляда меняется отображение глазных яблок и оптических нервов на фМРТ.
Ранее нахождение соответствия данных фМРТ и направления взгляда осуществлялось с помощью алгоритмов машинного обучения, тренируемых на калибровочных данных участников, которым предлагалось смотреть в различных направлениях. Новый метод более универсален: он обходится без такой калибровки и использует свёрточные нейронные сети, которые предсказывают направление взгляда, обучаясь на независимых параметрах (данных камеры айтрекинга или координат стимулов для фиксации взгляда).
Специфика DeepMReye позволяет применять его не только к новым данным фМРТ, но и к данным из прежних исследований, что открывает возможность не только для более глубокой поведенческой интерпретации, но и для исключения тех данных, в которых участники, например, смотрели не в ту сторону и нарушали инструкции.
Также предложенный метод сработал в случае, когда глаза участника были закрыты. Это позволяет использовать его для оценки функционирования зрительной системы в отсутствие стимуляции или во время фазы быстрого сна, характеризующейся выраженными движениями глазных яблок. Более того, потенциально DeepMReye может быть использован на данных слепых участников, стандартная регистрация движения глаз которых невозможна.
К ограничениям метода относится то, что он уступает по временному разрешению стандартному айтрекингу. Также для метода требуется включение данных глазных яблок в МРТ, что не всегда возможно, хотя в немалой части исследований данные присутствуют. В качестве альтернативного варианта авторы предлагают применять DeepMReye для декодирования движения глаз на основе непосредственно мозговой активности.
#methods
Публикация: Frey, M., Nau, M., & Doeller, C. F. (2021). Magnetic resonance-based eye tracking using deep neural networks (pp. 1-8). Nature Publishing Group.
Недавно в Nature Neuroscience предложили новый метод реконструкции движения глаз DeepMReye. Поскольку движение глаз является важным поведенческим маркером процессов восприятия, внимания, речевой обработки и т. д., сочетание регистрации движения глаз (айтрекинга) и активности мозга может быть очень информативным и с точки зрения интерпретации результатов, и с точки зрения учёта артефактов при записи.
В условиях использования фМРТ (функциональной магнитно-резонансной томографии) регистрация движения глаз усложняется из-за нахождения участника в сканере. Несмотря на существование совместимых с МРТ камер для айтрекинга, большая часть фМРТ-исследований не использует их из-за технических сложностей калибровки и прочих нюансов.
Авторы публикации предложили не регистрировать движения глаз напрямую, а реконструировать их из МРТ-сигнала глаз, поскольку в зависимости от направления взгляда меняется отображение глазных яблок и оптических нервов на фМРТ.
Ранее нахождение соответствия данных фМРТ и направления взгляда осуществлялось с помощью алгоритмов машинного обучения, тренируемых на калибровочных данных участников, которым предлагалось смотреть в различных направлениях. Новый метод более универсален: он обходится без такой калибровки и использует свёрточные нейронные сети, которые предсказывают направление взгляда, обучаясь на независимых параметрах (данных камеры айтрекинга или координат стимулов для фиксации взгляда).
Специфика DeepMReye позволяет применять его не только к новым данным фМРТ, но и к данным из прежних исследований, что открывает возможность не только для более глубокой поведенческой интерпретации, но и для исключения тех данных, в которых участники, например, смотрели не в ту сторону и нарушали инструкции.
Также предложенный метод сработал в случае, когда глаза участника были закрыты. Это позволяет использовать его для оценки функционирования зрительной системы в отсутствие стимуляции или во время фазы быстрого сна, характеризующейся выраженными движениями глазных яблок. Более того, потенциально DeepMReye может быть использован на данных слепых участников, стандартная регистрация движения глаз которых невозможна.
К ограничениям метода относится то, что он уступает по временному разрешению стандартному айтрекингу. Также для метода требуется включение данных глазных яблок в МРТ, что не всегда возможно, хотя в немалой части исследований данные присутствуют. В качестве альтернативного варианта авторы предлагают применять DeepMReye для декодирования движения глаз на основе непосредственно мозговой активности.
Nature
Magnetic resonance-based eye tracking using deep neural networks
Nature Neuroscience - Viewing behavior is a key variable of interest but also a confound in fMRI studies. This paper presents a deep learning framework to decode gaze position from the magnetic...
#skigeon_in_science #methods
Уже семь месяцев я веду этот Телеграм-канал, но ещё ни разу не касалась напрямую своих рабочих проектов. В ближайшее время я стану рассказывать о них больше, а пока что оставлю ссылку на сегодняшний пресс-релиз о нашей с коллегами недавно принятой к публикации в Journal of Neural Engineering статье про новый метод автоматической детекции патологической активности мозга у пациентов с эпилепсией.
Написание этой статьи — отдельная история, начавшаяся с радостных слов моего научного руководителя "Тут всё просто, можно написать за несколько недель" и продолжавшаяся больше года в попытках точно удостовериться, что наш алгоритм устойчив к разным артефактам и уровням зашумления. И эта история в самом деле принесла мне много навыков как организации обработки данных, так и работы над научным текстом в целом (а ещё вежливых ответов рецензентам). Подробнее эти навыки и лайфхаки тоже будут изложены позже.
Уже семь месяцев я веду этот Телеграм-канал, но ещё ни разу не касалась напрямую своих рабочих проектов. В ближайшее время я стану рассказывать о них больше, а пока что оставлю ссылку на сегодняшний пресс-релиз о нашей с коллегами недавно принятой к публикации в Journal of Neural Engineering статье про новый метод автоматической детекции патологической активности мозга у пациентов с эпилепсией.
Написание этой статьи — отдельная история, начавшаяся с радостных слов моего научного руководителя "Тут всё просто, можно написать за несколько недель" и продолжавшаяся больше года в попытках точно удостовериться, что наш алгоритм устойчив к разным артефактам и уровням зашумления. И эта история в самом деле принесла мне много навыков как организации обработки данных, так и работы над научным текстом в целом (а ещё вежливых ответов рецензентам). Подробнее эти навыки и лайфхаки тоже будут изложены позже.
Глубина первого впечатления
#methods
Публикация: Peterson, J. C., Uddenberg, S., Griffiths, T. L., Todorov, A., & Suchow, J. W. (2022). Deep models of superficial face judgments. Proceedings of the National Academy of Sciences, 119(17), e2115228119.
Взаимодействуя с людьми впервые, мы автоматически оцениваем их внешность. На основе сформированного впечатления мы делаем выводы не только о таких характеристиках, как возраст или комплекция, но и о социальном статусе, а также ряде психологических черт (например, надёжности или бдительности). Поэтому первое впечатление может оказывать влияние на дальнейшие решения (например, при приёме на работу).
Недавно с использованием базы из более чем 1 млн. оценок был разработан алгоритм на основе глубокого обучения (deep learning), позволяющий смоделировать наиболее универсальную оценку внешности на основе многообразия параметров лица. Т. е. основная ценность подхода заключалась в том, что оценивалось не выражение лица или его атрибуты (наличие очков и т. д.), как это осуществлялось алгоритмами глубокого обучения ранее, а именно впечатление, которое производят черты этого лица.
Основное ограничение модели заключалось в том, что она обучалась на слишком гетерогенных данных, в которых на показатели впечатления могли влиять как непосредственно черты лица (размер глаз и т. д.), так и внешние атрибуты (освещение, наличие аксессуаров и т. д.) Также показатели впечатления могут зависеть от возраста человека: мы по-разному оцениваем привлекательность взрослых и детей. Впрочем, это не помешало достижения адекватной точности предсказания ряда показателей: например, дружелюбия, доминантности или надёжности.
Разработанная модель позволила также видоизменять лицо в соответствии с тем или иным психологическим показателем (см. изображение).
#methods
Публикация: Peterson, J. C., Uddenberg, S., Griffiths, T. L., Todorov, A., & Suchow, J. W. (2022). Deep models of superficial face judgments. Proceedings of the National Academy of Sciences, 119(17), e2115228119.
Взаимодействуя с людьми впервые, мы автоматически оцениваем их внешность. На основе сформированного впечатления мы делаем выводы не только о таких характеристиках, как возраст или комплекция, но и о социальном статусе, а также ряде психологических черт (например, надёжности или бдительности). Поэтому первое впечатление может оказывать влияние на дальнейшие решения (например, при приёме на работу).
Недавно с использованием базы из более чем 1 млн. оценок был разработан алгоритм на основе глубокого обучения (deep learning), позволяющий смоделировать наиболее универсальную оценку внешности на основе многообразия параметров лица. Т. е. основная ценность подхода заключалась в том, что оценивалось не выражение лица или его атрибуты (наличие очков и т. д.), как это осуществлялось алгоритмами глубокого обучения ранее, а именно впечатление, которое производят черты этого лица.
Основное ограничение модели заключалось в том, что она обучалась на слишком гетерогенных данных, в которых на показатели впечатления могли влиять как непосредственно черты лица (размер глаз и т. д.), так и внешние атрибуты (освещение, наличие аксессуаров и т. д.) Также показатели впечатления могут зависеть от возраста человека: мы по-разному оцениваем привлекательность взрослых и детей. Впрочем, это не помешало достижения адекватной точности предсказания ряда показателей: например, дружелюбия, доминантности или надёжности.
Разработанная модель позволила также видоизменять лицо в соответствии с тем или иным психологическим показателем (см. изображение).
PNAS
Deep models of superficial face judgments | Proceedings of the National Academy of Sciences
The diversity of human faces and the contexts in which they appear gives rise to an
expansive stimulus space over which people infer psychological ...
expansive stimulus space over which people infer psychological ...