Взгляд из МРТ
#methods

Публикация: Frey, M., Nau, M., & Doeller, C. F. (2021). Magnetic resonance-based eye tracking using deep neural networks (pp. 1-8). Nature Publishing Group.

Недавно в Nature Neuroscience предложили новый метод реконструкции движения глаз DeepMReye. Поскольку движение глаз является важным поведенческим маркером процессов восприятия, внимания, речевой обработки и т. д., сочетание регистрации движения глаз (айтрекинга) и активности мозга может быть очень информативным и с точки зрения интерпретации результатов, и с точки зрения учёта артефактов при записи.

В условиях использования фМРТ (функциональной магнитно-резонансной томографии) регистрация движения глаз усложняется из-за нахождения участника в сканере. Несмотря на существование совместимых с МРТ камер для айтрекинга, большая часть фМРТ-исследований не использует их из-за технических сложностей калибровки и прочих нюансов.

Авторы публикации предложили не регистрировать движения глаз напрямую, а реконструировать их из МРТ-сигнала глаз, поскольку в зависимости от направления взгляда меняется отображение глазных яблок и оптических нервов на фМРТ.

Ранее нахождение соответствия данных фМРТ и направления взгляда осуществлялось с помощью алгоритмов машинного обучения, тренируемых на калибровочных данных участников, которым предлагалось смотреть в различных направлениях. Новый метод более универсален: он обходится без такой калибровки и использует свёрточные нейронные сети, которые предсказывают направление взгляда, обучаясь на независимых параметрах (данных камеры айтрекинга или координат стимулов для фиксации взгляда).

Специфика DeepMReye позволяет применять его не только к новым данным фМРТ, но и к данным из прежних исследований, что открывает возможность не только для более глубокой поведенческой интерпретации, но и для исключения тех данных, в которых участники, например, смотрели не в ту сторону и нарушали инструкции.

Также предложенный метод сработал в случае, когда глаза участника были закрыты. Это позволяет использовать его для оценки функционирования зрительной системы в отсутствие стимуляции или во время фазы быстрого сна, характеризующейся выраженными движениями глазных яблок. Более того, потенциально DeepMReye может быть использован на данных слепых участников, стандартная регистрация движения глаз которых невозможна.

К ограничениям метода относится то, что он уступает по временному разрешению стандартному айтрекингу. Также для метода требуется включение данных глазных яблок в МРТ, что не всегда возможно, хотя в немалой части исследований данные присутствуют. В качестве альтернативного варианта авторы предлагают применять DeepMReye для декодирования движения глаз на основе непосредственно мозговой активности.

#skigeon_in_science #methods

Уже семь месяцев я веду этот Телеграм-канал, но ещё ни разу не касалась напрямую своих рабочих проектов. В ближайшее время я стану рассказывать о них больше, а пока что оставлю ссылку на сегодняшний пресс-релиз о нашей с коллегами недавно принятой к публикации в Journal of Neural Engineering статье про новый метод автоматической детекции патологической активности мозга у пациентов с эпилепсией.

Написание этой статьи — отдельная история, начавшаяся с радостных слов моего научного руководителя "Тут всё просто, можно написать за несколько недель" и продолжавшаяся больше года в попытках точно удостовериться, что наш алгоритм устойчив к разным артефактам и уровням зашумления. И эта история в самом деле принесла мне много навыков как организации обработки данных, так и работы над научным текстом в целом (а ещё вежливых ответов рецензентам). Подробнее эти навыки и лайфхаки тоже будут изложены позже.

Глубина первого впечатления
#methods

Публикация: Peterson, J. C., Uddenberg, S., Griffiths, T. L., Todorov, A., & Suchow, J. W. (2022). Deep models of superficial face judgments. Proceedings of the National Academy of Sciences, 119(17), e2115228119.

Взаимодействуя с людьми впервые, мы автоматически оцениваем их внешность. На основе сформированного впечатления мы делаем выводы не только о таких характеристиках, как возраст или комплекция, но и о социальном статусе, а также ряде психологических черт (например, надёжности или бдительности). Поэтому первое впечатление может оказывать влияние на дальнейшие решения (например, при приёме на работу).

Недавно с использованием базы из более чем 1 млн. оценок был разработан алгоритм на основе глубокого обучения (deep learning), позволяющий смоделировать наиболее универсальную оценку внешности на основе многообразия параметров лица. Т. е. основная ценность подхода заключалась в том, что оценивалось не выражение лица или его атрибуты (наличие очков и т. д.), как это осуществлялось алгоритмами глубокого обучения ранее, а именно впечатление, которое производят черты этого лица.

Основное ограничение модели заключалось в том, что она обучалась на слишком гетерогенных данных, в которых на показатели впечатления могли влиять как непосредственно черты лица (размер глаз и т. д.), так и внешние атрибуты (освещение, наличие аксессуаров и т. д.) Также показатели впечатления могут зависеть от возраста человека: мы по-разному оцениваем привлекательность взрослых и детей. Впрочем, это не помешало достижения адекватной точности предсказания ряда показателей: например, дружелюбия, доминантности или надёжности.

Разработанная модель позволила также видоизменять лицо в соответствии с тем или иным психологическим показателем (см. изображение).