Способы измерять активность мозга: МЭГ, ЭКоГ и как выглядят разные модальности для ИИ

Магнитоэнцефалография (МЭГ) представляет собой в каком-то смысле промежуточный вариант между ЭЭГ и фМРТ, который частично сочетает в себе преимущества обеих модальностей. Электрическая активность мозга создаёт магнитные поля, и МЭГ измеряет именно их с помощью очень высокочувствительных датчиков. По применению это тоже выглядит как что-то между ЭЭГ и фМРТ: человек сидит в громоздком аппарате, вокруг головы расположен массив сенсоров (можно мысленно представить как шапочку/шлем), каждый из которых измеряет магнитные поля, связанные с активностью мозга. МЭГ такая же быстрая, как и ЭЭГ, но часто даёт более чистый и качественный сигнал, а при большом числе сенсоров (в МЭГ типично иметь 200+ датчиков) размешивать сигналы сенсоров и по ним восстанавливать вклад источников в мозге часто проще, чем в ЭЭГ (хотя задача всё равно некорректно поставлена). Портативность у МЭГ страдает: аппаратура дорогая и обычно работает только в магнитно-экранированных помещениях, иначе внешний магнитный шум (вплоть до поля Земли) будет сильно мешать.

Все методы выше — неинвазивные, т.е. не нужно вскрывать голову, чтобы ими мерить активность мозга. Однако существуют и инвазивные методы. Один из наиболее популярных — электрокортикография (ЭКоГ). В каком-то смысле можно думать об ЭКоГ как об инвазивной ЭЭГ: тоже регистрируется электрическая активность пассивными электродами. Разница в том, что вместо электродов на шапочке они лежат гораздо плотнее на полоске/сетке, которую кладут непосредственно на поверхность коры мозга. Чтобы это сделать, нужно вскрыть череп и установить электроды. Благодаря тому, что электроды ближе к источникам и стоят плотнее, у ЭКоГ заметно выше качество сигнала и более высокое пространственное разрешение. Из очевидных недостатков — инвазивность (обычно ЭКоГ используют в узкоспецифичных клинических случаях по рекомендации врача) и ограниченное покрытие (сетка плотно покрывает конкретную область, но не весь мозг целиком).

Если говорить о модальностях выше как о данных для моделей машинного обучения/ИИ, то многие из них — это многомерные временные ряды со своими особенностями. ЭЭГ, МЭГ и ЭКоГ — временные ряды размера (кол-во сенсоров x время). Дополнительная особенность в том, что мы знаем локации сенсоров (где и насколько близко они расположены относительно друг друга), то есть есть геометрия. Её можно явно давать модели как координаты или представлять сенсоры как граф и использовать графовые нейронки. На практике чаще встречаются стандартные нейросетевые пайплайны, которые такую информацию напрямую не передают (типичные первые слои — это CNN), но идея с графами и геометрией заметно активизировалась в последние годы.

фМРТ — тоже временной ряд, но уже размера (H x W x D x время). Каждая точка во времени представляет собой 3D-скан мозга. Отсюда два типичных подхода.
— Работать с сырыми сканами как с 3D объектами/3D изображениями. Основные сложности: мозг не коробка (поэтому, огромное количество вокселей — это фон/шум вне мозга), близкие воксели сильно скоррелированы, и в целом из-за 3D выходит большая размерность входа, а фМРТ данных обычно не так много = нейросети легко переобучаются.
— Взять атлас (набор масок для разных регионов мозга, например, Гиппокамп или Миндалевидное тело), усреднить сигнал внутри каждого региона (ROI) и получить более компактный ряд размера (кол-во ROI x время). С ним работать проще и часто стабильнее, но в них меньше структуры и информации из-за усреднения.