На что обращать внимание при оценке ML-моделей на нейроданных: воспринимаемые стимулы vs воображаемые стимулы

Эта часть скорее не про ошибку в самой оценке, а про неверную интерпретацию результатов, которая потом завышает ожидания людей после чтения статьи или её краткого разбора. Особенно часто это всплывает в разговорах про «чтение мыслей».

Дело в том, что в нейронауках для одних и тех же задач часто существуют две довольно разные парадигмы в зависимости от того, что происходит с человеком во время записи данных.

Воспринимаемые стимулы — это когда человеку реально предъявляют стимул. Например, он смотрит на изображение, читает текст или слушает аудио.

Воображаемые стимулы — это когда внешнего стимула нет, и человек должен что-то представить сам. Например, вообразить изображение, мысленно проговорить текст или «проиграть» музыку у себя в голове.

Эти две парадигмы могут казаться похожими, и из-за этого у многих возникает путаница. Например, декодировать речь можно и в случае читаемого текста, и в случае воображаемой речи. Но для модели разница здесь очень большая. У воспринимаемых стимулов сигнал обычно намного сильнее, поэтому декодировать их заметно легче, чем воображаемые.

Из-за этого и появляются некорректные интерпретации про «чтение мыслей», хотя на деле иногда декодируют не мысли как таковые, а реакцию мозга на реальную внешнюю стимуляцию картинкой, текстом или аудио.