Управление взглядом: исследование МГППУ
СМИ о нас
Еще не так давно понятие «управлять взглядом» было чем-то из области фантастики. Это относилось скорее к сказкам и мифам, чем к возможностям науки. Но сегодня такие технологии уже почти повседневная реальность. Так, специалисты Московского государственного психолого-педагогического университета (МГППУ) предложили способ управлять компьютерными системами с помощью магнитных полей, отслеживающих движения глаз.
«Мы пытаемся научиться на лету определять, является ли задержка взгляда намеренной или непроизвольной, – прокомментировал руководитель исследования, ведущий научный сотрудник МЭГ-центра Сергей Шишкин. – Для этого мы применяем технологию «интерфейс мозг-компьютер» (ИМК). В ее основе классификация сигналов мозгового происхождения, которые возникают, когда пользователь ИМК выполняет определенные мысленные действия.
Довольно многие исследователи пытались объединить ее с глазоуправлением – так мы для краткости называем управление с помощью взгляда. Но эта комбинация взгляда и ИМК оказывается крайне неудобной, ведь ИМК работает медленно, и пользователю приходится каждый раз надолго задерживать взгляд. К тому же мысленные действия, нужные для ИМК, довольно плохо сочетаются с намеренной задержкой взгляда.
Мы используем гораздо более естественный подход: пользователю достаточно лишь задерживать взгляд, и само это действие, как оказалось, уже изменяет рисунок мозговых сигналов так, что намерение «кликнуть» удается распознать».
По словам одного из авторов исследования – старшего научного сотрудника МЭГ-центра МГППУ Анастасии Овчинниковой, высокая точность при идентификации задержек взгляда пользователя пока еще не достигнута. «Это прежде всего связано, по-видимому, с тем, что во время эксперимента не удается записать достаточно много данных для обучения нейросетей, – считает Овчинникова. – Эта проблема часто возникает, когда для классификации мозговых сигналов используют глубокие искусственные нейронные сети, подобные тем, которые использовали мы. В настоящее время мы работаем над задачей расширения выборки МЭГ-данных, используемых в классификации».
Выяснилось, что точность распознавания повышается, если обучать нейросеть на большом объеме данных, взятых у одного и того же испытуемого во время нескольких сеансов игры. Но поскольку неоднократное участие добровольцев в эксперименте представляет собой определенную сложность, ученые занимаются поиском и альтернативных решений.
«Мы уже выяснили в наших предыдущих исследованиях, проводившихся на базе Курчатовского института, – говорит Сергей Шишкин, – что у намеренных задержек взгляда при глазоуправлении есть специфический портрет в электрических потенциалах, генерируемых мозгом, то есть в электроэнцефалограмме (ЭЭГ). Однако он не напрямую связан с намерением или с удержанием взгляда.
То, что мы при глазоуправлении видим в ЭЭГ во время намеренных задержек взгляда, – это так называемая волна ожидания. Она говорит о том, что человек чего-то ждет. Очевидно, в данном случае он ждет, когда компьютер сработает на «клик», например выделится шарик, на который смотрит участник эксперимента. Но в данных МЭГ мы видим совсем другой рисунок работы мозга. По-видимому, он связан с намеренным удержанием взгляда в одном месте.
Так или иначе напрашивается возможность объединить данные ЭЭГ и МЭГ и за счет этого дополнительно повысить точность классификации. В итоге мы можем получить очень эффективный гибридный интерфейс для взаимодействия с компьютером. Возможно, он когда-нибудь окажется полезным не только для инвалидов».