Новые возможности человеко-машинного взаимодействия

Интерфейсы мозг-компьютер (ИМК) и управление с помощью взгляда разрабатываются большим числом исследовательских групп во всем мире для помощи людям с нарушениями моторики и речи. Около десяти лет назад было предложено объединить эти две технологии так, чтобы взаимно компенсировать их главные недостатки – низкую точность ИМК и склонность «глазоуправления» срабатывать при отсутствии намерения отдать команду. Ожидается, что в результате удастся создать технологию, обеспечивающую максимально ускоренную трансформацию намерения в действие. В случае успеха ее пользователями смогут стать не только парализованные люди, но и здоровые пользователи, заинтересованные в максимальном облегчении передачи команд из мозга в компьютер без помощи рук, например, при напряженной мыслительной деятельности.
Однако на пути создания такой гибридной технологии стоят серьезные ограничения существующих методов «декодирования» намерений человека. Более того, все еще очень слабо изучены мозговые процессы формирования и реализации намерения, а также «маркеры» этих процессов в сигналах мозгового происхождения, доступных неинвазивной регистрации. На устранение этих барьеров направлен проект, организованный благодаря сотрудничеству МЭГ-центра и лаборатории нейрокогнитивных технологий НИЦ «Курчатовский институт», а также при участии коллег из других организаций (А.Е. Осадчий – НИУ ВШЭ, И.П. Зубарев – Университет Аалто, Финляндия). Проект поддержан Российским научным фондом (грант 18-19-00593 «Высокоинтуитивное человеко-машинное взаимодействие с использованием маркеров ожидания и намерения: нейрофизиологические и нейроинженерные основы», ранее – 14-28-00234 «В поисках "Я": междисциплинарное исследование порождения произвольного действия»).
В рамках проекта создается методический инструментарий, расширяющий возможности МЭГ-технологии, прежде всего методики классификации коротких единичных фрагментов МЭГ-сигнала на основе искусственных глубоких нейросетей, в том числе в режиме, приближенном к реальному времени. Исследуются особенности человеко-машинного взаимодействия в ситуациях, когда машина получает повышенную чувствительность к намерению человека, и, в частности, выполняет команду еще до полного формирования намерения ее отдать или помогает выполнить действие быстрее обычных человеческих возможностей.
Основные исследования проводятся с использованием регистрации МЭГ и других сигналов мозгового происхождения во время использования испытуемыми «глазоуправления» для совершения ходов в специально разработанных играх, причем такие данные сопоставляются с данными, записанными при аналогичных перемещениях и фиксациях взгляда, но совершаемых спонтанно. Эта разработанная в проекте экспериментальная парадигма контрастирования произвольного и спонтанного глазодвигательного поведения (Shishkin et al., 2016) позволяет выравнивать данные по факторам, непосредственно не связанным с произвольностью (прежде всего по сугубо двигательным особенностям подготавливаемого или осуществляемого глазодвигательного поведения).
Полученный материал параллельно используется сразу в двух направлениях: (1) для отладки средств машинной классификации произвольной и спонтанной глазодвигательной деятельности с целью создания высокоэффективного гибридного человеко-машинного интерфейса; (2) для исследования мозговых механизмов произвольного действия – наличие «контроля», существенно выровненного по характеристикам движения с произвольным режимом, выгодно отличает нашу экспериментальную парадигму от известных экспериментальных парадигм Либета и Хайнеса. А сам гибридный интерфейс после завершения его создания и отладки планируется использовать и как экспериментальную модель для исследования практических возможностей высокочувствительных интерфейсов, прежде всего в реабилитации людей с тяжелыми нарушениями моторики, и в качестве экспериментального стенда для изучения порождения намерения и формирования чувства авторства действия – феноменов, понимание которых крайне важно для решения и практических, и общезначимых теоретических и философских вопросов о свободе воли и границах сознания.

Примеры временного хода магнитного поля мозга, связанного с фиксациями, когда задержки взгляда делались с целью дать команду (красные линии) и происходили спонтанно (серые линии). Слева – сигнал на магнетометре, справа – сигнал на градиометре (положение градиометра и магнетометра показано точкой на голове). Усреднение по группе (n=29), среднее (сплошные линии) ± 95% дов. инт. (затенение), при нормализации сигнала по индивидуальному бейзлайну [-300..-100] мс.

1. D.G. Zhao, A.N. Vasilyev, B.L. Kozyrskiy, E.V. Melnichuk, A.V. Isachenko, B.M. Velichkovsky, S.L. Shishkin. A passive BCI for monitoring the intentionality of the gaze-based moving object selection (under review).
2. I.A. Dubynin, A.S. Yashin, B.M. Velichkovsky, S.L. Shishkin. An experimental paradigm for studying sense of agency in joint human-machine motor actions (under review).
3. Zhao D.G., Vasilyev A.N., Kozyrskiy B.L., Isachenko A.V., Melnichuk E.V., Velichkovsky B.M., Shishkin S.L. An expectation-based EEG marker for the selection of moving objects with gaze. Proc. 8th Graz Brain-Computer Interface Conf. 2019. Verlag der Technischen Universität Graz. Pp. 291-296.
4. Shishkin S.L., Zhao D.G., Isachenko A.V., Velichkovsky B.M. Gaze-and-brain-controlled interfaces for human-computer and human-robot interaction. Psychology in Russia: State of the Art. 2017. 10(3), 120-137.
5. Dubynin I.A., Shishkin S.L. Feeling of agency versus judgment of agency in passive movements with various delays from the stimulus. Psychology in Russia: State of the Art. 2017. 10(3), 40-56.
6. Nuzhdin Y.O., Shishkin S.L., Fedorova A.A., Kozyrskiy B.L., Medyntsev A.A., Svirin E.P., Korsun O.V., Dubynin I.A., Trofimov A.G., Velichkovsky B.M. Passive detection of feedback expectation: Towards fluent hybrid eye-brain-computer interfaces. Proc. of the 7th Graz Brain-Computer Interface Conference. 2017, pp. 361-366.
7. Shishkin S.L., Nuzhdin, Y.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface. Frontiers in Neuroscience. 2016. 10, article 528.
8. Величковский Б.М., Нуждин Ю.О., Свирин Е.П., Строганова Т.А., Федорова А.А., Шишкин С.Л. Управление «силой мысли»: На пути к новым формам взаимодействия человека с техническими устройствами. Вопросы психологии. 2016. 62(1): 79-88.

Руководитель проекта - Сергей Львович Шишкин.