Интерфейс мозг-компьютер своими руками

Интерфейс мозг-компьютер своими руками
Интерфейс мозг-компьютер своими руками
Интерфейс мозг-компьютер своими руками

Заведует лабораторией и руководит проектами по ИМК в МГУ доктор биологических наук, профессор Александр Яковлевич Каплан.

Интерфейс мозг-компьютер (ИМК) - технология управления "силой мысли". С помощью этой технологии мозг человека получает возможность на основе собственной электрической активности (ЭЭГ) формировать команды для компьютера напрямую, без использования мышц.

Синонимы: "мозгокомпьютерный интерфейс", "нейрокомпьютерный интерфейс"; "нейроинтерфейс" (более общее понятие); англ.: Brain-Computer Interface (BCI), Brain-Machine Interface (BMI).

 
 
 
 
 
 
 
 
 

Алгоритмы и подходы

к созданию позиционных и динамических ИМК,
разработанные ННКИ:

«Московский ИМК» для динамических приложений (прямое управление подвижными объектами)
В основу были положены идеи А.Я.Каплана об ЭЭГ как совокупности квазистационарных сегментов и полученные в рамках целого ряда экспериментальных парадигм и подходов данные Каплана с соавт. о функциональной значимости разнообразия паттернов ЭЭГ (см. Публикации). На основе этих исследований были разработаны действующие макеты ИМК, позволяющие человеку управлять движущимися физическими объектами, например, игрушечной машинкой, только «силой мысли», т.е. без мышечных усилий (см. прессу в колонке справа, в т.ч. передачу "Прогресс" и статью Никиты Максимова).

Позиционные ИМК
На Фестивале науки в Москве в сентябре 2009 г. впервые в мире была продемонстрирована работа игрового позиционного ИМК. Каждый желающий мог научиться силой мысли управлять элементами пазла, собирая из них целостные картинки (см. ниже видео).
   Для настройки компьютера на особенности работы мозга игрока требовалось всего 2 минуты регистрации ЭЭГ, а на выбор каждого из 16 элементов пазла - по 8 секунд. Это значительно лучше показателей, достигнутых в мире в подобных демонстрациях ИМК, где требовалась намного более длительная настройка, а быстрый выбор был возможен только из небольшого числа (обычно всего 2) вариантов. Достигнутые характеристики ИМК позволяют эффективно погружаться в игру, и в результате подавляющее большинство из 37 игроков смогли полностью собрать пазл, несмотря на присутствие большого числа зрителей и нередкие помехи со стороны фотовспышек и телекамер.
   В основу разработки были положены результаты экспериментальных исследований, проводившихся студентами Ильей Ганиным и Иваном Басюлом под руководством С.Л.Шишкина (подробнее см. ниже 4. Позиционный ИМК).

Интеллектуальные ИМК
В настоящее время в лаборатории ННКИ ведутся работы по созданию интеллектуальных ИМК нового поколении, способных самонастраиваться на индивидуальные особенности электрической активности мозга человека и автоматически адаптировать свою структуру к реальным возможностям конкретного человека, облегчая и ускоряя его обучение владению искусством «мысленного» управления внешними объектами.

Направления исследований лаборатории ННКИ в области ИМК


Участник Фестиваля науки (Москва, 2009) собирает пазл "силой мысли" с помощью ИМК, разработанного ГрИМЧ.

Другие фото и видео с ИМК
см. внизу страницы.
 


Проф. А.Я.Каплан проводит очередное тестирование интерфейса мозг-компьютер, управляя игрушечной машинкой. Изменения ЭЭГ, связанные с мысленными командами, интерпретируются портативным компьютером и передаются на машинку.

1. Разработка игровых и тренажерных ИМК
Разработка новых типов ИМК, на основе которых создаются развивающие игры и тренажеры.

Предполагается, что игры на основе ИМК: 1) будут развивать внимание и другие полезные качества; 2) смогут обеспечивать особенно глубокое погружение в игровую "реальность", недостижимое в других играх и тренажерах; 3) окажутся областью особенно интенсивного распространения и развития ИМК-технологий, поскольку пользователи компьютерных игр имеют повышенный интерес к новым технологиям и склонность их быстро осваивать.

На основе наших исследований (в частности, см. ниже 4. Позиционный ИМК) создан работающий макет игрового ИМК (см. видео внизу страницы) и ведутся разработки новых типов ИМК со значительно расширенными потребительскими свойствами - в частности, ИМК с предъявлением стимулов на свободно движущихся объектах (см. репортаж из нашей лаборатории в итоговом выпуске "Вести-пятница" канала "Россия-2" за 17 июня 2011 года).

A.Y.Kaplan, S.L.Shishkin, I.P.Ganin, I.A.Basyul, A.Y.Zhigalov. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Transactions on Computational Intelligence and AI in Games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction), 2013, in press. [ PDF ] S.L.Shishkin, I.P.Ganin, A.Y.Kaplan. Event-related potentials in a moving matrix modification of the P300 brain–computer interface paradigm. Neuroscience Letters. 2011;496(2):95-99. [ doi:10.1016/j.neulet.2011.03.089 ] [ PDF ] Ganin I.P., Shishkin S.L., Kaplan A.Y. A P300 BCI with stimuli presented on moving objects. In: Proceedings of the Fifth International BCI Conference 2011. September 22-24, 2011, Graz University of Technology, Austria. Pp. 308-311. [ PDF ]

2. Гибридный ИМК
Разработка новой ИМК-технологии, сочетающей достоинства позиционного ИМК и методов детекции направления взгляда.
Работа поддерживается РФФИ.

3. Неосознаваемое оперантное обусловливание ЭЭГ
Изучение возможности человека изменять режимы работы корковых нейронных сетей своего головного мозга на основе неосознаваемого оперантного обусловливания паттернов ЭЭГ.

В работе А.Я.Каплана и соавторов (2005) было экспериментально доказано, что использование неосознаваемой обратной связи может резко ускорить процесс включения в контур системы человек-машина, а также сделать его доступным для большинства людей.

В этой же работе было продемонстрировано, что парадигмы биологической обратной связи (БОС) и мозгокомпьютерного интерфейса, обычно рассматриваемые как чисто технические приложения ЭЭГ, являются высокоэффективным инструментом для фундаментальных исследований неосознаваемых процессов.

A.Ya.Kaplan, J.J.Lim, K.S.Jin, B.W.Park, J.G.Byeon, S.U.Tarasova. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. 2005;115:781-802. [ PDF ]

4. Позиционный ИМК
Исследование психофизиологических механизмов позиционного ИМК и разработка его новых типов.

И.П.Ганин, С.Л.Шишкин, А.Г.Кочетова, А.Я.Каплан. Интерфейс мозг-компьютер “на волне P300”: исследование эффекта номера стимулов в последовательности их предъявления. Физиология человека. 2012;38(2):5-13. [ PDF ] Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference 2011. September 22-24, 2011, Graz University of Technology, Austria. Pp. 256-259. [ PDF ] Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY, Kaplan AY. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J Integr Neurosci. 2009 Dec;8(4):471-85. [ PDF ] С.Л.Шишкин, И.П.Ганин, И.А.Басюл, А.Я.Каплан. Интерфейс мозг-компьютер на основе волны P300: волна N1 и проблема дистракторов. В сб.: Материалы XV Междунар. конф. по нейрокибернетике. 23-25 сентября 2009 г. Изд-во ЮФУ, 2009. Т. 2. Симпозиум "Интерфейс мозг-компьютер". С. 30-33. [ DOC ]

5. Физиотерапевтическое применение неосознаваемого управления цветом посредством ЭЭГ
Изучение возможностей применения в физиотерапевтической практике открытого в лаборатории эффекта неосознаваемого управления цветом (RGB кодом) компьютерного монитора посредством ЭЭГ (Kaplan et al., 2005).

В частности, предполагается, что эффективность используемой в физиотерапии и психотерапии цветостимуляции может быть существенно улучшена, если цветовая гамма стимуляции будет подбираться с помощью разработанного ранее А.Я.Капланом варианта интерфейса мозг-компьютер (см. выше "Неосознаваемое оперантное обусловливание ЭЭГ").

 
См. также:

Papers • Publications of the Human Brain Research Group. Публикации лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ) (на русском и английском языках).

NNCI. Английская версия сайта лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов (бывш. ГрИМЧ) (включает более подробную информацию о сотрудниках).

 

Лекции и дискуссии (видео)

Лекция А.Я.Каплана Интерфейс мозг-компьютер: теоретическая коллизия, экспериментальная парадигма, практическая необходимость или бизнес-проект? 1-я Всероссийская научная школа "В будущее наук о мозге и интеллекте" (Бекасово, Моск. обл., 6 ноября 2009 г.) Видео + слайды. Мини-лекция А.Я.Каплана Нейрокоммуникаторы. Постнаука, 24.01.2013. «Человеческий мозг: вопросы настоящего и будущего» - А.Я.Каплан и Вольф Зингер (директор Института по исследованию мозга им. Макса Планка, Германия) в Политехническом музее 23 сентября 2010 г.: Зингер, Каплан (1), Каплан (2), ответы на вопросы. Более полную запись (но без ответов на вопросы и без перевода с немецкого) см. на сайте Infox.ru, где шла прямая трансляция. Лекция А.Я.Каплана Mind reading или Чтение мозга на телеканале "Дождь". Человеческому мозгу уже некуда расти (беседа с А.Я.Капланом на телеканале "Дождь"). Выступление Сергея Шишкина на Московском семинаре по когнитивной науке 25 ноября 2010 г. "Интерфейс мозг-компьютер: технология или наука?" [1], [2], [3], [4] ЭЭГ - рассказ Сергея Шишкина о сигнале, генерируемом мозгом и используемом в ИМК (сайт "Постнаука").

Пресса о наших работах по интерфейсу мозг-компьютер

Интерфейс мозг-компьютер, или Как научиться управлять силой мысли? Научная Россия, 09.06.2012 («Российские ученые работают над созданием уникального манипулятора. Он способен выполнять команды, посылаемые электрическими импульсами мозга.» Видеорепортаж.) Андрей Константинов. Игры, в которые играет мозг. Русский репортер, 21 октября 2010 г. («Нашему мозгу не хватает орудий для воплощения идей. Мозг должен взаимодействовать с внешней средой напрямую!» Интервью.) НЕЙРОКОММУНИКАТОРЫ: прямая связь мозг-компьютер, возможности и перспективы. Наука и жизнь, 14.10.2010-20.11.2010. (Интернет-интервью с А.Я.Капланом, участие в котором приняли посетители сайта журнала.) Управление компьютером с помощью мысли. Наш ИМК-пазл в качестве одного из 6 лучших проектов Петербургского международного экономического форума по версии ForbesRussia. 18 июня 2010 г. («Шеф-редактор ForbesRussia.ru Григорий Пунанов тестирует интерфейс управления компьютером с помощью мысли.») О проектах, представленных на форуме, см. тж. Russian scientists develop brain-computer interface (РИА Новости, на англ. яз.) Е.Соловьев, Ю.Медведев. На выставке "ЭКСПО-2010" Россия представила уникальные экспонаты, у которых нет аналогов в мире. Российская газета. №5173 (94). 4 мая 2010 г. («...на "компьютерной" улице сразу привлекает система "Мозг - компьютер", созданная молодыми учеными биофака МГУ...») Более полумиллиона человек уже посетили павильон России на ЭКСПО-2010. РИА Новости, 22 мая 2010 г. («Пятисоттысячной гостьей павильона стала 22-летняя Хань Даньдань из провинции Цзянсу. ... [Ей и ее друзьям] очень понравились ролики российской экспозиции, где дети презентуют технологии "Мозг-Компьютер"...») Гигамозг. Из материалов о проектах в сфере ведения Минпромторга России, представленных на Всемирной выставке ЭКСПО-2010. Эксперт ТВ. 21 сентября 2010 г. («Сила мысли: Технология управления биотоками мозга заинтриговала создателей компьютерных игр.») То же на сайте российской экспозиции на ЭКСПО-2010. Get In The Game! Technology Update, 30 January, 2010. (Телеканал Russia Today.) (Ведущий Николас Леви собирает ИМК-пазл ГрИМЧ от начала до конца силой своей мысли прямо на глазах у зрителей передачи Technology Update.) Новости 1 канала ТВ, 25.11.2009 («Фантастика становится реальностью благодаря разработке биофизиков МГУ. Специальные датчики улавливают импульсы головного мозга и преобразуют их в команды для компьютера.» - Прим.: не биофизиков, а физиологов.) Диктатура мозга. Проект Павла Лобкова. НТВ 20 ноября 2009 г. 20:50 («... мозг Павла Лобкова будет связан с компьютером. Зрители НТВ своими глазами увидят сигналы, которые нервные клетки посылают друг другу, и узнают, как с их помощью управлять движением предметов.») Татьяна Кузив. Гроссмейстерская задача. Медицинская газета № 46, 23 июня 2010г. (Впечатления от лекции по ЭЭГ и интерфейсам мозг-компьютер, с которой А.Каплан выступил в Центральном доме ученых.) Юрий Дризе. В три руки. Силой мысли можно сделать многое. Поиск № 4 (2011), 28 января 2011 г. («Виртуальное путешествие по картинным галереям мира» с помощью интерфейса мозг-компьютер.) Юрий Дризе. Мозг колеса крутит. Мысль - тоже двигатель. Поиск, 4 июня 2010 г. («Выработка навыков мысленного управления компьютером - одновременно и путь к владению собой, своими реакциями, вниманием, восприятием, памятью.») Новости канала «Культура» 20 ноября 2009 г. Люди, которые придумали всё. НТВ, 1 октября 2009 г. («На биофаке МГУ компьютер давно подключают прямо к голове.») ТВ-5, передача "Прогресс" 15 февраля 2009 г. - см. в сюжете "Игра головой", 23 мин 42 сек - 24 мин 27 сек, 25 мин 28 сек - 25 мин 47 сек (Flash Video 197 МБ) (А.К.: «Это то же самое, что в компьютере сделать драйвер управления каким-то внешним устройством - например, драйвер управления мышкой. Так же формируются драйверы управления под каждое движение - драйверы управления мышцами. И нужно теперь организовать формирование драйверов под внешнее устройство.») М.Писаренко. С выставки научно-технических работ -- Интерфейс «мозг-компьютер». «Инженер-физик» (газета Национального исследовательского ядерного университета «МИФИ»). №3-4 за 2010 г. (февраль), с. 6. («Обучение занимает всего две минуты. А после этого начинается игра, когда силой мысли игрок собирает целую картинку из кусочков. ... Предполагается, что игры на основе ИМК будут развивать внимание и смогут обеспечивать особенно глубокое погружение в игровую «реальность», недостижимое в других играх и тренажерах.») Н.Максимов. Игра головой. Русский Newsweek. № 46 (124). 27 нояб - 3 дек 2006 г. (А.К.: «Машинка как бы становится «новым телом» для мозга...») И.Охапкин. Планшетные гонки. STRF.ru ("Наука и технологии России"), 9 марта 2010 г. (А.К.: «Если я поворачиваю руку, то не думаю, как у меня соединились с ней мысли. В будущем эти системы должны управляться так же, как мы двигаем своей рукой — неосознанно».) А.Образцов. Мозг выдал объемную команду. Акадо, 11 апреля 2008 г. Не надо думать про пожар (интервью с Александром Капланом). Ведомости. № 46 (133). 12 декабря 2008 г. С. Шишкин. Шевеля мозгами. Акция, 29 апреля 2008 г. (А.К.: «Это значит: захотеть и сделать, только без применения мышечной силы. Пожалуй, вот это как раз и есть самое интересное в ИМК. Интенсивное ощущение мысленного владения ситуацией.») Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками Интерфейс мозг-компьютер своими руками

Изучаем далее:



Как сделать подкрылки на авто своими руками

Шарики мягкие для поделок

Схема управления литием

Как украсить куртку мехом своими руками

Как сделать план участка на компьютере