Ученые из ГК "Нейроботикс" ("Нейроассистивные технологии") и Лаборатории нейроробототехники МФТИ посредством считывания электрической активности мозга сумели воссоздать изображение, которое человек видит в данный момент. Препринт работы доступен на bioRxiv.
Специалисты создали интерфейс "мозг-компьютер", который снимает с поверхности головы электроэнцефалограмму (ЭЭГ) и анализирует ее с помощью нейросетей. Благодаря этому методу удалось в режиме реального времени реконструировать на экране компьютера то, что видит человек собственными глазами.
В ходе первой части эксперимента его участникам показывали ролики из категорий "абстракции", "водопады", "лица людей", "скорость" и "движущиеся механизмы". Как выяснилось, частотные характеристики волновой активности ЭЭГ для каждой категории различаются. Этот опыт позволил анализировать реакцию мозга на разные видео в режиме реального времени. Во второй части эксперимента специалисты оставили лишь три категории и создали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из "шума", а вторая создавала похожий "шум" из ЭЭГ. После авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.
Чтобы проверить работу интерфейса, участникам эксперимента показали видео в тех же категориях, но те, которые им ранее не демонстрировались. Во время просмотра у них снимали ЭЭГ и в реальном времени отправляли на нейросети. В результате в 90% случаях нейросети справились: создавали реалистичные кадры, на которых можно было с уверенностью определить категорию видео.
Проект "Ассистивные нейротехнологии" стартовал в 2017 году. Его цель - создать новый тип устройств, управляемых сигналами мозга, которыми могли бы пользоваться парализованные люди, в частности при реабилитации после инсульта и нейротравм головы.
Летом стало известно, что аналогичные эксперименты проводит компания NeuraLink, основанная предпринимателем Илоном Маском. Однако американские специалисты для осуществления связи мозг-компьютер вживляют испытуемым чипы в голову.
