В 30 лет жизнь Энн Джонсон в Саскачеване была насыщенной. Она преподавала математику и физкультуру в старшей школе, тренировала волейбол и баскетбол, а недавно вышла замуж и родила первого ребёнка. На своей свадьбе она произнесла 15-минутную радостную речь.

Всё изменилось в 2005 году, когда во время игры в волейбол с друзьями она перенесла инсульт ствола мозга. Инсульт оставил у неё синдром «запертого человека» – практически полный паралич и неспособность говорить. «Она пыталась говорить, но её рот не двигался, и она не могла издать ни звука», – говорят исследователи. Почти два десятилетия она медленно общалась с помощью системы отслеживания движения глаз, произнося слова по одной букве.

В 2022 году Джонсон стала третьим участником клинического исследования, проведённого исследователями из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли. Целью проекта было восстановление речи с помощью интерфейса «мозг-компьютер», или нейропротеза, который обходит повреждённые связи в организме.

«Нам удалось получить хорошее представление о той части мозга, которая фактически отвечает за речевое воспроизведение», — сказал Гопала Ануманчипалли, доцент Калифорнийского университета в Беркли, начавший работу в 2015 году в качестве постдокторанта совместно с Эдвардом Чангом, нейрохирургом Калифорнийского университета в Сан-Франциско. «Затем они выяснили, как моделировать этот процесс с помощью вычислений, чтобы на основе активности мозга можно было синтезировать то, что человек пытается сказать».

Устройство записывает сигналы из речевых центров мозга и отправляет их в модель искусственного интеллекта, обученную преобразовывать эту активность в текст, звук или даже мимику. «Подобно тому, как Siri переводит ваш голос в текст, эта модель искусственного интеллекта преобразует активность мозга в текст, звук или мимику», — сказал Кайло Литтлджон, аспирант и соруководитель исследования.

Чтобы подарить Джонсон возможность ощутить себя в реальности, исследователи предложили ей выбрать один из нескольких аватаров и использовали запись её свадебной речи для воссоздания её голоса. Имплантат, подключённый к находившемуся неподалёку компьютеру, располагался над областью её мозга, отвечающей за обработку речи, действуя как своего рода декодер мыслей. Затем они показывали ей предложения и просили её попытаться их произнести.

«Она не может, потому что у неё паралич, но эти сигналы всё ещё поступают из её мозга, и нейронное записывающее устройство их воспринимает», — сказал Литтлджон. Нейронное декодирующее устройство затем отправляет их на компьютер, где находится модель ИИ, где они расшифровываются. «Точно так же, как Siri переводит ваш голос в текст, эта модель ИИ переводит активность мозга в текст, аудио или анимацию лица», — сказал он. — Berkeley.edu

Для Джонсон испытание было очень эмоциональным. «Что ты думаешь о моём искусственном голосе? Расскажи мне о себе. У меня сегодня всё хорошо», — спросила она мужа во время одного из сеансов. Исследователи использовали запись её свадебной речи, чтобы воссоздать её голос, и соединили её с выбранным ею цифровым аватаром.

«Мы не хотели читать её мысли», — подчеркнул Ануманчипалли. «Мы хотели дать ей свободу действий. В некоторых сеансах, когда она ничего не делает, мы включаем декодер, и он ничего не делает, потому что она не пытается ничего сказать. Только когда она пытается что-то сказать, мы слышим звук или команду к действию».

В ранней версии системы задержка между подсказками Джонсон и воспроизведением речи составляла восемь секунд. Но в мартовском исследовании, опубликованном в журнале Nature Neuroscience, была описана архитектура потоковой передачи, которая сократила этот интервал до одной секунды, что позволило осуществлять перевод практически в режиме реального времени. Хотя аватар в предыдущих тестах имел лишь отдалённое сходство с ней, исследователи утверждают, что возможны более реалистичные трёхмерные фотореалистичные версии. «Мы можем представить, что сможем создать цифровой клон, который будет очень тесно связан с системой… со всеми настройками, например, с тем, как Zoom позволяет нам использовать все эти эффекты», — сказала Ануманчипалли.

Имплантат Джонсон был удалён в феврале 2024 года по причинам, не связанным с исследованием, но она продолжает консультировать исследовательскую группу. Она настоятельно рекомендовала им разрабатывать беспроводные имплантаты и сказала, что потоковая передача «позволяет ей чувствовать себя под контролем».

Заглядывая в будущее, Ануманчипалли заявила, что цель — сделать нейропротезы «подключаемыми и используемыми» и частью стандартной медицинской помощи. «Если это означает, что у них есть цифровая версия самих себя, которая общается с ними, то им нужно уметь это делать», — сказал он.

Джонсон надеется работать консультантом в центре физической реабилитации, в идеале используя такое устройство. «Я хочу, чтобы пациенты видели меня и знали, что их жизнь ещё не закончена», — написала она репортеру Калифорнийского университета в Сан-Франциско. «Я хочу показать им, что инвалидность не должна останавливать нас или замедлять».