ТЕХНИКА  Мозговая реконструкция

Учёным в США удалось реконструировать композицию Pink Floyd "Another Brick in the Wall" из записи мозговой активности. Впервые в истории удалось декодировать широко узнаваемую композицию.

Это вызывает надежду, что теперь людям, страдающим от последствий инсульта или нейродегенеративных заболеваний, можно будет помочь восстанавливать музыкальность естественной речи.

Ранее эксперты той же лаборатории при Университете штата Калифорния в Беркли восстанавливали по записям мозговой активности речь - в том числе слова, произнесённые про себя. Однако, как отметил глава исследовательской группы, профессор Роберт Найт (Robert Knight), все эти попытки на выходе давали низкое качество - реконструированная речь звучала "роботоподобно".

"Музыка по самой своей природе эмоциональна и просодична - в ней есть ритм, ударение, акцент и интонация. В ней содержится намного больше информации, чем в ограниченных фонемах любого языка, что может добавить еще одно измерение к вживляемому декодеру речи", - отметил Найт.

Таким декодером вынужден был пользоваться профессор Стивен Хокинг (Stephen Hawking), страдавший амиотрофическим боковым склерозом, который лишил его возможности говорить и практически полностью обездвижил.

Прежние работы по декодированию электрической активности мозга были сосредоточены на речевой моторной коре - области мозга, которая управляет мелкой моторикой мышц губ, челюстей, языка и гортани, т.е. всех тех органов, которые отвечают за произнесение слов.

Нынешнее исследование сфокусировалось на записях активности регионов, отвечающих за обработку поступающей звуковой информации.

Исследовательская группа проанализировала записи мозговой активности 29 пациентов, которым воспроизводился примерно трёхминутный фрагмент "Another Brick in the Wall".

Активность мозга записывалась электродами, которые были вживлены в череп и располагались прямо на поверхности мозга - всё это происходило в то время, как пациенты подвергались операции по лечению эпилепсии.

Затем применялся искусственный интеллект для расшифровки и рекодирования звуков и слов. И хотя на выходе получилось нечто очень заглушённое (как будто всё происходит под водой, по словам Найта), но фраза "All in all, it's just another brick in the wall", как утверждается, вполне различима, как различимы и ритм, и мелодия.

Впрочем, представленная изданием The Guardian запись заставляет в этом усомниться:

По словам профессора Найта, большую роль играет плотность размещения электродов. В большинстве случаев они располагались в 5 мм друг от друга. Но у пары пациентов их разместили на расстоянии 3 мм, и вот у них реконструкция оказалась более чёткой.

По мере того, как совершенствуются методики записи мозговой активности, в скором времени, возможно, вживлять что-либо в мозг и не понадобится: достаточно будет чувствительных электродов, просто располагающихся на голове.

Ранее в этом году исследовательская команда Университета штата Техас в Остине заявили, что им удалось транслировать активность мозга в поток текста, используя лишь неинвазивное МРТ-сканирование. И хотя система была недостаточно эффективной, чтобы распознать точные слова, она все же позволяла передать суть отдельных предложений.

По словам доктора Александра Хута (Alexander Huth), возглавлявшего команду в Остине, новое исследование демонстрирует, что многие методики расшифровки речи можно применять и для декодирования музыки.

"Хотя они [исследователи в Беркли] не записывали реакцию мозга в то время, как исследуемый представлял себе музыку, именно для этого машинные интерфейсы могут использоваться в будущем: для трансляции воображаемой музыки в реальный звук. Удивительные времена!" - добавил Хут.

Исследователи в Беркли также выявили области мозга, ответственные за идентификацию ритма, и подтвердили, что правое полушарие мозга более восприимчиво к музыке, чем левое.

Улучшенное понимание того, как обрабатываются музыка и язык, также может иметь практическое применение. Например, есть вероятность, что удастся понять, почему люди с афазией Брока, которым очень сложно найти и произнести правильные слова, часто могут пропевать их безо всякого труда.