Вчені відтворили пісню Pink Floyd, зчитуючи сигнали мозку слухачів — відео
Дослідники навчили комп'ютер аналізувати мозкову активність людини, яка слухає музику, та за допомогою цих нейронних патернів відтворювати пісню. Про це пише The New York Times.
Під час дослідження вчені з’ясували, як використовувати активність мозку для відтворення музики. Завдяки цьому їм вдалося отримати впізнавану, хоча й приглушену версію пісні гурту Pink Floyd 1979 року Another Brick in the Wall (Part 1).
Щоб зібрати дані для дослідження, науковці записували мозкову активність 29 пацієнтів з епілепсією у Медичному центрі Олбані в штаті Нью-Йорк з 2009 по 2015 рік. Під час лікування їм імплантували сітку електродів, схожих на цвяхи. Це дало нейробіологам можливість записувати активність їхнього мозку під час прослуховування музики.
Команда обрала пісню Pink Floyd частково тому, що вона подобалася старшим пацієнтам. Крім того, композиція містить 41 секунду тексту і дві з половиною хвилини сумних інструментальних партій. Це пдало змогу з’ясувати, як мозок обробляє слова у порівнянні з мелодією.
Аналізуючи дані кожного пацієнта, дослідники визначили, які ділянки мозку загорялися під час виконання пісні та на які частоти вони реагували. Щоб розбірливо відтворити Another Brick in the Wall, вчені використовували 128 частотних діапазонів. Це означало тренування 128 комп’ютерних моделей, які разом фокусували пісню.
Результати дослідження
Дослідники пропустили через алгоритм вихідні дані чотирьох пацієнтів. Результат був схожий на пісню Pink Floyd, але були відмінності. За словами вчених, на це могло вплинути розміщення електродів у пацієнта. Також має значення, чи є у людини музичні здібності.
Дані фіксували дрібнозернисті патерни з окремих кластерів клітин мозку. Але цей підхід також був обмеженим: вчені могли бачити активність мозку лише там, де лікарі розмістили електроди для пошуку судом. Це частково пояснює, чому відтворені пісні звучать так, ніби їх грають під водою.
Результати дослідження можуть бути підґрунтям для створення пристроїв, які допоможуть людям з порушенням мовлення.
Раніше SPEKA писала, що Meta навчила штучний інтелект читати думки і перетворювати їх у текст.
