De onderzoekers deden dat door kunstmatige intelligentie te trainen om neurale patronen in de hersenen van de patiënten te analyseren terwijl het liedje werd afgespeeld.
De elektroden volgden de activiteit in de auditieve cortex van de patiënten – een hersengebied dat alle aspecten van het geluid dat we binnenkrijgen verwerkt.
Door de hersenactiviteit te vergelijken met de geluiden in het nummer, ontdekten de onderzoekers neurale patronen die niet alleen geassocieerd werden met bepaalde woorden, maar ook met toon, ritme, klemtoon en intonatie.
De onderzoekers ontwikkelden een computermodel dat verbanden kon herkennen tussen het nummer en de activiteit in de auditieve cortex.
Kunstmatige intelligentie geeft de hersenen een instrument
Omdat het computermodel kon herkennen welke patronen in de hersenactiviteit overeenkwamen met bepaalde muzikale kenmerken, konden de onderzoekers uiteindelijk de hersenversie van de legendarische hit reconstrueren in een spectrogram – een grafische weergave van geluid waarin onder andere frequentie, lengte en luidheid af te lezen zijn.
Het ritme en de melodie van het nummer lijken te kloppen.
En ook al klinkt de tekst gedempt, de zin All in all, it’s just another brick in the wall is goed hoorbaar. Als je het lied kent, is het goed te herkennen.
Het geluidsfragment van het Pink Floyd-nummer Another Brick in the Wall dat de proefpersonen te horen kregen
Reconstructie van het nummer op basis van elektrische activiteit in de auditieve cortex
‘Het klinkt een beetje alsof er onder water wordt gepraat, maar dit is ook nog maar onze eerste poging. De potentie is enorm,’ zegt Robert Knight, neuroloog en hoogleraar psychologie aan UC Berkeley, in een persbericht.
De onderzoekers willen technologie ontwikkelen waarmee patiënten die hun spraakvermogen hebben verloren op een natuurlijkere manier kunnen communiceren.
‘Door te begrijpen hoe de hersenen de muzikale elementen van spraak weergeven, waaronder toon, ritme en volume, kunnen we spraakapparaten maken die minder robotachtig klinken,’ zegt Knight.
