AI rozpozna utwór w Twojej głowie na podstawie danych neurologicznych

2023-08-21

płyta winylowa w gramofonie

Zdjęcie/Pixabay


Czy kiedykolwiek zastanawialiście się, jak brzmi muzyka w naszych głowach? Czy można ją odtworzyć za pomocą sztucznej inteligencji? Naukowcy z Uniwersytetu Kalifornijskiego w Berkeley dokonali tego niezwykłego wyczynu, tworząc sztuczną wersję piosenki Pink Floyd na podstawie wzorców aktywności mózgowej osób, które jej słuchały. To pierwszy raz, kiedy udało się zrekonstruować rozpoznawalną piosenkę z bezpośrednich nagrań mózgowych.

Metoda

Badacze wykorzystali dane z elektrod, które zostały chirurgicznie wszczepione na powierzchnię mózgów 29 osób leczonych na padaczkę. Aktywność mózgowa uczestników była rejestrowana, podczas gdy słuchali oni utworu zespołu Pink Floyd. Porównując sygnały mózgowe z utworem, badacze zidentyfikowali nagrania z podzbioru elektrod, które były silnie związane z wysokością dźwięku, melodią, harmonią i rytmem utworu. Następnie wyszkolili sztuczną inteligencję, aby nauczyła się zależności między aktywnością mózgową a tymi elementami muzycznymi, pomijając 15-sekundowy fragment utworu z danych treningowych. Wyszkolona sztuczna inteligencja wygenerowała prognozę niewidocznego fragmentu utworu na podstawie sygnałów mózgowych uczestników. Spektrogram - wizualizacja fal dźwiękowych - wygenerowanego przez AI fragmentu był w 43 procentach podobny do prawdziwego fragmentu utworu.

Wyniki

Badacze porównali wygenerowany przez AI fragment utworu z oryginalnym fragmentem po prostym przetworzeniu, aby umożliwić sprawiedliwe porównanie. Stwierdzili, że sztuczna inteligencja była w stanie odtworzyć główny motyw muzyczny i rytm utworu, choć brzmiał on trochę inaczej niż oryginał. Badacze zidentyfikowali obszar mózgu w obrębie regionu zwanej górnym zakrętem skroniowym, który przetwarzał rytm gitary w utworze. Stwierdzili również, że sygnały z prawej półkuli mózgu były ważniejsze dla przetwarzania muzyki niż te z lewej półkuli, potwierdzając wyniki wcześniejszych badań.

Znaczenie

Praca ta pogłębia nasze zrozumienie tego, jak mózg postrzega muzykę i może ostatecznie pomóc w ulepszeniu urządzeń dla osób z trudnościami w mówieniu. “Dla tych, którzy cierpią na stwardnienie zanikowe boczne [chorobę układu nerwowego] lub afazję [zaburzenie językowe], którzy mają trudności z mówieniem. "Chcielibyśmy urządzenia, które naprawdę brzmiałoby tak, jakby się komunikowało z kimś w ludzki sposób” - mówi Robert Knight z Uniwersytetu Kalifornijskiego w Berkeley, jeden z autorów badań. “Zrozumienie, jak mózg reprezentuje muzyczne elementy mowy, w tym ton i emocje, mogłoby sprawić, że takie urządzenia brzmiałyby mniej mechanicznie”.

Podsumowanie

Sztuczna inteligencja jest w stanie odtworzyć fragment piosenki Pink Floyd na podstawie aktywności mózgowej osób, które jej słuchały. To pierwszy raz, kiedy udało się zrekonstruować rozpoznawalną piosenkę z bezpośrednich nagrań mózgowych. Badanie to pokazuje, jak mózg przetwarza muzykę i może mieć zastosowanie w pomocy osobom z trudnościami w mówieniu.

Źródła:
www.newscientist.com/article/2387343-ai-recreates-clip-of-pink-floyd-song-from-recordings-of-brain-activity/ www.washingtonpost.com/nation/2023/08/18/pink-floyd-ai-song/ www.tomorrowsworldtoday.com/2023/08/16/researchers-use-ai-to-recreate-pink-floyd-song-from-brain-activity/

Powrót na stronę główną