Struktury i szlaki nerwowe biorące udział w przetwarzaniu dźwięków u ludzi i innych naczelnych są podobne. Neurony pierwszorzędowej kory słuchowej sortują dźwięki w zależności od tonu czy wysokości. Impulsy niosące informacje o dźwiękach są następnie przesyłane do drugorzędowej kory słuchowej, gdzie następuje ich dalsza analiza. Przykładowo – podczas słuchania wypowiadanych słów dźwięki są klasyfikowane według fonemów, najprostszych cech pozwalających odróżnić jedno od drugiego. Dalsze przetwarzanie tych informacji, pozwalające na zrozumienie treści słów, odbywa się w kolejnych częściach mózgu. Dlatego poznanie sposobu, w jaki dźwięki są przetwarzane w korze słuchowej makaków może okazać się przydatne, nawet jeśli małpy nie są w stanie zrozumieć znaczenia usłyszanych słów.
Naukowcy z Brown University wykorzystali interfejs mózg-komputer aby zarejestrować wzorce pobudzenia neuronów we wtórnej korze słuchowej rezusów podczas słuchania kilku różniących się od siebie słów. Następnie dane te wykorzystano do odtworzenia dźwięku tych słów.
Podczas badań wykorzystano dwa implanty o rozmiarach ziarna grochu, z 96-kanałowymi matrycami mikroelektrod. Rejestrowały one aktywność neuronów podczas, gdy małpy słuchały nagrań pięciu słów w języku angielskim (drzewo, dobry, północ, krykiet i program) oraz dźwięków wydawanych przez makaki. Naukowcy przetworzyli zapisy aktywności neuronów przy użyciu specjalnie opracowanych algorytmów komputerowych służących do rozpoznawania wzorców neuronowych związanych z poszczególnymi słowami. Wyniki zostały ponownie przetworzone, tym razem przez program służący do komputerowego generowania mowy. Następnie, za pomocą kilku różnych wskaźników, możliwe stało się porównanie powstałego w ten sposób dźwięku z brzmieniem tego, co usłyszał makak. Badanie wykazało, że w ten sposób udało się odtworzyć pierwotne słowa na tyle wiernie, że były one zrozumiałe dla człowieka.
Jednym z celów tego badania było sprawdzenie czy któryś z algorytmów stosowanych do dekodowania działa lepiej niż inne. Wyniki wykazały, że najwierniejsze odwzorowanie pierwotnych słów przyniosły rekurencyjne sieci neuronowe (RNN), algorytm maszynowego uczenia się wykorzystywany w komputerowym tłumaczeniu języka. RNN przewyższył bardziej tradycyjne algorytmy, które okazały się skuteczne w dekodowaniu danych neuronowych pochodzących z innych części mózgu. Prace wykonane przez specjalistów z Brown University mogą w przyszłości przyczynić się do opracowania mózgowych implantów, które będą pomocne dla osób z ubytkiem słuchu.
