Sprachkommunikation aus neuronalen Daten
Das Cognitive Systems Lab an der Universit?t Bremen forscht an Gehirn-Computer Schnittstellen (BCI), die Sprachprozesse im Gehirn in h?rbare Sprache überführen oder in eine für Menschen lesbare textuelle Form transformieren. Neuronale Erkrankungen k?nnen zur Folge haben, dass betroffene Personen verstummen und ohne fremde Hilfe nicht 澳门皇冠_皇冠足球比分-劲爆体育 mit der Au?enwelt kommunizieren k?nnen. Sprachprothesen, die neuronale Signale direkt in Sprache oder Text umwandeln, bieten gro?es Potential für alternative Kommunikationswege. Seit 澳门皇冠_皇冠足球比分-劲爆体育eren Jahren forscht und entwickelt das CSL in Zusammenarbeit mit amerikanischen Kooperationspartnern in diesem Bereich und hat bereits mit 澳门皇冠_皇冠足球比分-劲爆体育eren neuartigen Verfahren zum Stand der Forschung beigetragen.
Methode
Die vom CSL entwickelte Methode verwendet als Eingabesignale Gehirnaktivit?ten, die w?hrend des Sprechens abgeleitet werden. Denn der menschliche Sprechvorgang wird durch Sprachprozesse im Gehirn initiiert und durchgehend begleitet. Genau diese Prozesse k?nnen durch elektrische Potentiale, welche durch die Kommunikation einer Vielzahl von Neuronen entstehen, von Elektroden aufgezeichnet werden. Eine Analyse dieser Aktivit?ten durch geeignete Mustererkennungsverfahren erlaubt es, von den aufgezeichneten elektrischen Potentialen Rückschlüsse auf die gesprochene Sprache zu treffen. Die erkannte Sprache kann anschlie?end als Text ausgegeben oder direkt akustisch synthetisiert werden. Die neuronalen Eingabesignale in Form elektrischer Potentiale werden von den amerikanischen Kooperationspartnern beigesteuert, die sich auf eine invasive Technologie stützen, bei der Patienten aufgrund medizinischer Notwendigkeiten in einem operativen Eingriff Elektroden auf dem Kortex platziert oder über Tiefenelektroden in das Gehirn eingebracht werden.
Durch die direkte Interpretation neuronaler Signale in h?rbare Sprache hoffen die Forscher*innen zukünftig neuronale Sprachprothesen zu entwickeln, die es Menschen erm?glicht, Kraft ihrer Gedanken zu kommunizieren.
Wissenschaftlicher Beitrag
Wissenschaftliche Forschungsergebnisse des CSL beziehen sich nicht nur auf die Rekonstruktion von Sprache aus vorher aufgezeichneten Datens?tzen, sondern auch auf Live-Synthese mittels eines echtzeitf?higen Decoders, der die Gehirnstromdaten direkt in h?rbares Audio umwandelt und als akustisches Feedback über einen Lautsprecher wiedergibt. Zur L?sung dieser Herausforderungen wurden Algorithmen entwickelt und evaluiert, welche Sprache mit maximaler Audioqualit?t bei gleichzeitig minimaler Verz?gerung rekonstruieren. Dies wurde durch speziell entwickelte Echtzeit-Decoding Verfahren erreicht, die das Feedback an die Nutzer*innen entweder in Form von h?rbarer Sprache zur direkten zwischenmenschlichen Kommunikation liefern oder wahlweise als Text repr?sentieren, der als Kommando durch die Maschine interpretiert werden kann.
Kooperationspartner
In unserem Forschungsprojekt arbeiten wir eng mit dem ASPEN Lab an der Virginia Commonwealth Universit?t zusammen, das von Prof. Dean Krusienski geleitet wird.
Kontakt
Cognitive Systems Lab, Universit?t Bremen
Tel. +49 (0) 421 218 64270
tanja.schultzprotect me ?!uni-bremenprotect me ?!.de
Miguel Angrick, M. Sc.
Cognitive Systems Lab, Universit?t Bremen
Tel. +49 (0) 421 218 64265
miguel.angrickprotect me ?!uni-bremenprotect me ?!.de
Relevante Publikationen
Im Folgenden finden Sie eine nach Publikationsdatum sortierte Liste unserer Publikationen zur Sprachkommunikation aus neuronalen Daten. Zum Einlesen in die Thematik eignen sich besonders der Artikel Automatic Speech Recognition from Neural Signals: A Focused Review (Christian Herff and Tanja Schultz, In Frontiers in Neuroscience, volume 10, 2016) und Biosignal-based Spoken Communication: A Survey (Tanja Schultz et al., In IEEE/ACM Transactions on Audio, Speech and Language Processing, volume 25, 2017)