HoloAI

Betreuer: Daniel Reich, Moritz Meier, Dennis Küster, Felix Putze, Tanja Schultz

Projektzeitraum: Wintersemester 2019/2020 und Sommersemester 2020

Kurzbeschreibung

HoloAI steht für ?holographic Artificial Intelligence“. Holografische Projektionen sind ein beliebtes Motiv in der Sciencefiction Pop-Kultur. In Star Wars gibt es mobile holografische Telefonie, im Spiel Half-Life wird man mit holografischen Assistenten durch das Tutorial geführt, und in Star Trek wird sogar ein holografischer Bordarzt eingesetzt.

Das holoAI-Projekt hat als Ziel die Entwicklung eines holografischen Agenten, der interaktiv auf die Anfragen seiner Benutzer reagiert. Teil des Projekts sind sowohl die Gestaltung eines dreidimensionalen, humanoiden Avatars, als auch die Entwicklung eines leistungsstarken Backends unter Anwendung moderner KI-Technologie. Ausgestattet mit multimodaler Sensorik ist der Agent in der Lage auf Sprache, Mimik und Gestik von Menschen zu reagieren, sowie wiederkehrende Benutzer zu erkennen. Ans?ssig im Cartesium-Geb?ude sollen Besucher begrü?t und über standortspezifische Fakten informiert werden. Der Aufbau ist Teil des Wissenschaftsschwerpunktes ?Mind, Media, Machines“ (MMM).

Details

Teil der Entwicklung ist sowohl ein Framework zur leichten Implementation von Inhalten und Funktionen eines Agenten für die holografische Plattform, als auch der Agent und dessen Verhalten selber. Dabei werden sich die Teilnehmer mit Fragestellungen aus den Bereichen des maschinellen Lernens, der automatischen Analyse von Sprache und Video sowie der Echtzeit-Verarbeitung gro?er Datenstr?me auseinandersetzen. Damit ein solches Vorhaben gelingt, stellen wir euch zahlreiche State-of-the-Art-Werkzeuge zur Verfügung, welche die Entwicklung komplexer interaktiver Systeme unterstützen: Zur Programmierung werden wir haupts?chlich Python einsetzen. Es ist geplant, dass die einzelnen Module über die ROS-Middleware (Robot Operating System) verbunden werden. Die Gestaltung des 3D-Avatars wird mit Unity und Blender umgesetzt werden. Des Weiteren ist die Entwicklung der kognitiven F?higkeiten des Agenten wichtig, wie die Erkennung von K?rperposen oder der Erfassung von Aufmerksamkeit anhand der Mimik. Dazu werden ebenfalls moderne Werkzeuge aus dem Bereich des maschinellen Lernens und der Bildverarbeitung eingesetzt. Für die Sprachverarbeitung werden unsere SpracherkennungsKomponenten und eine moderne Pipeline zum Sprachverstehen auf der Basis neuronaler Netze verwendet.

Zur Durchführung des Projekts stellen wir die Hardware für die Projektion des Avatars, die notwendige Sensorik, Arbeitspl?tze für die Teamarbeit und eine Testumgebung zur Verfügung. Darüber hinaus stehen zahlreiche Software-Tools für einen schnellen Start bereit. Wir bieten eine intensive Betreuung an und sind sehr interessiert an den Ergebnissen, weil wir diese auch für unsere eigene Forschung weiter nutzen m?chten. Beim Entwurf und der Implementierung sollen Prinzipien des agilen Projektmanagements sowie Werkzeuge der modernen Softwareentwicklung zum Einsatz kommen.

Organisatorisches

Das Angebot richtet sich an Studierende im Bachelorstudiengang Informatik. Gute Programmierkenntnisse oder Erfahrung mit 3DModellierung oder Animation werden vorausgesetzt. Bei Interesse m?chten wir das Projekt auch als ein anschlie?endes Master-Projekt (bis September 2021) weiterführen. Das Projekt bereitet, je nach Schwerpunktsetzung, auf die Masterprofile KIKR und DMI vor. 

Empfohlene 澳门皇冠_皇冠足球比分-劲爆体育 zur Vorbereitung

•  Grundlagen des Maschinellen Lernens (SS 2019, Bachelor)
•  Biosignale und Benutzerschnittstellen (SS 2019, Bachelor)
•  Automatische Spracherkennung (WS 2019/20, Master)