Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

3.1.2. Verbindung Sprache und Gestik

Fig. 3.2: Gemeinsame Interpretation von Gestik und Sprache: Es wird nicht getrennt zwischen Gesten- und Spracheingabe, sondern beides gemeinsam interpretiert. Die Aufnahme und Auswertung von Spracheingabe und Gestenerkennung erfolgt getrennt. Die Interpretation erfolgt jedoch durch Fusion der Ergebnisse aus Sprach- und Gestenerkennung.

Sprache und Gestik sind nicht als getrennte Kommunikationsformen, sondern als sich gegenseitig unterstützende Interaktionsmöglichkeiten (schematische Darstellung Bild 3.2) zu sehen. Die Gesten sind in diesem Fall redebegleitende Gesten, wie Illustratoren oder Regulatoren.

Das Problem bei der Integration von Sprache und Gestik liegt in der richtigen Zusammenführung der separat analysierten Gesten- und Spracheingaben und deren zeilich richtiger Zusammenführung. So muss zum Beispiel eine Zeigegeste auch zum richtigen Zeitpunkt mit dem gesprochen Wort (Bsp: “Nimm <Zeigegeste> dieses Objekt”) zu einem interpretierbaren Kommando zusammengefügt werden. Es muss erkannt werden, welches Objekt zu verwenden ist und was damit zu tun ist. Die beiden Eingeabeformen ergänzen sich in diesem Beispiel und sind nur durch eine gemeinsame Auswertung interpretierbar.