Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

3.2.2. SGIM

Fig. 3.2.2: Virtuelle Konstruktion mittels SGIM und Großbilddisplays. Die Selektion von Objekten kann wie hier gezeigt durch Zeigegesten und die durchzuführenden Aktionen durch Spracheingaben bestimmt werden. Bsp: „Nimm dieses Rohr“.

Das Projekt SGIM („Speech and Gesture Interfaces for Multimedia“) der Universität Bielefeld ermöglicht das virtuelle Konstruieren mittels Sprache und Gestik. Die Forschungsarbeiten orientieren sich an Konstruktionsaufgaben anhand von Großbild Displays (schematische Darstellung siehe Bild 3.2.2).

Als Anwendungsbereich wird nicht das Konstruieren der einzelnen Bauteile, sondern vielmehr die dreidimensionale Montage bestehender Teile gesehen. Dazu wurden folgende Manipulationsaufgaben für bestehende Teile und Objekte realisiert:

• Änderung der Position
• Änderung der Ausrichtung
• Änderung der Größe
• Änderung der Form
• Änderung der Erscheinung

Zusätzlich zu diesen, die Teile betreffenden Manipulationsaufgaben entstehen weitere Aufgaben für eine Montagesimulation:

• Verbinden von Bauteilen
• Trennen von Bauteilen

Aus diesen Aufgaben und Anforderungen an ein Konstruktionssystem kann schon erkannt werden, wie sinnvoll eine Integration von Sprache und Gestik sein kann. Die Interaktion zwischen dem Benutzer und der virtuellen Montagesimulation kann unimodal (Bsp.: „Drehe das gelbe Rad um 45°“) oder mehrmodal (Bsp.: „Montiere <Zeigegeste> dieses Rohr <Zeigegeste> am Rahmen“) erfolgen. Bei der sprachlich-gestischen Interaktion wird bei diesem Projekt zwischen diskreter und kontinuierlicher Interaktion unterschieden. [7]

3.2.2.1 Diskrete Interaktionen

Bei diskreten Interaktionen werden Änderungswünsche des Benutzers als sofortige Änderungen der virtuellen Umgebung umgesetzt. Die diskreten gestischen Interaktionen sind dabei meist auf reine Zeigegesten beschränkt, die der Selektion von Objekten in der virtuellen Konstruktionsumgebung dienen. Der größte Nachteil bei dieser Interaktionsform liegt darin, dass der Benutzer keine Möglichkeit hat, die Anweisung noch während der Ausführung zu beeinflussen. Der Einsatz von virtuellen Systemen sollte den Benutzer aber in die Szene integrieren und ihm direkte Manipulationsmöglichkeiten bieten. Die beiden oben genannten Anweisungen sind Beispiele (uni- und mehrmodal) für diskrete Interaktionen. Bei der Umsetzung einer Zeigegeste ist eine sofortige Auswertung durch Selektion und sofortige Hervorhebung des virtuellen Objektes zu erreichen. Man kann diese Vorgehensweise durch eventbasierte Manipulation realisieren.

3.2.2.2 Kontinuierliche Interaktionen

In der menschlichen Kommunikation kommt es oft vor, dass Aktionen durch „Vormachen“ und Objekte durch „Nachzeichnen“ der Form beschrieben werden. Dies erfordert eine kontinuierliche Beobachtung der Gesten und eine dementsprechende Auswertung. Eine kontinuierliche Interaktion wie „Drehe das Rad <Beginn Rotationsgeste> so herum <Ende Rotationsgeste>.“ Wird meist durch sprachliche Schlüsselworte wie „so“ und durch Gesten, die eine Aktion „vormachen“ spezifiziert. Die Umsetzung einer kontinuierlichen Interaktion kann nicht durch reine Eventauswertung realisiert werden. Vielmehr wird eine Kombination aus einem Event, der in einen kontinuierlichen Modus umschaltet und einem kontinuierlichen Streaming der Anweisung benötigt.