Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

3.2.5. VIENA

Fig. 3.2.5: PowerGlove entwickelt für Nintendo Spiele und als oft verwendetes Hilfsmittel in VR-Anwendungen.

Das Projekt VIENA stammt ähnlich wie SGIM von der Technischen Fakultät – Wissensbasierte Systeme der Universität Bielefeld. Das Projekt wurde 1993 ins Leben gerufen und 1997 abgeschlossen und behandelte den Anwendungsfall einer Designumgebung für ein virtuelles Büro. Die Gestenerfassung erfolgte mit einem Nintendo Datenhandschuh (Bild 3.2.5).

Für die Spracherkennung (Einzelworterkennung) wurde ein vorhandenes System („Dragon Dictate 1.2b“) verwendet. Die Interpretation von Gesten und Sprache erfolgte über unabhängige miteinander kommunizierende Agenten. Die Agenten sind ereignisgesteuert und ermöglichen zeitlich unabhängige Aktionen. Diese event- oder ereignisgesteuerte Agentenstruktur wurde später auch für das Nachfolgeprojekt SGIM verwendet. Die Interpretationsfunktion wurde mittels der im Rahmen des Projektes entwickelten MEA (Multimodale Eingabe-Agentur) realisiert. Dabei wurden die Sprach und Gestenmodalitäten separat analysiert und die Resultate in mehreren Auswertungsschritten verarbeitet. Im Rahmen von vordefinierten zeitlichen Grenzen wurden die multimodalen Eingaben anhand eines 3-Zustands-Rythmusmodell analysiert. [10]