Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

3.2.1. MATIS & CARE

MATIS steht für „Multimodal Airline Travel Information System“ und ist ein Fluginformationssystem. Ein User dieses Systems kann sich Flugpläne durch Spracheingabe, Gestensteuerung sowie durch Maus oder Keyboard oder durch eine Kombination dieser Techniken ermitteln lassen. Eine Spracheingabe wie „Show me the Flights from Boston to Denver“ liefert die gleichen Ergebnisse wie. „Show me the Flights from Boston to this City“, wenn begleitend zu den gesprochenen Wörtern „this city“ auf einer zum System gehörenden Karte auf Denver gezeigt wird. Diese Gestik kann entweder via Maus, Touchscreen oder andere Eingaben erfolgen. Bei diesem System gibt es keine dominanten Modalitäten sondern alle Eingabemöglichkeiten sind gleichberechtigt.

Die im Rahmen dieses Projektes gewonnenen Erkenntnisse führten zum CARE-Konzept. Die Formalen Ausdrücke des CARE-Konzepts basieren auf Status, Ziel, Modalität und Beziehung und dienen der Darstellung von Äquivalenzen, Redundanzen und Ergänzungen von verschiedenen Eingabemodalitäten. Die folgenden Darstellungen dienen zur Veranschaulichung, wie sich Modalitäten ergänzen, substituieren oder gar ersetzen können. [6]

3.2.1.1 Äquivalenzen in CARE

Die folgende Darstellung (Bild 3.2.1.1) soll illustrieren wie eine Äquivalenz von Modalitäten in CARE-Eigenschaften dargestellt wird.

Fig. 3.2.1.1: Beispiel einer Äquivalenz im MATIS System, dargestellt mit dem CARE-Konzept. Das Beispiel zeigt, dass die Eingaben zur Auswahl eines Zielflughafens durch verschiedene Modalitäten zu ein und dem gleichen Ziel führen können. Die Zeichen ?, 7 und 8 stehen für Sprach-, Tastatur oder Gesteneingabe (mittels Mouse oder Touchscreen). Das „E“ im linken oberen Eck steht für Äquivalenz (engl. equivalence) und „1“ im rechten oberen Eck beschreibt die Beziehung in dieser Darstellung. In diesem Fall entspricht 1 einer Modalität aus den Angegebenen. Der Anfangszustand wird durch das s und das Ziel durch s’ gekennzeichnet.

3.2.1.2 Redundanzen in CARE

Modalitäten können aber auch wenn sie parallel erfolgen redundant sein (Bild 3.2.1.2). So kann die Spracheingabe „flights to Pittsburgh“ in Kombination mit einer Zeigegeste auf Pittsburgh eine Redundanz beinhalten (wenn es nicht mehrere Städte mit diesem Namen und einem Flughafen gibt).

Fig. 3.2.1.2: Beispiel einer Redundanz im MATIS System, dargestellt mit dem CARE-Konzept. Das Beispiel zeigt, dass die parallele Eingaben („ || “) zur Auswahl eines Zielflughafens durch verschiedene Modalitäten redundant („R“) sein kann. Wie bei der vorgehenden Illustration sind auch hier die Zeichen zu verstehen. Der „ ; “ steht für eine Sequenz und tw für eine temporäre Eigenschaft.

3.2.1.3 Ergänzungen in CARE

Als dritte Möglichkeit gibt es noch die Ergänzungen (Bild 3.2.1.3) durch unterschiedliche Eingabemodalitäten.

Fig. 3.2.1.3: Eingabemodalitäten können sich auch Ergänzen. Eine Festlegung des Zielflughafens kann mittels Spracheingabe („nach hier“) und einer gestischen Eingabe (zeigen auf eine Stadt mit Flughafen) vorgenommen werden. Hierbei würden sich die beiden Eingabeformen gegenseitig ergänzen. „C“ steht hier für „complementary“.