Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

4. Zusammenfassung und Ausblick

4.1. Zusammenfassung

Sprache und Gestik sind die natürlichen Kommunikationsformen in der zwischenmenschlichen Interaktion. Aus dieser Tatsache ergibt sich auch eine gewisse Motivation, um genau diese Modalitäten in der Kommunikation zwischen Mensch und Maschine einzuführen. Um Sprache und Gestik sinnvoll integrieren zu können, müssen sowohl das gesprochene Wort als auch die Gesten richtig erkannt und interpretiert werden. Durch die Verwendung beider Eingabemodalitäten wird die Interpretation der Eingabe wesentlich erschwert. Redebegleitende Gesten können die Spracheingabe ergänzen, modifizieren oder sogar ersetzen (siehe 3.2.1). Hier können genauso Schwierigkeiten entstehen wie bei der Unterscheidung zwischen diskreter und kontinuierlicher gestischer Interaktion (siehe 3.2.2). Um Sprache oder Gestik sinnvoll erkennen und interpretieren zu können, muss zuerst eine formal sprachliche Darstellung gefunden werden, die von Maschinen sinnvoll interpretiert werden kann. Für Gebärdensprache wurde mit HamNoSys (2.2.2.1) ein System entwickelt, dass eine sinnvolle Klassifikation ermöglicht. Anhand dieser Klassifikation kann eine Interpretation von Gebärden und Gesten erfolgen. Die Schwierigkeiten und Probleme sind aber nicht nur auf die technischen Auswertungen zurück zu führen, sondern auch auf die allgemeinen Unterschiede in Sprache und Gestik im kulturellen, sozialen und regionalen Umfeld. Das eine Integration von Sprache und Gestik trotz der vielen Schwierigkeiten sinnvoll vorgenommen werden kann, illustrieren die im Kapitel 3.2 vorgestellten Forschungsansätze.

4.2. Ausblick

Technische Systeme werden immer komplexer und umfangreicher, dementsprechend mehr Steuerungs- und Beeinflussungsmöglichkeiten kommen hinzu. Durch dies werden immer mehr Anforderungen an den Benutzer gestellt, der in immer kürzeren Zeiträumen umlernen und sich mit neuen Bedienungselementen beschäftigen muss. Meist ist die Bedienung von technischen Systemen nahezu eine eigene Wissenschaft und die auszuführenden Aktionen sind nur von geschultem Personal steuerbar. Dabei handelt es sich oft nur um einfache logische Ablaufsteuerungen, die doch so leicht erklärt werden können. Die Integration der natürlichen menschlichen Kommunikationsmodalitäten in Mensch-Maschine Schnittstellen verspricht die einfachere Handhabung komplexer technischer Vorgänge. Der Mensch lernt schon als kleines Kind, sich mit Sprache und Gesten zu verständigen. Diese Kommunikationsformen beherrscht er am besten, und darum sollten genau diese Modalitäten im Umgang mit Maschinen einen intuitiveren und einfacheren Kommunikationsfluss ermöglichen. Durch Interpretation der natürlichen koverbalen Gestik ist der Mensch nicht gezwungen, laufend neue Befehle zu erlernen.

Die Einführung der multimodalen Eingabe-Interfaces in der Kommunikation Mensch Maschine kann aber nur unter Beachtung folgender Gesichtspunkte erfolgreich sein:

• Die natürliche Gesten und Sprachfloskeln (also auch regionale und kulturelle Besonderheiten) müssen richtig erkannt werden.
• Der Mensch soll nicht die speziellen Eingabeformen Sprache und Gestik für die Bedienung unterschiedlicher Maschinen jeweils neu erlernen müssen.

Es gibt viele verschiedene Forschungsansätze und Projekte, die sich mit dieser Thematik auseinandersetzen. Das Ergebnis ist aber bei allen das gleiche: Durch die richtige Integration von Sprache und Gesten kann der Umgang mit der Technik in Zukunft wesentlich erleichtert werden.