Lebenslauf / Ausbildung an der Uni / Seminararbeiten / Modality Integration: Speech and Gesture

Modality Integration: Speech and Gesture

3.3 Probleme bei der Integration von Sprache und Gestik

Hier werden nicht die einzelnen Probleme von Sprach- oder Gestenerkennung behandelt, sondern die Probleme die bei der Integration beider Modalitäten entstehen.

3.3.1 Jede Modalität kann jede andere Eingabemodalität modifizieren

Eine Anweisung die durch eine Modalität festgelegt wurde kann durch eine begleitende Modalität modifiziert werden und dadurch eine andere Bedeutung erhalten. Problematisch wird diese Situation wenn zum Beispiel unbewusste Affektäußerungen die Aussage eines gesprochenen Wortes modifizieren.
Beispiel: Mittels Spracheingabe wird folgende Anweisung gegeben „selektiere das rote Objekt“ und in einer begleitenden Affektäußerung wird auf ein gelbes gezeigt, mit welchem das Rote später verbunden werden soll.

3.3.2 Ergänzende Modalitäten und Eingabeerwartung

Bei einer Anweisung, die mit sich ergänzenden Modalitäten vorgenommen wird, kann es passieren, dass die ergänzende Modalität nicht erfolgt, da sich der Benutzer z.B. plötzlich anders entschlossen hat. Hier darf das System dann nicht in einer Wartehaltung auf die erforderliche ergänzende Modalität verharren, sondern die Aktion muss abgebrochen werden können.
Beispiel: Eine Spracheingabe „nach“ erfolgt und das System wartet nun beim Modul/Agenten der Gestenkennung auf die ergänzende Zeigegeste welcher Ort als Ziel gewählt werden soll. Auch wenn die Zeigegeste nicht erfolgt sollte die Anweisung auch durch eine Spracheingabe abgebrochen werden können.

3.3.3 Ergänzende Modalitäten und zeitliche Übereinstimmung

Bei sich ergänzenden Eingabemodalitäten muss auf die richtige Abfolge der Modalitäten geachtet werden. Sinnvollerweise sollten die Modalitäten mit Zeitstempeln für Beginn und Ende ausgestattet werden, damit das System nachvollziehen kann, welche Modalitäten in zeitlich richtiger Abfolge zusammengehören.
Beispiel: Die Spracheingabe „bewege diese Objekt hier her“ erfordert zwei aufeinander folgende Zeigegesten, eine zur Selektion des Objektes und eine zur Definition des Zielortes. Hier muss zuerst die Anweisung aus der Spracheingabe ermittelt werden, und dann müssen die zeitlich richtigen und ergänzenden Gesten für die Ausführung der Anweisung ausgewertet werden.

3.3.4 Mehrdeutigkeit von Gesten und Wörtern

Sowohl Gesten als auch gesprochene Wörter können in unterschiedlichen Kulturen und Sprachen mehrere Bedeutungen aufweisen. Bei Mehrdeutigkeit von autonomen Gesten im sprachlichen Kontext kann dies zu erheblichen Verständnisproblemen führen.
Beispiel: So kann eine Drehbewegung der Hand in einer Konstruktionsanwendung sowohl als Drehaufforderung aufgefasst werden, obwohl der Bediener die Handbewegung als Affektäußerung zu seinen Überlegungen ausführt.

3.3.5 Kulturelle Unterschiede in Bedeutung und Verwendung von Gesten im sprachlichen Zusammenhang

Gesten basieren meist auf einer regionalen bzw. kulturellen Entwicklung. So existieren oft verwendete Gesten wie zum Beispiel der erhobene Mittelfinger im Straßenverkehr erst seit kurzer Zeit, wohingegen andere Gesten wie die Zeigegesten schon seit langer Zeit als fixer Bestandteil der menschlichen Kommunikation verwendet werden. Systeme, die auf Sprach- und Gesteneingabe basieren werden nur akzeptiert werden können, wenn auch die natürlichen Gesten aus dem sozialen Umfeld des Bedieners verstanden und richtig interpretiert werden.

3.3.6 Unterschiede bei Gesten zwischen Jung und Alt

Junge Menschen verwenden eher dynamischere, schnellere Bewegungen als gestische Begleitung ihrer Rede, während ältere Menschen mit langsameren Gesten mehr Ruhe ausstrahlen können. Dieser Unterschied ist natürlich auch gerade bei redebegleitenden Gesten sehr deutlich zu merken, da die Geste in dem einem Fall das gesprochene Wort länger begleitet als in dem anderen. Dieser Unterschied erschwert die Synchronisation im Zusammenspiel zwischen Sprache und Gesten.