Auditiv-haptischer Zugang zu räumlich-graphischen Repräsentationen

Blinde und Personen mit starker Sehbehinderung können externe Repräsentationen nicht in der gleichen Weise wie Sehende verwenden, sie müssen die visuelle Wahrnehmung durch eine andere sensorische Modalität substituieren.

In diesem Projekt werden Grundlagen geschaffen, um räumliche / graphische Information blinden und sehbehinderten Menschen in Form von taktilen / haptischen Depiktionen zugänglich machen zu können. Die Darstellung der räumlich-graphischen Information wird mit dem Sensable PHANToM realisiert, einem haptischen force-feedback Interface, mit dem virtuelle dreidimensionale Objekte „erfühlt“ werden können.

Im Teilprojekt VAVETaM (Verbally Assisting Virtual Environment Tactile Maps) stand der Erwerb von Wissen über lokale geographische Umgebungen, z.B. ein Stadtviertel, eine Campus, etc, im Vordergrund. Aus zwei Gründen ist es sinnvoll, das Erfühlen einer so dargestellten virtuellen taktilen Karte mit Hilfe von sprachlicher Assistenz zu unterstützen: zum einen können die in visuellen Karten prominenten schriftlichen Hinweise, z. B. auf Straßennamen, auf diesem Wege effizient vermittelt werden. Zum anderen erleichtert das multimodale Szenario die Perzeption bestimmter Informationen, die auf Grund der Beschaffenheit taktiler Wahrnehmung ansonsten aufwändig zu erfassen sind. Wissenschaftlich zu untersuchen war dabei aus der Perspektive der Sprachgenerierung, welche Informationen wann verbal gegeben werden sollten und wie diese geeignet semantisch repräsentiert werden. Aus der Perspektive der haptischen Perzeption wurde die inkrementelle Erkennung und hierarchische Konzeptualisierung von Benutzerinteraktionen, d.h. der Explorationsereignisse, und die daraus abgeleiteten Zuschreibungen von Wissen untersucht.

In einem weiteren Teilprojekt wurde der Erwerb von Wissen über indoor-environments (Wohnungen und Zimmer, mit und ohne Möblierung) untersucht, ein Szenario, das sich im Hinblick auf die für die haptische Exploration prominenten Elemente stark vom VAVETaM-Szenario unterscheidet: Insbesondere ist es bei der haptischen Erkundung notwendig, auch während – zeitlich sehr kurzen - Explorationsereignisse über den auditorischen Kanal mehrere Inhalte synchron vermitteln zu können. Diese Anforderung konnte durch die Verwendung von geeigneten Sonifikations „überlagerungen“ erfolgreich erfüllt worden.

Auditiv-haptischer Zugang zu räumlich-graphischen Repräsentationen

MitarbeiterInnen

Publikationen