TP2: Verteilte Multimodale Dialogkomponente für das mobile Endgerät

Eine der großen Herausforderungen des Projektes stellt sich an der Schnittstelle, die die Kommunikation zwischen dem Benutzer und den Diensten des Semantic Web herstellt. Das mobile Endgerät, ein PDA oder Smartphone, verfügt nur über eine begrenzte Bildschirmgröße, auf der die Ergebnisse der Informationssuche dargestellt werden müssen. Der Benutzer kann auf diese Ergebnisse multimodal mit Sprache, Gestik und anderen Modalitäten referieren und seine Anfrage weiter verfeinern. Dabei soll er möglichst wenig eingeschränkt werden und den Modalitätenmix nach dem Benutzungskontext und seinen persönlichen Vorlieben frei wählen können.

Die Arbeitspakete zur Realisierung der multimodalen Dialogkomponente betrachten diese Herausforderung und erforschen innovative Konzepte zur Interaktion in potentiell offenen Domänen. Dabei konzentrieren sich die Arbeiten auf die Interaktionen im Themenbereich WM 2006 und im Umfeld des Szenarios motorradbezogene Dienste. Schwerpunkte sind hierbei Forschungsthemen aus den Bereichen der Modalitätenfusion und -fission, sowie der multimodalen Informationspräsentation, die der Benutzer mittels Gestik oder Haptik manipulieren kann. Die Präsentation verwendet innovative Visualisierungstechnologien, um auch komplexe Suchresultate übersichtlich und leicht verständlich zu präsentieren. Die Architektur des Systems wird von Beginn an verteilt definiert und besteht aus leistungsfähigen Komponenten, die serverbasiert angelegt sind. Falls die Verbindung zum Endgerät nicht aufgebaut werden kann, übernehmen dort eingeschränkte Ausprägungen der Verarbeitungsmodule die Interaktion. Der Übergang zwischen Online- und Offlineverarbeitung soll für den Benutzer möglichst transparent sein. Die verteilte, skalierbare Architektur der verteilten multimodalen Dialogkomponente unterstützt diesen fließenden Übergang. Die Arbeiten in diesem Teilprojekt werden eng mit denen im Teilprojekt 3 Eingebettete Dialogkomponente für das Kfz abgestimmt und die Schnittstellen und Verarbeitung abgeglichen.





© Webmaster
Last modified: Thu Jun 24 11:43:17 CEST