TP9: Design und Evaluation


Der zum Zeitpunkt der Fußballweltmeisterschaft lauffähige Prototyp 'Mobiles Endgerät' soll in seiner Leistungsfähigkeit evaluiert werden. Im Projekt SmartKom wurden umfangreiche Studien zur Evaluierbarkeit von multimodalen Dialogsystemen durchgeführt. Auf diese Expertise kann in SmartWeb zurückgegriffen werden. Insbesondere hat sich in SmartKom gezeigt, dass es nicht sinnvoll ist, einen komplexen Prototypen von vollkommen naiven Versuchspersonen evaluieren zu lassen. Die Ergebnisse dieser Versuche waren in den meisten Fällen nicht sinnvoll zu verwerten. Desgleichen hat sich gezeigt, dass komplexe Systeme der Mensch-Machine-Interaktion (MMI) sich nicht sinnvoll in kurzzeitigen Experimenten evaluieren lassen. Insofern besteht ein gewisses Dilemma bei der Evaluierung von MMI-Systemen: Einerseits sollte man Versuchspersonen in genügender Anzahl zur Verfügung haben, um zu statistisch relevanten Aussagen zu kommen, andererseits hat sich gezeigt, dass Ergebnisse von Langzeitstudien, bei denen die Versuchspersonen Zeit und Gelegenheit haben, die Möglichkeiten des Systems wirklich auszutesten, sehr viel wertvollere Erkenntnisse liefern.


Ab Verfügbarkeit der Demonstratoren sollen die realisierten Umfänge (Bedienung/Anzeige, Adpativität) hinsichtlich ihrer Eignung für die Nutzung im/auf dem Fahrzeug überprüft werden. Begleitend werden Akzeptanzurteile erhoben.

Entsprechend der Kompetenzen der Projektpartner werden die Untersuchungen mit Versuchspersonen im usability lab von BMW bzw. auf einer entspr. Teststrecke durchgeführt. Eine besondere Herausforderung stellt die Bewertung nutzer- oder situationsadaptiver features dar, da diese Frage von etablierten Evaluationsmethoden nicht oder nur unzureichend adressiert wird. Daher soll eine effiziente Erprobungsalternative zum Langzeitversuch spezifiziert und getestet werden.


Neue mobile und multimodale Dienste haben nur ökonomischen Erfolg, wenn sie an den Bedürfnissen, Erwartungen und Fähigkeiten der Benutzer ausgerichtet sind, d.h. wenn ihre Entwicklung hinsichtlich Funktionsumfang und Gestaltung der Benutzungsschnittstelle und hinsichtlich der Service-Qualität am Benutzer orientiert erfolgt.





© Webmaster
Last modified: Mon Dec 6 13:24:57 CET