User Experience Evaluationsmethoden

Dies ist der zweite Teil der Blogserie “Die User Experience messen”. Wenn Sie mehr zu einer möglichen Kategorisierung verschiedener User Experience Forschungsmethoden erfahren möchten und wann welche Methode am besten geeignet ist, können sie zum Teil 1: Wann ist welche UX Forschungsmethode geeignet? springen.

In diesem Beitrag geht es um User Experience Evaluationsmethoden, mithilfe derer einzelne oder mehrere Aspekte der User Experience gemessen werden können. Die User Experience Evaluation geht dabei über die alleinige Usability hinaus, da UX viel mehr beinhaltet als die reine Benutzerfreundlichkeit.
Bei der User Experience geht es um das persönliche, subjektive Erlebnis der Benutzer vor, während, und nach der Benutzung eines Produkts. Wenn Sie mehr dazu erfahren möchten, können Sie sich den Blogpost “Was ist User Experience” ansehen.
 

Es gibt zwei übergeordnete Arten von Evaluationen:

• Die formative Evaluation bezeichnet eine fortlaufende, oft iterative, Evaluation eines Produkts oder Services während der Entwicklung, um Bereiche mit Verbesserungspotential zu identifizieren. Ein Beispiel dafür aus dem Schulkontext sind die regelmässigen Prüfungen während dem ganzen Schuljahr. Die formative Evaluation hilft das Design für ein Produkt oder einen Service zu “formen”.
• Die summative Evaluation dagegen kommt kurz vor oder nach Abschluss der Entwicklungsphase zum Zuge, wobei es darum geht, herauszufinden inwiefern die Anforderungen und Ziele erfüllt wurden und wie gut die Qualität der User Experience ist. Das Analog im Schulkontext wären die Jahresabschlussprüfungen.

Grosse Bandbreite von Methoden und Messinstrumente

Es gibt sehr viele Methoden und Messinstrumente um die User Experience, oder einzelne Aspekte davon, zu messen, die auf verschiedene Arten kategorisiert werden können. Die Evaluationsmethoden sind dabei nicht immer scharf von den Forschungsmethoden zu unterscheiden. 

Ein Usability Testing zum Beispiel könnte vor einem Redesign angewandt werden um zu sehen, was verbessert werden muss oder was den Benutzern noch fehlt und dadurch helfen, ein neues Konzept zu entwickeln. Während der Designerstellung können Usability Testings helfen immer wieder zu überprüfen, ob das Konzept einfach bedienbar ist. Nach Fertigstellung eines Produkts kann ein Usability Testing dabei helfen die Lösung zu überprüfen und zu evaluieren, ob das Ziel einer intuitiven Bedienung erreicht worden ist.
 

Ein Card-Sorting andererseits ist nicht geeignet als Evaluationsmethode.  Bei diesem Vorgehen geht es darum, Inhalte so in Menüpunkte und Obermenüpunkte zu gruppieren, dass eine Navigationsstruktur erstellt werden kann, die für die Benutzer einfach verständlich ist und sich mit ihrem mentalen Modell deckt. Diese Methode ist nicht geeignet um zu überprüfen, ob jetzt die Navigation einfach und verständlich für die Benutzer ist, sondern hilft dabei, eine Menüstruktur zu entwickeln.

Eine mögliche Kategorisierung

Eine mögliche Kategorisierung von User Experience Evaluationsmethoden bietet die Arbeit von Roto et al., die UX Messmethoden auf Basis des Teilnehmertyps kategorisieren und (zusammengefasst) zu folgenden Kategorien kommen:

• Laborstudien
• Feldstudien
• Umfragen (z.B. Online)
• Expertenevaluationen
• und gemischte Methoden, die verschiedene Arten kombinieren.

Auf der Seite AllAboutUX werden 82 verschiedene Methoden beschrieben, wie die User Experience, oder Aspekte davon, gemessen werden kann, wobei diese Methoden den Fokus auf die Evaluation legen und nicht nur das Verhalten und die Bedürfnisse der Benutzer verstehen wollen. Es sind auch keine Methoden, die den Fokus auf Inspiration oder Ko-Kreation haben, sondern einen Teil des iterativen Design- und Entwicklungsprozesses darstellen und Inputs für die nächsten Phasen liefern können (formativ) oder ein entwickeltes Produkt evaluieren können (summativ).

In diesem Blogeintrag werden nun noch einige Messinstrumente kurz vorgestellt:

Quantitative Messung, z.B. als Online Umfrage:

Bildquelle: attrakdiff.de

Eine Möglichkeit die Produktattraktivität quantitativ zu messen ist der AttrakDiff Fragebogen, welcher auf dem User Experience Modell von Hassenzahl basiert:
Der AttrakDiff misst die pragmatische Qualität mit Attributen wie “praktisch”, “voraussagbar”, “übersichtlich”. Weiter misst das Instrument auch zwei Dimensionen der hedonischen Qualität: "Stimulation" misst, inwiefern das Produkt das Bedürfnis nach Kenntnissgewinn und Fertigkeitsverbesserung mit Items wie “kreativ”, “originell”, “herausfordernd” befriedigen kann. Die zweite Dimension "Identität" misst wie gut ein Produkt dabei helfen kann anderen selbstwertdienliche Botschaften zu kommunizieren und wird mit Attributen wie “bringt mich anderen Leuten näher”, “fachmännisch”, “verbindend” erhoben. Als dritte Komponente wird noch "Attraktivität" gemessen, welche die Gesamtbewertung des Produkts mit Items wie “gut”, “attraktiv”, “angenehm” erfasst.

Das Problem beim AttrakDiff ist, dass er nur anzeigen kann, ob UX Probleme vorliegen oder nicht, aber nicht, was genau die Probleme sind. Der Vorteil ist, dass der Fragebogen abstrakte, erlebnisorientierte Attribute anstelle von konkreten Merkmalen misst und die Befragten so nicht das System bis ins letzte Detail kennen müssen. So können verschiedene Systeme mit dem genau gleichen Fragebogen evaluiert werden, mit dem Vorteil dass so vergleichende Aussagen getroffen werden können, zum Beispiel im Rahmen von Konkurrenzanalysen oder A/B Tests.

Ganz ähnlich aufgebaut ist der UEQ (User Experience Questionnaire) der auf 26 bipolaren Items basiert, die mittels 7-stufigen semantischen Differentialen bewertet werden. Die Items messen auf sechs Skalen die Dimensionen pragmatische Qualität, hedonische Qualität, und Attraktivität.

Weiter gibt es noch den meCUE (modular evaluation of key Components of User Experience), der auf dem analytischen Komponentenmodell des Nutzungserlebens, das CUE Modell (Components of User Experience) basiert, welches zwischen der Wahrnehmung aufgabenbezogener und nicht-aufgabenbezogener Produktqualitäten unterscheidet (http://mecue.de/home/Theorie.html), und Nutzeremotionen als wesentlicher Faktor für die Nutzungskonsequenzen beachtet. Im CUE Modell wird weiter davon ausgegangen, dass das subjektive Erleben durch bestimmte Interaktionsmerkmale beeinflusst wird, die sich auf den Anwender, das Produkt und den Nutzungskontext beziehen. Im meCUE werden insbesondere die Komponenten Produktwahrnehmungen, Emotionen, und Konsequenzen gemessen, mit einem Gesamturteil ergänzt.

Qualitative Messung: Usabilitytest im Labor

Bildquelle: David Travis auf Unsplash

Als Qualitative Messung gibt es zum Beispiel den klassischen szenariobasierten Usability Test im Labor: Dabei lässt man im Idealfall Personen aus der Zielgruppe, also potentielle oder bestehende Benutzer, ein neues oder überarbeitetes Produkt benutzen. Dadurch kann man herausfinden wo die grössten Stolpersteine im aktuellen Design sind und wie benutzerfreundlich das Produkt in seiner Bedienung ist. Bei dieser Art von Usability Test werden mehrere, möglichst realistische Szenarios erstellt, die eine echte Benutzungssituation darstellen könnten und so designt sind, dass das Bedienkonzept und die Benutzerfreundlichkeit des Produkts getestet werden kann. Ausserdem können standardisierte Fragebögen, wie z.B. der AttrakDiff2 als ergänzende Datenquellen in einen Usability Test eingebaut werden, wobei ein Gleichgewicht gefunden werden muss zwischen dem zusätzlichen Erkenntnisgewinn und der Eignung für die aktuelle Forschungsfrage und dem zusätzlichen Zeitaufwand für die Durchführung und Auswertung des Tests.
Ein Usability Test ist gut geeignet um Schwachstellen in der Bedienbarkeit oder im Konzept zu identifizieren. Man kann davon ausgehen, dass bereits mit einer handvoll Testpersonen schon relativ viele Benutzerprobleme identifiziert werden können. 

Wir helfen Ihnen gerne dabei die Benutzerfreundlichkeit Ihres Produkts mit individuell zusammengestellten Usability Tests für Ihre Webseite oder Ihre App zu evaluieren.
Weitere Vorteile von Usability Tests finden Sie hier.