Nicht fragen! Testen!

Fachartikel in Netzwoche von Peter Hogenkamp, Zeix

Fragen Sie Ihre User, was Sie wollen, aber fragen Sie sie auf keinen Fall, wie ihnen die Usability Ihrer Website gefällt. Denn es zählt nicht, was der User darüber sagt, sondern vielmehr, wie er sich auf der Website verhält und wie dieses Verhalten zu intepretieren ist.

Vor kurzem lancierte eine bekannte Schweizer Firma eine Extranet-Applikation. In der Demo sah die Software gar nicht schlecht aus, auch in Sachen Benutzungsfreundlichkeit. Ich fragte, ob die Firma sie vor der Einführung auch auf ihre Usability getestet habe. «Natürlich», kam die stolze Antwort, «das haben wir mit einer Firma aus Luzern* gemacht. Die haben die User hier die Software ausprobieren lassen, und dann sind alle zu einer Gruppendiskussion nach Luzern gefahren, wo jeder sagen konnte, wie es ihm gefallen hat.» Das Vorgehen klingt auf den ersten Blick plausibel, ist aber leider grundfalsch. Aus vier Gründen:

Fehler: «Ausprobieren lassen»
Wer dem User nur aufträgt: «Probier mal aus, klick ein bisschen rum», wird daraus kaum konkrete Ergebnis ableiten können, schon gar keine klar auswertbaren, denn wie will man ein das Rumklicken als Erfolg oder Misserfolg qualifizieren können? Ein Usability-Test besteht aus konkreten, aufeinanderfolgenden Aufgaben, zum Beispiel: Produktsuche ? Produkt auswählen ? in den Warenkorb ? Registration ? Checkout ? nachträglich Bestellmenge ändern etc.

Fehler: «nach Luzern fahren»
Wer seine Testpersonen nach Luzern fahren lässt, testet nicht die Website, sondern vor allem das Erinnerungsvermögen der Tester. Ausserdem werden nicht alle User den Test gleichzeitig gemacht haben, sondern vermutlich lagen mehrere Tage zwischen dem ersten und dem letzten Test, bevor sich alle gemeinsam auf den Weg machten. In unserem Testlabor erleben wir User, die sich fünf Minuten nach dem Test nicht mehr klar erinnern können, was Ihnen widerfahren ist ? wer eine Woche danach diskutiert, dürfte auf sehr nebulöses Wissen treffen.

Fehler: «sagen, wie es ihm gefallen hat»
Der Standardsatz in der Vorbesprechung jedes Usability-Tests lautet: «Nicht Sie werden getestet, sondern die Website.» Die wenigsten Testpersonen verhalten sich danach, sondern sie fühlen sich in einer Prüfungssituation, in der sie etwas leisten müssen; ausserdem sagen sie meist lieber Nettes über die Firma, auf deren Kosten Ihnen gerade ein Kaffee offeriert wurde. Wenn Sie auf Fehler stossen, suchen sie diese oft bei sich anstatt bei der Website. Wir haben Tests durchgeführt, bei denen User weniger als 20% der gestellten Aufgaben lösen konnten und dennoch auf die anschliessenden Fragen: «Wie sind Sie klar gekommen?» antworteten: «Überhaupt keine Probleme gehabt. Die Website ist sehr gut und sehr übersichtlich.» Mit dieser Frage testet man also eher die Selbsteinschätzung sowie die Bereitschaft, vermeintliche eigene Fehler zuzugeben.

Fehler: «Gruppendiskussion»
Wenn also der User wie gesehen schon im Einzelinterview kaum nützliche Aussagen machen kann ? wie wahrscheinlich soll es dann erst in der Gruppendiskussion sein, wo die Personen sich auch noch gegenseitig beeinflussen.

Nicht dass es ganz und gar abwegig wäre, den User zu fragen, im Gegenteil, um etwas über sein Verhalten und über seine Bedürfnisse herauszufinden, ist es sogar unabdingbar. Nur muss man wissen, welche Aussagen man wie interpretieren muss ? alle müssen in Relation zum beobachteten Verhalten gesetzt werden. Es gilt die englische Redensart: «Actions speak louder than words.»

In der Marktforschung oder in der Demoskopie ist man sich dieser Tatsachen längst bewusst: Die besten Untersuchungen macht nicht der, der alle Antworten der Befragten wortwörtlich nimmt, sondern der, der sie am besten zu deuten weiss. In Sachen Usability hat sich das jedoch noch nicht herumgesprochen. Wie anders ist es zu erklären, dass Betreiber namhafter Websites nach Relaunches Onlineumfragen machen: «Wie gefällt Ihnen unser neues Design?» Klick, klick, klick ? womöglich gibt es noch etwas zu gewinnen, so dass die Schnäppchenjäger denken: «Ich gebe lieber eine gute Note.» ? und schon lautet das Ergebnis: «74% sind der Meinung: Das war Spitze!» Gegenseitiges Schulterklopfen von Auftraggeber und Agentur ? und wenn die User danach kaum etwas kaufen, liegt es sicher an der Konjunktur.

Vor einem Jahr präsentierte das Nachrichtenmagazin «Facts» die Entwürfe von acht Agenturen für das anstehende Redesign und schrieb: «Sie, liebe FACTS-Leserinnen und -Leser, bestimmen mit, wie FACTS Online in Zukunft aussehen wird.» Die Entwürfe standen jedoch nicht etwa als HTML-Prototypen im Web, sondern mit kleinen, wenig detailreichen Abbildungen im Heft, die kaum Aussagen über die Bedienbarkeit zuliessen. Das Ergebnis ist ein mehrfacher Konjunktiv: Der User wird befragt, was er denkt, was ihm gefiele, wenn es umgesetzt würde. Würde man wenigstens zugeben, dass man eigentlich nur eruiert, welche bunten Bilder den Leuten am besten gefallen, aber nein: Mit solchen Abstimmungen meinen viele, auch die Usability-Frage geklärt zu haben, denn man hat ja «die User gefragt.» Immerhin, eins machten die Facts-Leute richtig: Als die Leser einen eher mediokren Vorschlag auf Platz 1 wählten, realisierten sie einfach einen anderen.

Regeln für aussagekräftige Usability-Tests

1. Lassen Sie konkrete Aufgaben lösen
Den Freund/die Freundin am Abend ein bisschen auf der neuen Site rumklicken lassen ist kein Usability-Test. Stellen Sie konkrete Aufgaben.

2. Nicht befragen, sondern beobachten
Fragen Sie den User ruhig nach seiner Meinung zu allem. Aber wenn er etwas anderes sagt, als Sie zuvor beobachtet haben, verlassen Sie sich auf die Beobachtung.

3. Keine Spekulationen
Fragen Sie insbesondere nicht spekulativ: Hätte er irgendwo geklickt, wenn dort «Klicken Sie hier» gestanden hätte? Wir können alle nur mutmassen, auch der User weiss es nicht.

4. Usability ist ein «Vor-Ort-Geschäft»
Wenn Ihnen jemand erzählt, die Usability Ihrer Website könne man neuerdings auch «remote» oder per Online-Fragebogen testen, seien Sie skeptisch.

5. Schauen Sie selbst zu
Nehmen Sie an der Observation des Tests teil. Die Livebeobachtung gibt Ihnen einen unverfälschten Eindruck vom Verhalten der User auf Ihrer Site.

6. Wählen Sie den richtigen Dienstleister
Wenn Sie mit einem externen Partner zusammen arbeiten, prüfen Sie sich vorher, ob dessen Methoden auch geeignet für Ihre Fragestellung sind.

*Ort geändert

aus: Netzwoche 29/2002

Artikel als PDF: