Qualitative Methoden haben einen festen Platz in der Erforschung der Internetnutzung, in der Evaluation von Webauftritten und in der Produktentwicklung von Applikationen. Der vorliegende Artikel gibt einen Überblick über die Gründe, die qualitative Untersuchungen im Umfeld neuer Technologien unverzichtbar machen.
Qualitative Forschung kommt immer dann zum Einsatz, wenn über den Untersuchungsgegenstand selbst noch wenig bekannt ist. Im Kontext mit Webtechnologien erforschen ihre Methoden Ursachen und Zusammenhänge für ein bestimmtes Verhalten, eine Meinung oder eine Wahrnehmung – meist anhand offener Fragen bzw. der Beobachtung ganzer Verhaltens- oder Denksequenzen.
Schnelle technologische Entwicklung
Das Internet mit all seinen Anwendungen ist ein komplexes Studienumfeld, in dem Qualitative Methoden in der User-Forschung — Plädoyer für ein verkanntes Untersuchungsdesign ein einziger Begriff für eine Vielzahl von Nutzungssituationen und Erfahrungen steht. Und es ist ein Umfeld, das sich in rasantem Tempo weiterentwickelt: Ein Mail-Client beispielsweise sieht heute ganz anders aus als noch vor zwei Jahren. Innerhalb des WorldWideWeb verändern neue technische Konzepte – wie aktuell AJAX – die Darstellungsmöglichkeiten und logischen Zusammenhänge für einzelne Websites. Bei jeder solchen Weiterentwicklung werden die Annahmen der User, wie etwas im Internet funktionieren müsste, auf die Probe gestellt.
Die Kenntnisse und Erwartungen der User folgen solchen Entwicklungen deshalb mit Verzögerung – und auch nicht unbedingt in die gewünschte Richtung. Wegen dieses komplexen und dynamischen Umfelds sind über das Informations- und Entscheidungsverhalten der User insgesamt wenig verlässliche Fakten bekannt, nach denen Webprodukte gesteuert werden könnten.
Das Explorieren des Userverhaltens – und damit das qualitative Erforschen – wird zum entscheidenden Erfolgsfaktor für Geschäftsmodelle im Internet.
Userverhalten braucht Beobachtung
Auf einer Website bzw. in einer Applikation muss der User sehr viele Informationen verarbeiten: die Komplexität der Anwendung selbst (z. B. Anzahl und Art der Funktionen, verwendete Begriffe, und andere Einflüsse (z. B. bewegte Objekte auf der Site wie Werbung, das Auftreten technischer Fehler usw.). Dies alles versucht er mit seinen Erfahrungen und Kenntnissen in Einklang zu bringen. Dabei können die Vorstellungen (mentale Modelle) der User – wie die notwendigen Schritte zu einem Ziel aussehen müssten, was möglich ist und was nicht –
oft überraschend ausfallen. Wichtiger Indikator ist dann das tatsächliche Surfverhalten dieser Person; also wie sie die Website betrachtet, welche Schritte sie unternimmt und welche Inhalte und Navigationshilfen sie wie interpretiert. Diese Einschätzungen und Verhaltensmuster im Internet geben häufig nur Sinn, wenn sie im gesamten Kontext der Person betrachtet werden können, also vor dem Hintergrund ihres Vorwissens, ihrer (produktspezifischen) Einstellungen und ihrer Erfahrung mit der Applikation oder mit dem Anbieter. Das genau leistet die qualitative Forschung im Webumfeld durch die Erfassung von Verhaltenssequenzen, wie z. B. im Usability-Test für einen Schweizer Reiseanbieter..
Praxisbeispiel:
Das Ziel der Studie bestand darin, die Gründe zu finden, wieso zwar viele User die Website des Reiseanbieters zur Information z. B. über Flüge nutzten, aber nur ein marginaler Teil auch Buchungen über die Website tätigte. Im Test zeigte sich, dass die User recht problemlos durch die Suchmasken und Angebote navigierten, jedoch die unterschiedlichen Preisangaben nicht eindeutig interpretieren konnten und die Optionen der Preisanzeige nicht verstanden. Hinzu kamen mehrere kleine technische Fehler im Informationsprozess. Beides zusammen führte dazu, dass die User von vornherein dem Kaufprozess misstrauten – und deshalb zur Buchung auf andere Websites oder in physische Reisebüros auswichen.
Solche Informations- und Entscheidungsprozesse können in einer quantitativen Studie nicht abgebildet werden bzw. wären mit einer enormen Datenflut und mit grossem Budgetaufwand verbunden.
Komplexe Fragestellungen beantworten
In quantitativen Untersuchungen werden Antwortmöglichkeiten eingeschränkt, um sie zählbar zu machen. Qualitative Kommentare können nur am Rande betrachtet werden. Was der Auftraggeber aber in vielen Untersuchungsfällen zur Entscheidung braucht, ist oft zu komplex, um es in einer vertretbaren Anzahl quantifizierbarer Fragen abzubilden. Eine Frage nach der Beurteilung der Website wie «Beurteilen Sie die Benutzerfreundlichkeit auf einer Skala von 1 bis 10» überfordert den User: Hier spielen zu viele Aspekte eine Rolle, wie z. B. die genutzten Funktionen, die Kenntnis und damit auch der mögliche Vergleich von Konkurrenzangeboten, die eLiteracy des Befragten, die Markenwahrnehmung usw.*
Im qualitativen Umfeld können diese Wahrnehmungen und Denkweisen des Benutzers im Zusammenhang registriert werden und Widersprüche aufgedeckt und hinterfragt werden. Das Ziel besteht dabei zunächst darin, herauszufinden, welche Gründe etwa zu einem Transaktionsabbruch führen können, warum etwas nicht gefunden wird und wo gemeinsame Muster oder Zusammenhänge im Verhalten einiger Testpersonen bestehen.
Praxisbeispiel:
Im Vorinterview zu einer Newsletter-Studie gaben User an, ob und welche Newsletter sie abonniert hätten. Im Test am Computer der Testpersonen zu Hause stellte sich heraus, dass die meisten nicht richtig beurteilt hatten, welche Newsletter sie tatsächlich erhielten. Ein wichtiger Grund dafür war, dass sie den Absender falsch interpretierten und die Inhalte schlecht unterscheiden konnten. Die Konsequenz daraus war, dass sie die beworbenen Artikel nicht am richtigen POS vermuteten – also Enttäuschungen beim Einkauf vorprogrammiert waren bzw. einige Testpersonen schon im Test von schlechten Erfahrungen berichteten.
Heterogene Vorstellungen erkunden
Ein qualitatives Vorgehen ist dann besonders überlegen, wenn bei den Usern keine homogenen mentalen Modelle zu Ablauf und Ergebnis eines Prozesses bestehen. Während das Verständnis von Angebot und Ablauf z. B. eines Kinobesuchs weitgehend identisch ist (Billett kaufen, Platz suchen, Film ansehen), liegen die Vorstellungen über Inhalte eines Webangebots oft weit auseinander.
Praxisbeispiel:
Ist ein «Baukasten» zur Erstellung einer eigenen Website für Kleinstfirmen und Vereine verkaufbar? Und wenn ja, zu welchem Preis? In einer qualitativen Studie zeigte sich, dass die User sehr unterschiedliche Vorstellungen hatten, welche Kosten durch Aufbau und Betrieb einer Website überhaupt entstehen und was dazu nötig ist. Ohne umfassende Produktvorstellung konnten sie auch keine Zahlungsbereitschaft für das Produkt entwickeln.
Nur mit qualitativen Methoden lassen sich solche komplexen Zusammenhänge erfassen. Dies gilt insbesondere dann, wenn diese Vorstellungen nicht einmal innerhalb der üblichen demografischen Gruppen homogen sind. Gibt es eines oder mehrere dominante mentale Modelle, lassen sich diese so auffinden und in der Online-Userführung berücksichtigen.
Zusätzliche entscheidungsrelevante Erkenntnisse gewinnen
Das Involvement mit einer Frage (z. B. die Intensität der Präferenz für einen Navigationsbegriff oder die Frustration im Labor über eine Information, die nicht gefunden wurde) lässt sich gerade in einer qualitativen Studie gut erfassen. Spontane Emotionen der Befragten liefern wertvolle Hinweise auf Sympathie und Nutzwert der Lösungen für den jeweils befragten User. Im qualitativen Umfeld können solche Faktoren «en passant» mit verarbeitet werden, ohne daraus separate Untersuchungsitems zu machen.
Praxisbeispiel:
Acht Personen sollten sich nach dem Usability-Test einer neuen Anwendung für den am besten passenden Namen entscheiden. Alle acht entschieden sich «wie aus der Pistole geschossen» für die gleiche Alternative: ein wertvolles Indiz dafür, dass der Name für die Zielgruppe nicht nur «das kleinste Übel», sondern auch sprechend für die Dienstleistung ist.
Widerlegen von Annahmen zum Userverhalten
Die Annahmen der Websitebetreiber darüber, wie sich User durch die Site bewegen und Entscheidungen treffen, stimmen oft nicht mit der Realität überein. Behauptet wird gerne, dass z. B. junge User schneller in der Bedienung wären, Männer versierter vorgingen und User mit höherer Bildung logischer. Dies deckt sich nicht mit den Beobachtungen in qualitativen Untersuchungen im Labor.
Praxisbeispiel:
In mehreren Testreihen mit Jugendlichen zwischen 12 und 17 auf Websites im Bildungsbereich zeigte sich z. B., dass diese vor allem ungeduldiger waren, wenn etwas nicht sofort funktionierte oder nicht auffindbar war. In einem der Tests wurde zudem deutlich, dass die Affinität zum Medium weniger eine Rolle bei der Bedienung der Website spielt als das Lesen relevanter Contents zur richtigen Zeit und das Begriffsverständnis im Kontext, z. B. von «Nickname».
Vorbereitung oder Interpretation quantitativer Studien
Quantitative Untersuchungen sind – schon aus Kostengründen – darauf angewiesen, dass ihre Inhalte weitgehend standardisiert erfasst werden können. Voraussetzung dafür ist, dass die relevanten möglichen Antworten bei Befragungen bzw. Verhaltensvarianten grundsätzlich bekannt sind.
Das Ergebnis beschreibt dann das untersuchte Phänomen – gibt aber in der Regel keine Auskunft darüber, wie es dazu gekommen ist. (Bestenfalls kann auf Basis von Korrelationen zwischen Aussagen über Ursache-Wirkungs-Beziehungen gemutmasst werden.) Ohne qualitative Erhebungen vorab werden in Umfragen schnell irrelevante Fragen gestellt oder falsche Annahmen getroffen, die sich z. B. in der Anschaffung einer teuren Funktionalität äussern können, die auf dieser Website niemand braucht oder vermuten würde (z. B. Messenger, Shop-Funktion oder ein passwortgeschützter Bereich).
Auch der umgekehrte Fall einer qualitativen Studie nach einer quantitativen Erhebung kann Sinn machen.
Praxisbeispiel:
Eine Bank führte eine quantitative Zufriedenheitsumfrage per Telefon durch, bei der die Zufriedenheit mit dem eBanking-Angebot erfasst werden sollte. Ergebnis: Die Befragten nutzten nur wenige Funktionen, waren aber zufrieden mit dem Angebot. Daraus ergab sich für die Bank die Frage, warum diese Funktionen nicht genutzt werden. Sollten sie im nächsten Release der Anwendung weggelassen werden? Im qualitativen Usability Assessment stellte sich dann heraus, dass zwar ein Bedürfnis nach diesen Funktionen bestand, sie aber auch von versierteren Usern nicht gefunden worden waren.
Pragmatisches Vorgehen in der Produktentwicklung
Qualitative Methoden haben auch ihren festen Platz in der Entwicklung von Internet- oder Intranetanwendungen. Auch Skizzen, konzeptionelle Entwürfe und Bedienungsabläufe müssen qualitativ beurteilt werden, um die Erwartungen und Bedürfnisse der User – und damit ihre Akzeptanz – in der Entwicklung zu berücksichtigen. Der erkundende Charakter der Erhebungen steht dabei im Vordergrund: Die Annahmen der User, falsche Suchwege und alternative Benennungen für Navigationselemente fliessen umgehend in den jeweils nächsten Entwicklungsschritt ein. Viele neuere Websites und Anwendungen des letzten Jahres wurden mit qualitativen Methoden im «User Centered Development» gebaut. (Allein bei Zeix wurden solche Konzepte und Testreihen für z. B. directories.ch, homegate.ch, local.ch oder Website und Intranet der ZKB realisiert.)
Hilfe zur Entscheidung und bei der Prioritätensetzung
Die Erforschung von Wahrnehmung, Bedürfnissen und Verhalten von Kunden erfüllt in der Regel den Zweck, einen Handlungsbedarf zu überprüfen bzw. Prioritäten festzulegen. Qualitative Usability-Tests im Labor werden meistens auf Video dokumentiert. Neben Erfüllungszeiten und -quoten liefern sie insbesondere Aussagen zum Suchverhalten im konkreten Fall, zum Leidensdruck und häufig auch zu den Alternativen, d. h., wann und wohin der User aussteigt. Gerade das «Leiden» der Testpersonen bei der Suche nach einer Information, die leicht auffindbar sein müsste, ist aufschlussreich. Die Ergebnisse zeigen eben nicht nur, wie oft ein Problem auftritt, sondern gerade auch, wie gravierend es für die User Experience ist, d. h. für die gesamte Interaktion des Kunden mit der Website des Anbieters.
Praxisbeispiel:
In einer Bannerwerbung wurde sofort in den Kaufprozess für das Produkt gelinkt. Die Testpersonen suchten aber nähere Informationen und versuchten den gleichen Navigationsweg mehrmals, da sie meinten, etwas übersehen zu haben. Als dies erfolglos blieb, wechselten mehrere direkt auf die Websites der Konkurrenz. Diese Videosequenzen sorgten dafür, dass der Prozess innert eines Monats vollkommen umgebaut wurde und damit die Kaufabbruchquoten extrem sanken.
Hoher Erkenntnisgewinn bei methodischer Sorgfalt
Qualitative Studien sind nicht weniger objektiv als andere Forschungsdesigns. Die Qualität der Ergebnisse ist abhängig von der richtigen Anwendung der Methoden. Zum Beispiel ist die Ergebnis-Qualität beeinträchtigt, wenn interne Vorgesetzte ihre Mitarbeiter bei der Nutzung des aktuellen Intranets beobachten. Bei sorgfältiger Formulierung des Forschungsproblems, realitätsnahen Fragen bzw. Aufgaben, neutralen Beobachtern und systematischer Auswertung liefern qualitative Studien jedoch verlässliche Einsichten, die auch zu gültigen Schlussfolgerungen führen.
Fazit
Qualitative oder quantitative Untersuchungsdesigns sind keine Alternativen. Vielmehr gilt es, im Vorfeld richtig abzuschätzen, ob über den Forschungsgegenstand bereits ausreichend viel bekannt ist. Je komplexer die Fragestellung ist, umso weniger wird dies der Fall sein. Dann ist eine vorausgehende qualitative Abklärung dringend anzuraten.
* Mit eLiteracy sind die erworbenen Kenntnisse und Fähigkeiten von Usern bei der Bedienung von Internet und Computer gemeint.
Zur Website des Verband Schweizer Markt- und Sozialforscher
aus: Verband Schweizer Markt- und Sozialforscher | Jahrbuch 2006
Jacqueline Badran, Ina Hedwiger
Artikel Userforschung (PDF, 4 Seiten, 460KB)
Kommentare