User Research ist inzwischen unerlässlich, wenn man erfolgreich gute Produkte oder Systeme entwickeln will, die leicht zu bedienen und angenehm in der Nutzung sind. Doch die Umsetzung von User Research ist nicht trivial und in der Durchführung können sich Fehler einschleichen. Denn es kommen Erhebungsmethoden zum Einsatz, bei denen der:die User Researcher:in direkt mit dem:der Nutzer:in interagiert. Solche Methoden sind z. B. der Usability Test, das Interview oder die Fokusgruppe. Durch den direkten Kontakt ergibt sich eine sozialpsychologisch wirksame Situation. Verschiedene Faktoren können dabei das Verhalten und die Antworten der Teilnehmer:innen beeinflussen und so die Ergebnisse verfälschen.
Nachfolgend möchte ich zwei Beispiele aus meinem Usability Test Alltag während meiner Zeit bei einem bekannten Emailanbieter schildern, bei denen eine solche Beeinflussung stattgefunden hat. Im ersten Fall spielte die Intonation einer non-verbalen Äußerung des Moderators eine Rolle. Im zweiten Fall verfälschten die Gegebenheiten der Testsituation das Ergebnis.
Der Ton macht die Musik
Ein Freelancer war bei uns damit beauftragt, für ein längerfristiges Entwicklungsprojekt iterativ Usability Tests durchzuführen. Die Prototypen dafür produzierten üblicherweise User Interface Designer:innen und er lieferte Input und Feedback auf Grundlage der Testerkenntnisse. Einmal jedoch wollte er auch einen Lösungsvorschlag liefern und erstellte ein Wireframe-Mockup. Den Usability Test für die Überprüfung moderierte er selbst – leider. Denn was ist passiert?
Im Test setzte er wie gewöhnlich die Methode des lauten Denkens ein. Beim Lauten Denken schildern die Teilnehmenden fortlaufend ihre Gedanken, Einschätzungen und Erwartungen, während sie versuchen, das System zu bedienen. Um dem:der Proband:in zu signalisieren, dass seine:ihre Äußerungen wahrgenommen wurden, hat der Freelancer immer wieder ein hmhm eingeworfen.
Jetzt gibt es allerdings zwei Arten von hmhm. Eines, das auf dem zweiten hm im Tonfall nach oben geht – das aufmunternd und positiv wirkt. Das hören Sie z.B., wenn Sie einer Person erklären, wie sie zum Vergnügungspark kommt. Und ein anderes, das auf dem zweiten hm nach unten geht. Es wirkt enttäuscht, abwertend oder demotiviert. Sagen Sie ihrem pubertierenden Kind, dass es heute den Abwasch machen darf, und Sie hören es.
Tatsächlich hat der Freelancer während seiner Moderation beide Arten von hmhm eingesetzt: Das motivierende, wenn der:die Proband:in den Prototypen lobte, eine Erwartung beschrieb, die der Prototyp erfüllen konnte oder einen „richtigen“ Weg einschlagen wollte. Und das demotivierende, immer wenn der:die Teilnehmende sich negativ äußerte, eine „unpassende“ Erwartung äußerte oder einen „falschen“ Weg beschreiten wollte.
Warum ist das problematisch? Das aufmunternde hmhm wirkt für die Testpersonen wie eine Belohnung. Sie hören es gerne und wollen es – unbewusst – wieder hören. Das führt dazu, dass die Probandinnen und Probanden das Verhalten, das sie vor der Aufmunterung gezeigt hatten, öfter zeigen. In psychologischen Fachkreisen sagt man dazu: Das Verhalten wird verstärkt. Das abwertende hmhm fühlt sich schlecht an, die Teilnehmer:innen wollen das weniger hören und sie zeigen das Verhalten seltener. Das Verhalten wird bestraft. So hat der Freelancer durch den unterschiedlichen Tonfall Ergebnisse provoziert, die seinen Prototypen in einem guten Licht dastehen ließen, anstatt objektiv zu sein.
Was lernen wir daraus? Idealerweise führt die Person, die das zu testende System konzipiert hat, nicht auch die Tests selbst durch. Wenn doch, so sollte sie sensibel dafür sein, dass das System „ihr Baby“ ist, und darauf achten, nicht unbewusst die Testperson zu beeinflussen. Aber auch wenn wir Systeme testen, die wir nicht selbst konzipiert haben, müssen wir als Moderator:in darauf achten, eine neutrale Einstellung zu dem System innezuhaben. Denn auch das Gegenteil kann passieren: Wir reviewen als UX Experte oder Expertin vorab das System, kommen zu der Einschätzung, dass es eine schlechte Usability aufweist und gehen mit dieser Meinung in den Test. Auch in diesem Fall besteht die Gefahr einer unbewussten Beeinflussung. Denn irgendwie wollen wir doch unsere Fachexpertise bestätigt sehen, oder nicht?
Käufliche Liebe
Stellen Sie sich vor, sie wollen einen Kinofilm anschauen. Doch bevor es los geht, wird Ihnen fünf Minuten lang erklärt, warum Sie eine wunderbare Auswahl getroffen haben. Welche Note würden Sie dieser Kurzdarbietung geben?
In den Anfängen meiner Zeit bei dem Emailanbieter wurde den Käufern und Käuferinnen eines Premium-Accounts nach dem ersten Einloggen ein Einrichtungsassistent angezeigt. Aufgabe dieses Assistenten war, dass die Kundschaft sich mit den Premium-Features vertraut machen und sie gegebenenfalls gleich einrichten konnte.
Allerdings wies der Assistent zwei wesentliche Eigenschaften auf: Zum einen wurde weniger erklärt als vielmehr geworben. Die Inhalte wurden regelrecht angepriesen. Das Produktmanagement wollte denen, die die Premiumversion gekauft hatten, zeigen, was der Account alles kann, um sie in ihrem Kauf zu bestätigen. Zum anderen war der Assistent 19 Seiten lang. Ja, tatsächlich. Und die Live-Daten zeigten, dass die Nutzer:innen spätestens auf der fünften Seite absprangen. Daher sollte ich ihn auf Usability testen.
Zu der Zeit habe ich die Teilnehmenden am Ende der Tests Schulnoten für das jeweils getestete System vergeben lassen. Bis dahin lag die Durchschnittsnote zwischen 3 und 4 mit Spitzenwerten bei etwa 2,7. Doch der Einrichtungsassistent erzielte die fulminante Bestnote von 1,9. Dazu kommt die Tatsache, dass alle Teilnehmer:innen den Assistenten im Test von Anfang bis Ende durchgearbeitet hatten – alle 19 Seiten ohne explizite Aufforderung dazu.
Wie passen Live-Daten und Laborergebnisse zusammen? Der Antwort nähern wir uns in zwei Schritten. Zunächst müssen wir verstehen, warum die Probanden und Probandinnen den Assistenten überhaupt komplett durchgearbeitet hatten. Denn sie waren dazu in keiner Weise animiert worden. Sie sollten sich so natürlich wie möglich verhalten und hätten auch jederzeit signalisieren können, an der aktuellen Stelle aussteigen zu wollen.
Zwei Punkte hierzu: Die Teilnehmer:innen wussten, dass ich für den Emailanbieter arbeitete und für ihn die Tests durchführte. Sie selbst waren Nutzer:innen der Dienste des Anbieters. Möglicherweise fühlten sie sich dadurch aufgefordert, ihre Sache gut zu machen, um mich bzw. den Anbieter zufriedenzustellen. Auch bekamen sie Geld für ihre Teilnahme. Dadurch entstand ein Gefühl der Verpflichtung, eine Gegenleistung erbringen zu müssen. Und diese Gegenleistung sahen sie in der Durcharbeitung des Assistenten. Hier greift das Prinzip der Reziprozität oder Gegenseitigkeit.
Im nächsten Schritt gehen wir davon aus, dass die Teilnehmer:innen den Assistenten eigentlich nicht gut fanden und lieber abgebrochen hätten. Auf der anderen Seite haben sie ihn aufgrund der Testsituation komplett durchgearbeitet. Dadurch stimmte die Einstellung zum Assistenten nicht dem Handeln im Test überein. In der Psychologie nennt man das eine kognitive Dissonanz. Die herrscht vor, wenn Einstellungen und Handlungen nicht im Einklang zueinanderstehen. Wenn das passiert, tendieren Menschen dazu, den Einklang wieder herstellen zu wollen. Z.B. kann ein:e Raucher:in wissen, dass das Rauchen stark gesundheitsgefährdend ist. Allerdings will oder kann er oder sie nicht aufhören. Die Dissonanz löst die Person dadurch auf, dass sie z.B. sagt, dass sie jemanden kennt, der mit Rauchen steinalt geworden ist.
Meine Probandinnen und Probanden haben ihre kognitive Dissonanz zwischen „Der Einrichtungsassistent nervt!“ und „Ich habe den komplett durchgearbeitet.“ dadurch aufgelöst, dass sie ihm nachträglich eine sehr gute Note gegeben haben. Das rechtfertigte, dass sie sich vorher die ganze Mühe gemacht hatten. Auch hier waren die beschriebenen Vorgänge den Teilnehmenden nicht bewusst.
Was habe ich daraus gelernt? Zum einen mache ich in der Moderation noch deutlicher, dass die Testpersonen mir klar signalisieren sollen, wenn sie in der realen Situation abbrechen würden. Zum anderen habe ich bald danach die Schulnoten abgeschafft. Inzwischen haben sich präzisere Werkzeuge etabliert, mit denen sich Systeme vergleichen lassen – insbesondere hinsichtlich Usability und User Experience.
User Research Methoden sind essentiell für die Entwicklung guter und erfolgreicher Produkte. Doch sie basieren auf zwischenmenschlicher Kommunikation. Bei ihrem Einsatz ist es darum wichtig, sich bewusst zu machen, welche sozialpsychologischen Faktoren in der gegebenen Situation eine Rolle spielen und wie man ihren Einfluss minimieren kann. Das und weitere Tipps und Tricks vermitteln wir unseren Kundinnen und Kunden in unseren UX Workshops.
Julian Siehl
Julian ist UX Researcher und beschäftigt sich seit 25 Jahren mit Usability und User Experience. Die Basis dafür hat er sich durch sein Psychologiestudium geschaffen. Er war viele Jahre für den B2C-Bereich tätig und hat dort in mehreren Projekten den menschzentrierten Entwicklungsprozess und agile UX etabliert. Seine Schwerpunktthemen sind das Usability Testen und Eye Tracking. Aufgrund seiner Erfahrung ist er bei fachlichen Fragen ein beliebter Ansprechpartner bei Kundinnen und Kunden sowie Kolleginnen und Kollegen. Im Laufe seiner Karriere hat er schon viele Usability-Professionals ausgebildet. Ihm ist es wichtig, dass bei der Entwicklung neuer Systeme die Technik an den Menschen angepasst wird und nicht umgekehrt.
