Mit Remote Usability Testing gelingt es, die Gebrauchstauglichkeit von standalone Software wie von mobile Medical Apps und von klinischen Informationssystemen schnell, zu minimalen Kosten und gleichzeitig gesetzeskonform zu testen.
Erfahren Sie in diesem Artikel, welche Methoden und Werkzeuge das Johner Institut zum Remote Usability Testing empfiehlt.
1. Remote Usability Testing
a) Einführung
Unter Remote Usability Testing versteht man eine Bewertung der Gebrauchstauglichkeit, bei der der Teilnehmer (Proband) und der Usability Experte (Moderator) an geographisch verschiedenen Orten sind. Dazu werden die Bildschirminhalte des Teilnehmers auf die Rechner der Usability Experten gespiegelt.
Beispielsweise beobachten und dokumentieren die Testleiter in den Usability Labs des Johner Instituts, wie Pflegekräfte in ihrer Klinik mit einer zu testenden App die Medikamenteneinnahme erfassen.
b) Vorteile und Nachteile des Remote Usability Testings
Die Vorteile dieses Remote Testings sind offensichtlich:
- Echte Nutzungsumgebung
Die Anwender können die Produkte im wirklichen Nutzungskontext einsetzen. Es bedarf keiner simulierten Nutzungsumgebung. - Effizienz
Zeit und Kosten für die Reisen fallen weg. - Bequemlichkeit
Für die Teilnehmer ist diese Form des Testens bequemer und lässt sich besser in den Arbeitsalltag einbinden. - Recruiting
Es ist einfacher, Teilnehmer zu rekrutieren, nicht nur weil die Aufwände niedriger sind, sondern weil es möglich ist, geographisch unbeschränkt zu rekrutieren.
Diesen Vorteilen stehen Nachteile gegenüber:
- Interaktion
Es ist schwieriger, mit den Teilnehmern zu interagieren, sie zu befragen, zu trainieren und zu beobachten. - Daten
Den Usability Experten stehen v.a. die Bildschirminhalte zur Verfügung. Gespräche sowie das Beobachten der Teilnehmer (Gesichtsausdruck, Gesten) und deren Interaktion mit der Nutzungsumgebung sind zumindest erschwert. - Technologie
Das Remote Usability Testing setzt Technologien (Software, Netzwerke) voraus und ist von deren reibungslosen Funktionieren abhängig. - Bereitstellen der Medizinprodukte
Soll Hardware bereitgestellt werden, bedarf es einiger Logistik, um diese an die Teilnehmer zu verteilen und wieder einzusammeln. Bei reinen Software-Anwendungen bedarf es regelmäßig der Unterstützung beim Installieren. - Vertraulichkeit
Soll auf der Hardware der Teilnehmer getestet werden, sollte darauf geachtet werden, dass beim Screen-Sharing keine vertraulichen Daten offenbart werden. Das Übertragen der Daten geschieht zwar bei fast allen Werkzeugen in verschlüsselter Form. Die Zugriffsmöglichkeiten der Tool-Anbieter auf diese Daten sind meist intransparent. - Latenz
Je nach Anbindung sind Verzögerungen bei der Übertragung der Bildschirminhalte zu beobachten.
2. Methoden zum Remote Usability Testing von Apps
a) Simulation der App auf dem Desktop
Abb. 1: Die Seite des Johner Instituts in der mobilen Vorschau in Chrome
Gilt es mobile Webseiten zu testen, besteht eine einfache Möglichkeit darin, die Anwender auf einem Desktop-Rechner arbeiten zu lassen und die Größe des Browsers auf die Größe eines Mobilgeräts zu skalieren. Viele Browser ermöglichen dies bereits nativ über die Entwicklungswerkzeuge.
b) Aufzeichnung der App mit externer Kamera
Abb. 2: Eine Kamera zeichnet das Mobilgerät einschließlich der Interaktion mit dem Anwender auf und überträgt das Signal für den Remote Usability Test.
Eine externe Kamera z.B. eine Webcam zeichnet den Bildschirm auf. Das Videosignal wird direkt zu den Usability Experten gestreamt. Die Erfahrung zeigt, dass die Anwender regelmäßig den Bildschirm mit ihren Händen überdecken oder die App außerhalb des Bereichs bewegen, den die Kamera aufzeichnet. Spiegelungen und Reflektionen sind weitere Schwierigkeiten.
c) Fest-montierte Kamera
Abb. 3: Die Kamera ist am Smart Phone befestigt.
Einen Teil der Probleme lässt sich vermeiden, wenn man die Kamera fest am Mobilgerät fixiert, beispielsweise mit einer Klemme und einem ‚Schwanenhals‘. Mit dieser Variante können sich die Anwender freier bewegen, allerdings muss die Kamera sehr leicht sein und eine geeignete Verkabelung gewählt werden.
Ein weiterer Nachteil besteht darin, dass die Anwender nicht über diese Ausrüstung verfügen. Das bedeutet, dass das Usability Labor den Versand und Rücktransport organisieren muss.
d) Tablet oder Laptop als Kameraersatz
Abb. 4: Die Anwender zeichnen mit einem Tablet oder Laptop im Arm die Interaktion mit dem Mobiltelefon auf.
Die meisten Anwender besitzen auch ein Tablet oder/und einen Laptop. Daher bieten sich diese Geräte als Kamera an. In diesem Szenario dient das Tablet bzw. der Laptop als Streaming-Client, der das Videosignal ins Usability Lab überträgt. Meist ist die Brennweite geeignet, so dass das Mobiltelefon selten außerhalb des Aufzeichnungsbereichs gerät. Allerdings decken auch in dieser Variante die Hände / Finger einen Teil des Bildschirms ab.
e) Direkte Bildschirmübertragung
Alternativ zur externen Aufzeichnung der Benutzungsschnittstelle bietet sich bei standalone Software-Anwendungen die direkte Aufzeichnung und Übertragung des Bildschirminhalts an.
Abb. 5: Optionen zum Übertragen von Bildschirminhalten beim Remote Usability Testing: Die Daten werden mit Hilfe von Anwendungen übertragen, die ein Mirroring (rot), ein Streaming (grün) oder gar beides beherrschen (blau).
Hierfür gibt es mehrere Optionen, die teilweise ein zweites Gerät beim Teilnehmer bedingen und ein Mirroring und Streaming des Bildschirms kombinieren.
Im ersten Beispiel bedarf es auf dem Mobilgerät als auch auf dem Desktop ein Programm / eine App, die beide über ein Mirroring verbinden. Der Streaming-Client auf dem Desktop streamt dann die Daten ins Usability Lab.
Lesen Sie hier mehr zum Thema Mobile Medical Apps und deren Zulassung.
Werkzeuge
Kriterien zur Auswahl
Bei der Auswahl der Werkzeuge empfiehlt das Johner Institut, folgende Kriterien zu beachten:
- Einfache Installation
- Fernsteuerbarkeit durch den Moderator
- Möglichst direktes „Mirroring“ ohne Notwendigkeit, ein zweites Gerät dazwischen zu schalten
- Preisgünstig
- Performant (überträgt Bildschirm ohne Latenz und bremst Mobilgerät nicht aus)
- Zeigt die Gesten des Anwenders an
- Erlaubt die Aufzeichnung des Tests
- Unterstützt auch die Kommunikation zwischen Teilnehmer und Usability Lab
- Läuft auf den verschiedenen Betriebssytemen
- Stört nicht andere Anwendungen (erlaubt z.B. zu telefonieren)
- Verletzt nicht den Datenschutz
- Zuverlässig, stürzt nicht ab, ermöglicht stabile Verbindung
Marktübersicht
Werkzeug für das Remote Usability Testing sind:
| Android | iOS |
|
|
Beide
|
|
Besonders positiv sind bei den Tests in unseren Usability-Labs aufgefallen:
- Mirroring360
- Reflector 2
- Mobizen
- TeamViewer
- Join.me
- Zoom
ChromeCast und Apples Airplay unterstützen das Mirroring nativ. Allerdings funktioniert nur das lokale Mirroring, nicht das Streaming über WLAN.
Praxistipps & Erfahrungen
Schwierigkeiten
In der Praxis gilt es, einige Schwierigkeiten aus dem Weg zu räumen, um das Remote Usability Testing erfolgreich zu absolvieren. Wir stießen u.a. auf folgende Hürden:
- Teilweise musste das Mobilgerät und das Gerät zur Aufzeichnung im gleichen Netzwerk sein. In einigen Unternehmen wurde die Kommunikation zwischen beiden blockiert.
- Die Option „AirPlay“ tauchte teilweise erst nach mehrmaligem Ein- und Ausschalten des WLANs auf.
- Die Werkzeuge blieben nicht unsichtbar. Beispielsweise sind tw. die Icons der Apps zur Aufzeichnung in der Aufzeichnung selbst sichtbar.
- Die Anwender schickten die Einverständniserklärung nicht zurück, die für die Aufzeichnung der Anwendung notwendig ist.
- Nachrichten (WhatsApp, SMS) und Anrufe treffen ein. Sie sind für das Usability-Testteam erkennbar und werden Teil der Aufzeichnungen. Gleichzeitig stellen solche „Störungen“ das tatsächliche Umfeld dar.
Erfahrungen
Das Remote Usability Testing ist zu einem festen Bestandteil unseres Portfolios geworden.
Abb. 6: Die Moderatorin (rechts) telefoniert mit dem Teilnehmer. Dessen Screen (App) wird sowohl auf ihren rechten Bildschirm als auch auf den linken Bildschirm des Beobachters („Note Taker“) im Usability Lab übertragen.
Wie immer sind eine sehr sorgfältige Planung, viel Übung und Rückfalloptionen unverzichtbar, wenn eine Technologie streikt.
Fazit
Das Johner Institut empfiehlt, das Remote Usability Testing nicht nur bei standalone Software-Anwendungen wie Apps in Betracht zu ziehen. Dabei geht es nicht nur um Kosten- und Zeitvorteile. In manchen Fällen ist das Remote Usability Testing sogar die einzige Option:
- Beispielsweise sind Ärzte sehr nachgefragter Fachdisziplinen kaum in ausreichender Anzahl dazu zu bewegen, in ein Usability-Labor zu kommen.
- Bestimmte Nutzungskontexte wie Operationen lassen sich nicht ausreichend im Usability Lab nachstellen.
- Bei Operationen kann es zudem sein, dass Usability Experten nicht in den OP zugelassen werden.
Das Remote Usability Testing kann auch im Rahmen der entwicklungsbegleitenden (formativen) Bewertung der Gebrauchstauglichkeit zum Einsatz kommen. Dadurch bekommen die Hersteller eine rasche Rückmeldung und können damit unnötige Iterationen und Projektverzögerungen vermeiden.
Falls die technischen Voraussetzungen nicht geschaffen werden können, bietet sich als preisgünstige Alternative zum „klassischen Usability Lab“ auch das „mobile Usability Lab“ an. Dabei fahren die Testleiter die komplette technische Ausrüstung zu den Probanden und führen die Tests dort durch.
Danksagung: Dieser Artikel basiert auf Materialien unserer US-Kollegen Dana Douglas und Tristan Wilson.
Lesen Sie hier mehr zum Usability Testing in den Usability Labs des Johner Instituts.
