Usability Validierung: Konform mit IEC 62366-1 und FDA

Regulatorische Anforderungen an die Usability Validierung

Die Medizinprodukteverordnung MDR fordert explizit, dass Hersteller auch Risiken identifizieren und beherrschen müssen, die sich aus einem spezifischen Nutzungskontext und durch die Charakteristiken der Nutzer (z.B. Ausbildungsgrad, intellektuelle und sprachliche Fähigkeiten) ergeben. Das gleiche tut die FDA.

Um den Nachweis zu erbringen, dass diese Forderungen erfüllt sind, bedarf es einer Usability Validierung. Die IEC 62366-1 sowie das Human Factors Engineering Guidance Dokument der FDA geben Hinweise, wie diese Usability Validierung zu erfolgen hat.

1. Charakterisierung der Benutzer

Die Usability Validierung muss also mit typischen Vertretern der spezifizierten Nutzergruppe erfolgen, üblicherweise in Form einer teilnehmenden Beobachtung. Diese Prüfung setzt natürlich voraus, dass man spezifiziert hat:

• Die Nutzergruppe, beispielsweise anhand des Alters, der Ausbildung, der Erfahrung mit dem Produkt, den körperlichen und intellektuellen Fähigkeiten.
• Den Nutzungskontext, beispielsweise die „mentale Workload“, die Umgebung (Temperatur, Feuchtigkeit, Helligkeit, …), die zu erledigenden Aufgaben uvm.
• Die Nutzungsziele, hier referenziert man üblicherweise die (medizinische) Zweckbestimmung.

Dass die Nutzer und die Nutzungsumgebung zu spezifizieren sind, verlangt die IEC 62366-1 in Kapitel 5.1.

2. Einbeziehung repräsentativer Benutzer in die Usability Validierung

Nur für die Usability Validierung benötigen Sie zwingend repräsentative Nutzer und einen repräsentativen Nutzungskontext (Gebrauchsumgebung).

3. Anzahl an Probanden bei der Usability Validierung

Die IEC 62366-1 verlangt bei der Validierung der Gebrauchstauglichkeit repräsentative Anwender. Wie viele das sind, sagt sie aber nicht. Das geht auch kaum, schließlich hängt die Anzahl auch davon ab, wie homogen die verschiedenen Nutzergruppen sind.

Die FDA hingegen referenziert in ihrem Guidance Dokument „Applying Human Factors and Usability Engineering to Optimize Medical Device Design“ eine Studie, die konkretere Zahlen nennt.

zum Vergrößern klicken

Wie Sie sehen, können Sie mit fünf repräsentativen Nutzern im Mittel 85% der Nutzungsprobleme finden, mit zehn bereits 95%. Das sind doch mal konkrete Zahlen!

Update: FDA verlangt im Human Factors Engineering Guide explizit mindestens 15 Teilnehmer pro Benutzergruppe, für Hochrisikoprodukte sogar mehr.

4. Usability Validierungsplan

Für das Risikomanagement bedeutet das Erreichen eines Zeitziels noch nichts. Denn es kann sein, dass bei Nichterreichen trotzdem ein akzeptables Gerät (aus Risikomanagementsicht!!) entwickelt wurde. Umgekehrt, kann es sein, dass selbst bei Einhalten der Ziele ein nicht-akzeptables Risiko verbleibt.

Mangelnde Benutzbarkeit führt nur über eine Ursachenkette zu Schäden. Die FDA würde daher auch keine Usability-Ziele kommentieren, aber Ziele, die das Risiko betreffen. Mit dem Usability-Engineering-Prozess wird man auf potenzielle Risiken (hoffentlich) aufmerksam. Und diese gilt es dann im Risikomanagement zu bewerten.

Wie Sie sinnvolle Gebrauchstauglichkeitsziele festlegen und schnell eine auditsichere Gebrauchtauglichkeitsakte erstellen, erfahren Sie beim Seminar „Usability, Requirements und IEC 62366“ mit Thomas Geis.

Verfahren zur Usability Verifizierung und Usability Validierung

Es gibt verschiedene Verfahren zur Prüfung der Gebrauchstauglichkeit (Usability). Man unterscheidet dabei die folgenden:

Usability Verifizierung: Inspektion

Die Verifizierung der Gebrauchstauglichkeit wird Ihnen mit einer Inspektion gelingen. Das ist ein Prüfverfahren, bei dem ein oder mehrere Experten Ihr Produkt darauf prüfen,

• ob die spezifizierten Anforderungen, wie man sie auch in Style Guides und Normen formuliert findet, umgesetzt sind oder/und
• ob das Produkt (prinzipiell) in der Lage ist, die Nutzungsanforderungen zu erfüllen. Wenn die Nutzungsanforderung lautet, der Arzt muss die Patienten mit einem zu niedrigen Hämoglobinwert erkennen können, und das System zeigt den Hämoglobinwert nicht an, dann ist diese Anforderung nicht erfüllt.

Es gibt mehrere Verfahren zur Verifizierung wie z.B. die Cognitive Walkthroughs.

Usability Validierung: Teilnehmende Beobachtung

Doch die Inspektion alleine genügt nicht. Sie müssen im Rahmen einer teilnehmenden Beobachtung echte Nutzer in einer tatsächlichen oder in einer simulierten Gebrauchsumgebung die Kernaufgaben durchlaufen und die sicherheitskritischen Funktionen ausführen lassen. Nur wenn die Nutzer tatsächlich in der Lage sind, die Nutzungsziele zu erreichen und damit die Nutzungsanforderungen als erfüllt nachzuweisen, haben Sie die Gebrauchstauglichkeit Ihres Produkts auch validiert.

Dies setzt voraus, dass Sie alle Kernaufgaben kennen. Diese führen Sie zu den häufig benutzen Funktionen. Weiter müssen Sie alle sicherheitskritischen Funktionen kennen. Diese ergeben sich aus der Risikoanalyse.

Benutzerbefragungen

Und für was bedarf es dann noch der Benutzerbefragungen? Im Sinn der IEC 62366-1 eigentlich gar nicht. Setzen Sie Fragenbögen ein, um Produkte oder Entwicklungsstände quantitativ zu vergleichen. Und setzen Sie Interviews ein, um Beschwerden zu objektivieren.

Formative und summative Evaluierung der Usability

Was die FDA bereits umgesetzt hat, wird nun auch in die zweite Ausgabe der IEC 62366-1 Einzug halten: Die Begriffe Verifizierung und Validierung der Gebrauchstauglichkeit werden durch die Begriffe formative (entwicklungsbegleitende) und summative (abschließende) Bewertung „ersetzt“. Doch ist das wirklich ein Ersetzen?

Eigentlich haben die beiden Begriffspaare wenig mit einander zu tun – abgesehen davon, dass sie alle mit der Prüfung der Gebrauchstauglichkeit in Verbindung stehen. Die beiden Begriffspaare beziehen sich vielmehr auf unterschiedliche Dimensionen: Usability Validierung und Usability Verifizierung unterscheiden sich in der Zielsetzung der Prüfung. Hingegen unterscheiden die Begriffe formative und summative Evaluierung den Zeitpunkt der Prüfung.

Beispielsweise wäre die Prüfung eines GUI Prototyps während der Entwicklung eine Validierung und eine formative Evaluierung. Eine Prüfung der Gebrauchstauglichkeit des fertigen Produkts mit repräsentativen Nutzern in einer repräsentativen Gebrauchsumgebung wäre ebenfalls eine Validierung, aber eine summative Evaluierung.

Mit was Sie die Usability Validierung nicht verwechseln sollten

„Klassische“ System-/Produkt-Validierung versus Usability Validierung

In einem weiteren Beitrag finden Sie den Unterschied zwischen diesen Verfahren beschrieben.

Usability Validierung versus klinische Studien

Ich bin über einen Artikel in der „European Medical Device Technology“ zum Thema Gebrauchstauglichkeit gestoßen. (Der Link http://www.donawa.com/medical-device/files/EMDT%20Jun11%20Usability.pdf ist leider nicht mehr verfügbar.) Darin weist die Autorin auf einen Absatz der IEC 60601-1-6 hin, der mir als sehr wichtig erscheint:

It should be noted that clinical investigations conducted according to ISO 14155-1 and usability testing for verification or validation according to this standard are two fundamentally different activities and should not be confused.

In anderen Worten:

• Die Usability Studie hat zum Ziel zu validieren, ob die spezifizierten Nutzer im spezifizierten Nutzungskontext die spezifizierten Nutzungsziele effektiv und effizient erreichen können. Eine Voraussetzung für die Validierung der Usability sind repräsentative Nutzer.
• Die klinischen Studien haben hingegen das Ziel nachzuweisen, dass das Produkt ein positives Nutzen-Risiko-Verhältnis hat. Voraussetzung für eine klinische Studie sind Patienten.

Obwohl beide Untersuchungen ggf. in der Klinik „in Echtbedingungen“ durchgeführt werden, sind die Zielsetzungen dennoch unterschiedlich, wenn auch nicht überschneidungsfrei. Oft ist es hilfreich, die Prüfungen voneinander zu trennen.

Usability Validierung versus Feldtest

Einer meiner Lieblingskunden kam auf die Idee, seine Software im Feldtest zu validieren, um so die entsprechenden gesetzlichen Forderungen nach Validierung zu erfüllen. Dabei hätte er sich um ein Haar strafbar gemacht.

Sein Gedanke war eigentlich gut, im Feld zu prüfen, ob die Zweckbestimmung und Nutzungsanforderungen erfüllt sind. Schließlich fordert die IEC 62366-1 sogar, dass man „echte“ Benutzer involviert. Die Anwendung aber unkontrolliert in einem Feldtest zu prüfen, entspricht einer Inverkehrbringung. Das ist strafbar.

Der richtige Ansatz wäre gewesen, diese Prüfung entweder in einer simulierten Umgebung wie einem Usability Lab oder in einer streng abgegrenzten klinischen Prüfung durchzuführen. An die klinischen Prüfungen sind aber einige Auflagen erfüllt.

Gerade für Software bedarf es derer aber häufig nicht. Aus diesem Grund empfehle ich das Usability Lab. Wer einmal Hersteller beobachtet hat, wie sie betroffen, ungläubig und fassungslos die Benutzer mit Ihrer Software arbeiten sehen, wird eines nicht mehr vermuten: Dass ein Usability Lab nicht geeignet sei, Nutzungsprobleme zu identifizieren. Schneller und preisgünstiger erfährt man nicht, was viele bei einer Validierung eigentlich gar nicht wissen wollen: Die nackte und oft brutale Wahrheit über ihr Produkt.

Weitere Informationsquellen

Seminar „Usability, Requirements & IEC 62366“

Wie Sie eine solche Validierung (in Form einer teilnehmenden Beobachtung) planen und durchführen lernen Sie im Seminar „Usability, Requirements und IEC 62366“ mit meinem Usability-Guru Thomas Geis. Es wird Ihren Blick auf die eigenen Produkte radikal ändern. Sie werden verstehen lernen, weshalb

• es zwischen Ihrer Entwicklungsabteilung und dem Produktmarketing immer Reibereien gibt,
• Ihre Kunden scheinbar ständig neue Wünsche haben,
• Ihr Unternehmen sich schwerer tut, als Apple,
• Sie noch kein Millionär sind.

Sie lernen aber nicht nur die Ursachen zu verstehen, sondern v.a. den Weg kennen, um genau diese Schwierigkeiten zu meistern. Für mich war und ist das Seminar wegweisend.

Wenn Sie dabei sein wollen, empfehle ich Ihnen, sich gleich einen Termin im nächsten Jahr zu sichern. Ich konnte Thomas Geis nur dreimal dafür gewinnen, nach Konstanz zu kommen. Nutzen Sie diese seltene Chance.

 Usability Lab

Wir verfügen auch über ein  Usability-Lab, in dem wir Kundenprodukte testen und verschiedene Verfahren demonstrieren. Vom Cognitive-Walkthrough bis zur Experten-Evaluation über Usability-Tests.

Wir haben verschiedene Produkte validiert und erkannt, welche zum Teil katastrophalen Mängel diese Anwendungen haben.

Links zum Thema Usability

1. Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin hat auch unter Mitwirkung von benannten Stellen das Ergonomiekompendium „Anwendung Ergonomischer Regeln und Prüfung der Gebrauchstauglichkeit von Produkten veröffentlich.
2. Aus dem FDA-Umfeld stammt die ANSI/AAMI HE75:2009 — Human factors engineering – Design of medical devices

Beide Dokumente konzentrieren sich nicht auf Software. Dafür enthalten sie konkrete Vorgaben zur Spezifikation der Gebrauchstauglichkeit von Produkten – im Gegensatz zur IEC 62366-1, die eine Prozessnorm ist. Und noch etwas ist beiden Dokumenten gemein: ein Umfang von mehreren hundert Seiten.