Formative Bewertung, formatives Assessment und formative Evaluation sind synonyme und die eingedeutschten und nicht korrekt übersetzten Versionen des englischen Begriffs „formative evaluation“. Die für das Usability Engineering relevanten Regularien fordern eine solche formative Bewertungen.
Lesen Sie in einem weiteren Artikel mehr zur summativen Bewertung.
1. Formative Bewertung: Definition und Abgrenzung
a) Definitionen
„User interface evaluation conducted with the intent to explore user interface design strengths, weaknesses, and unanticipated use errors.“
Die IEC 62366-1:2015 („Medical devices – Part 1:
Application of usability engineering to medical devices“)
In ihrem Guidance-Dokument hat die FDA eine eigene Definition des Begriffs veröffentlicht:
„User interface evaluation conducted with the intent to explore user interface design strengths, weaknesses, and unanticipated use errors.“
Content of Human Factors Information in Medical Device Submissions
Damit löst sie die alte Definition in der Leitlinie Applying Human Factors and Usability Engineering to Medical Devices ab:
„Process of assessing, at one or more stages during the device development process, a user interface or user interactions with the user interface to identify the interface’s strengths and weaknesses and to identify potential use errors that would or could result in harm to the patient or user.“
Die formative Bewertung muss somit korrekt als entwicklungsbegleitende Bewertung der Benutzer-Produkt-Schnittstelle verstanden werden. Sie wird mit dem Ziel durchgeführt, Stärken und Schwächen der Benutzer-Produkt-Schnittstelle sowie unvorhergesehene Benutzungsfehler zu entdecken.
Beide Leitlinien stellt Ihnen dieser Fachartikel vor.
b) Abgrenzung: Formative und summative Bewertung versus Verifizierung und Validierung
Die IEC 62366-1:2016 fordert statt einer Verifizierung und Validierung der Gebrauchstauglichkeit eine formative (entwicklungsbegleitende) und summative (abschließende) Bewertung.
Eigentlich haben die beiden Begriffspaare wenig miteinander zu tun – abgesehen davon, dass sie alle mit der Prüfung der Gebrauchstauglichkeit in Verbindung stehen. Die beiden Begriffspaare beziehen sich vielmehr auf unterschiedliche Aspekte: Usability-Validierung und Usability-Verifizierung unterscheiden sich in der Zielsetzung der Prüfung. Hingegen unterscheiden die Begriffe formative Evaluierung und summative Evaluierung den Zeitpunkt der Prüfung.
2. Formative Bewertung: Regulatorische Anforderungen
a) IEC 62366-1:2015
Die IEC 62366-1:2015 verlangt eine Planung und Durchführung der formativen (entwicklungsbegleitenden) und summativen (abschließenden) Bewertungen.
Die Norm nennt zwar keine Methoden; sie verlangt aber, dass die Hersteller planen,
- welche Methoden sie zur Bewertung einsetzen (mit einer Begründung der Wahl),
- zu welchen Zeitpunkten sie diese Bewertungen durchführen,
- welche Teile der Benutzer-Produkt-Schnittstelle bewertet werden,
- gegen welche Kriterien sie prüfen und
- mit welchen Benutzern und in welcher Benutzungsumgebung diese Bewertungen stattfinden sollen.
Natürlich sind diese Planungen ebenso wie die Durchführung der Bewertung, die Ergebnisse sowie deren Bewertungen zu dokumentieren.
b) FDA
Die FDA formuliert ihre Anforderungen im Guidance Dokument „Applying Human Factors and Usability Engineering to Medical Devices“. Kapitel 6.4.3 geht ausführlich auf die formative Bewertung ein.
Ziele
Laut FDA können Hersteller mit der formativen Bewertung
- unbekannte benutzungsbezogene Gefährdungen, Benutzungsfehler und kritische Aufgaben identfizieren,
- Änderungen an der Benutzer-Produkt-Schnittstelle zeitnah umsetzen,
- die Wirksamkeit von risikominimierenden Maßnahmen an der UI überprüfen,
- die Notwendigkeit von Trainingsmaßnahmen bestimmen und
- Inhalte für den Validierungsplan ableiten.
Methoden
Die US-Behörde fordert zwar keine konkrete Methode, schreibt aber:
„Formative evaluation complements and refines the analytical approaches described in Section 6.3, revealing use issues that can only be identified through observing user interaction with the device.“
Damit assoziiert die FDA mit der formativen Bewertung offensichtlich Methoden, an denen Nutzer zu beteiligen sind, und nicht reine Verifizierungsaktivitäten. Die FDA schließt Firmenmitarbeiter als Benutzer nicht aus, schreibt aber „their performance and opinions could be misleading or incomplete“.
Im gleichen Dokument wird aber klar: Die FDA sieht die teilnehmende Beobachtung nicht als die einzige gestattete Methode an. Die Behörde nennt auch „cognitive walk-through, observation, discussion, interview“.
Planung
Der Plan für die formative Bewertung sollte laut FDA festlegen:
- Ziele und Prioritäten der Bewertung
- Elemente der Benutzer-Produkt-Schnittstelle, die zu bewerten sind
- Benutzungsszenarien und Aufgaben
- Teilnehmer / Benutzer
- Methoden zur Datenerhebung und zur Datenauswerten
- Wie die Ergebnisse weiter verwendet werden
Diese Forderungen decken sich fast vollständig mit denen der IEC 62366-1:2015.
Dokumentation
Welche Dokumente bei der formativen Evaluation entstehen sollen, ist festgelegt in der FDA-Guidance „Content of Human Factors Information in Medical Device Submissions“.
Schritt für Schritt zu einer gesetzeskonformen Gebrauchstauglichkeitsakte
Die meisten FDA-Rückrufe bei Software gehen auf Usability-Probleme zurück. Mit unserer E-Learning-Plattform verstehen Sie die Anforderungen der IEC 62366-1 und FDA und Sie lernen Schritt für Schritt, wie Sie eine gesetzeskonforme Gebrauchstauglichkeitsakte erstellen.
3. Methoden zur formativen Bewertung
Zur entwicklungsbegleitenden (formativen) Bewertung eigenen sich viele Methoden. Möglich sind z. B.:
- Cognitive Walkthrough
- Heuristische Evaluation
- Verifizierung, z. B. gegen Style-Guides, Heuristiken und Design Pattern
- Usability Test (teilnehmende Beobachtung) mit Prototypen unterschiedlicher Güte (low, high fidelity)
- Interviews
- Fragebögen
Einige dieser Methoden stellen wir in diesem Beitrag vor.
Bei der formativen Bewertung empfiehlt es sich,
- mehrere dieser Methoden anzuwenden sowie
- dies früh, iterativ und wiederholt im Entwicklungsprozess zu tun.
Fast etwas zynisch merkt die FDA an, dass man durch formative Bewertungen frühzeitig Usability Probleme identifizieren solle, weil sonst die summative Bewertung (der Usability Test) scheitern könne; dieser würden dann selbst zur formativen Bewertung, weil anschließend Nachbesserungen an der Benutzer-Produkt-Schnittstelle notwendig seien.
4. Zusammenfassung und Fazit
Die formative Evaluation ist für Medizinprodukte sowohl vorgeschrieben als auch sinnvoll. Sie hilft, Usability-Probleme schneller und mit weniger Aufwand zu identifizieren und zu beseitigen. Damit sparen die Hersteller Geld und bringen ihre Produkte schneller in den Markt. Die Wahrscheinlichkeit ist hoch, dass Risiken durch mangelnde Gebrauchstauglichkeit hinreichend minimiert wurden.
Änderungshistorie
- 2023-02-13: Hinweise auf das neue FDA Guidance Document zum Inhalt von Zulassungsunterlagen ergänzt
Informativ, kompakt und leserlich. Vielen Dank!
Nitpick: Typo in der Begriffsdefinition zur formativen evaluation: „user interface evaluation conducted“ statt „user interface conducted“.
Danke, lieber Herr Rau! Dank Ihrer Hilfe konnte ich das fehlende Wort gleich ergänzen.
Kann mich Herrn Rau nur anschließen! Wie immer ein informativer & gut strukturierter Artikel.
Eine kleine Rückfrage hätte ich. Für Summative Tests gibt es Vorgaben für die Anzahl der zu testenden User bpsw. von der FDA . Für formative Tests fehlt sowas weitesgehend, soweit ich das richitg verstanden habe.
Wie kann ich als kleiner Hersteller abschätzen, nach wieviel befragten Usern der formative Test „ausreichend“ ist? Gibt es eine Faustregel oder haben sie eventuell einen Erfahrungswert?
Diese Anzahl gibt es nicht. Es gibt auch keine Vorgabe, dass man überhaupt die „teilnehmende Beobachtung“ als Methode wählt. Interviews wären auch denkbar.
Als Faustregel würde ich aber sagen: 5 Personen pro Benutzerrolle ist eine vernünftige Zahl.
Vielen Dank für die schnelle & hilfreiche Antwort!