Die Trendanalyse ist eine gesetzliche Pflicht aller Medizinproduktehersteller, insbesondere bei der „Post-Market Surveillance“.
Bei der Wahl und Anwendung geeigneter statistischer Methoden für die Trendanalyse dürfen die Hersteller nicht scheitern. Denn der Fokus von Behörden und Benannten Stellen verschiebt sich zunehmend auf die Überwachung der Post-Market-Aktivitäten.
Dieser Artikel gibt eine schnelle Einführung in das komplexe Thema, stellt die gesetzlichen Pflichten vor und gibt sieben konkrete Tipps zur Umsetzung. Er nennt außerdem die sieben häufigsten Fehler, welche die Hersteller unbedingt vermeiden sollten.
1. Zusammenfassung für eilige Leser
a) Wen die Trendanalyse in der Post-Market Surveillance betrifft
Die folgenden Rollen müssen in der Post-Market-Phase dazu beitragen, Trends zu erkennen, zu bewerten und darauf zu reagieren:
- Personen, die für die Post-Market-Surveillance verantwortlich sind, z. B. im Produktmanagement und im Customer Support
- Mitarbeitende im Risikomanagement
- Qualitätsmanagementbeauftragte
- Verantwortliche Personen (PRRC)
- Mitarbeitende bei Medical bzw. Clinical Affairs
b) Weshalb die Trendanalyse bei der PMS wichtig ist
Die Trendanalyse ist für die Hersteller von Medizinprodukten bei der Post-Market-Surveillance (PMS) relevant, um
- die regulatorischen Anforderungen daran zu erfüllen bzw.
- in diesem Kontext regulatorischen Ärger zu verhindern und ggf. die „Zulassung“ der Produkte zu verzögern,
- Probleme mit den eigenen Produkten früh zu erkennen,
- damit die Patientensicherheit zu gewährleisten und
- einen Reputationsverlust oder gar Strafzahlungen zu vermeiden.
c) Was die Rollen wissen und tun müssen
Diese Rollen müssen
- die regulatorischen Anforderungen kennen,
- spezifizieren, welche Daten sie in welcher Häufigkeit sammeln und
- mit welchen statistischen Methoden sie diese Daten auswerten und dabei Trends berechnen,
- Grenzwerte für die Trends festlegen und deren Überschreitungen prüfen sowie
- entscheiden, ob eine Behördenmeldung notwendig ist.
Zudem sind die Hersteller verpflichtet, diese Tätigkeiten in Verfahrens- und Arbeitsanweisungen zu spezifizieren und die Ergebnisse dieser Tätigkeiten zu dokumentieren, z. B. in Berichten.
Es geht in diesem Artikel nicht um die Analyse von Markttrends und Vorhersage von Marktentwicklungen. Vielmehr beschreibt er die Anwendung statistischer Methoden zum Auswerten von Zeitreihen von Post-Market-Daten und zum Ermitteln sich abzeichnender (problematischer) Entwicklungen.
Beachten Sie auch das Schlagwort zur Post-Market-Phase, das weitere relevante Artikel verlinkt.
2. Regulatorische Anforderungen
a) Übersicht
Viele regulatorisch relevante Dokumente stellen Anforderungen an die Trendanalyse (s. Tabelle 1).
Anforderung | MDR (IVDR) | ISO 13485 Kapitel | ISO 14971 und ISO 24971 | Sonstige |
Festlegen, welche Daten wie häufig gesammelt werden | Anhang III, Abschnitt 1.1 | 8.2.1, 8.4 | 10.1 | 21 CFR 803.17 |
Daten gemäß diesem Plan systematisch sammeln | Artikel 88 (83) | 8.2.1, 8.4 | 10.2 | 21 CFR 803.17; IMDRF |
Vorkommnisse identifizieren | Artikel 88 (83) | 8.2.2 | 10.3 | |
Methoden zur statistischen Auswertung und Trendanalyse festlegen und begründen | Artikel 88 (83) | 8.4 | 10.3 (ISO 24971) | 21 CFR 803, IMDRF |
Häufigkeit der Vorkommnisse gemäß Plan statistisch bewerten, Trends identifizieren | Artikel 88 (83) | 8.4 | 10.3 (ISO 24971) | 21 CFR 803.53, |
Schwellwerte festlegen | Anhang III, Abschnitt 1.1 | IMDRF | ||
Die Akzeptanz der Risiken überprüfen | Artikel 88 (83) | 8.2.1 | 10.3 | 21 CFR 803.10 |
Beim Überschreiten der Schwellwerte reagieren (Korrekturmaßnahmen, Behördenmeldung) | Artikel 88 (83) | 8.2.2, 8.2.3, 8.3.3, 8.5.2 | 10.4 | 21 CFR 803 |
Ursachen für Probleme identifizieren | u.a. 8.5.2 | 21 CFR 803 |
b) MDR / IVDR
Sehr präzise sind die gesetzlichen Vorgaben der EU-Verordnungen MDR und IVDR.
Pflicht zur Meldung bereits bei statistischen Anstiegen, die zu nicht akzeptablen Risiken führen
Die Hersteller melden (…) jeden statistisch signifikanten Anstieg der Häufigkeit oder des Schweregrades nicht schwerwiegender Vorkommnisse oder erwarteter unerwünschter Nebenwirkungen, die
Artikel 88 MDR
1. eine erhebliche Auswirkung auf die Nutzen-Risiko-Analyse (…) haben könnten und
2. die zu Risiken für die Gesundheit oder Sicherheit der Patienten, Anwender oder anderer Personen führen oder führen könnten, die in Anbetracht des beabsichtigten Nutzens nicht akzeptabel sind.
Damit verpflichten MDR und IVDR die Hersteller dazu, herauszufinden, ob die Annahmen in der Risikomanagementakte noch zutreffend sind. Ist das nicht mehr der Fall, müssen sie unter Umständen selbst bei nicht schwerwiegenden Vorkommnissen eine Meldung machen (Abb. 1).
Die Anforderungen der IVDR im Artikel 83 sind weitgehend identisch. Allerdings ergänzt sie:
„… oder zu einem signifikanten Anstieg der erwarteten fehlerhaften Ergebnisse im Vergleich zu der erklärten Leistung des Produkts […] führen oder führen könnten.“
Pflicht zur statischen Analyse und Festlegung von Schwellwerten
MDR und IVDR verpflichten die Hersteller zur Planung der Post-Market Surveillance.
b) Der Plan zur Überwachung nach dem Inverkehrbringen erfasst zumindest:
Anhang III MDR, Anhang III IVDR
– geeignete Indikatoren und Schwellenwerte, die im Rahmen der kontinuierlichen Neubewertung der Nutzen-Risiko-Analyse und des Risikomanagements im Sinne von Anhang I Abschnitt 3 verwendet werden
Aus diesen beiden Anforderungen ergibt sich:
- Hersteller müssen anhand der gesammelten PMS-Daten ständig prüfen, ob ihre Annahmen im Risikomanagement noch stimmen.
- Sie müssen im Einklang mit der Risikopolitik Schwellwerte festlegen und prüfen, ob diese überschritten werden und ggf. Korrektur- und Präventivmaßnahmen ergreifen.
- Sollten diese Werte so weit überschritten sein, dass das Nutzen-Risiko-Verhältnis nicht mehr akzeptabel ist, müssen sie an diesen erkannten Trend an die Behörde melden.
Diese Meldepflicht ist unabhängig von den Vigilanzfällen, die die Hersteller immer melden müssen.
Es sind also mehrere Entscheidungsschritte notwendig (s. Abb. 1):
- Ist der „Anstieg des Schweregrades nicht schwerwiegender Vorkommnisse oder erwarteter unerwünschter Nebenwirkungen“ signifikant?
- Sind die Auswirkungen auf das Nutzen-Risiko-Verhältnis erheblich?
- Ist das Nutzen-Risiko-Verhältnis noch gegeben?
Welche Methoden bei der Entscheidung hilfreich sind und ob Änderungen signifikant sind, beschreibt dieser Artikel weiter unten.
3. Begriffsdefinitionen
a) „Trend“
MDR und IVDR verwenden den Begriff „Trend“, sie definieren ihn aber nicht. Daher ist es hilfreich, andere Begriffsdefinitionen zu nutzen.
Über einen gewissen Zeitraum bereits zu beobachtende, statistisch erfassbare Entwicklung[stendenz]
Quelle: Duden
b) „statistisch signifikant“
Hingegen legen die EU-Verordnungen fest, wann ein Anstieg „signifikant“ ist:
Ob ein Anstieg signifikant ist, bestimmt sich aus dem Vergleich mit der Häufigkeit oder Schwere solcher Vorkommnisse im Zusammenhang mit dem betreffenden Produkt oder der betreffenden Kategorie oder Gruppe von Produkten, die innerhalb eines bestimmten Zeitraums zu erwarten und in der technischen Dokumentation und den Produktinformationen angegeben ist.
Artikel 88 MDR
Das bedeutet wiederum, dass man die tatsächlichen Werte für Häufigkeiten und Schweregrade von Risiken mit den ursprünglich angenommenen Werten in der Risikoanalyse vergleichen soll. Wie groß diese Differenz sein darf und ab wann Maßnahmen ergriffen werden, müssen die Hersteller über die Schwellwerte festlegen. Um diese Schwellwerte zu spezifizieren, gibt es mehrere Methoden. Sie werden weiter unten beschrieben.
4. Vorgehen bei der Trendanalyse
Alle im Folgenden beschriebenen Tätigkeiten müssen die Hersteller in Arbeits- und Verfahrensanweisungen beschreiben.
a) Festlegen, welche Daten man sammelt
Datenquellen festlegen
Die EU-Verordnungen, ISO 13485, ISO 14971, ISO 24971 und ISO/TR 20416 machen den Herstellern genauere Vorgaben. Hersteller sollten nicht nur Kundenrückmeldungen sammeln und auswerten; weitere Datenquellen sind beispielsweise:
- Behördendatenbanken
- Log-Dateien
- Wissenschaftliche Fachliteratur
- Normen und Leitlinien
- Installations- und Serviceprotokolle
- Kundenbefragungen
Eine Übersicht über die zu sammelnden Daten geben die Fachartikel zur Post-Market Surveillance und zum ISO-20416-konformen Post-Market Surveillance Plan.
Attribute festlegen
Hersteller sollten nicht nur die Datenquellen bestimmen, sondern auch die Attribute, die sie pro Datensatz erfassen wollen. Beispielsweise lassen sich Kundenbeschwerden anhand der folgenden Attribute dokumentieren:
Attribut | Zweck, Zielstellung |
Datum | Zeitreihe aufstellen |
Eindeutige Produkt-Identifikation (z. B. via UDI) | Produkttyp und weitere abhängig Attribute bestimmen |
Art der Gefährdung | Über Meldepflicht entscheiden |
Wahrscheinlichkeit und Schweregrad möglicher Schäden | Über Meldepflicht entscheiden |
Einsatzort des Produkts | Problemursache herausfinden (z. B. Nutzungsumgebung) |
Produktionsstraße, in der das Produkt gefertigt wurde | Problemursache herausfinden (z. B. Produktion) |
Person, die das Problem erkannt hat | Herausfinden, wie gut „Quality Gates“ funktionieren |
Welche Attribute der Hersteller erfasst, hängt von der Zielstellung ab. Diese sollte in der jeweiligen Verfahrensanweisung beschrieben sein, z. B. im Complaint-Management-Prozess.
Frequenz der Datensammlung spezifizieren
Hersteller sind gefordert, die Häufigkeit der Datensammlung festzulegen. Diese hängt von der Art des Produkts, den verwendeten Technologien und den zu beantwortenden Fragen ab (s. Tabelle 3).
Zu erfassende Daten | Überlegungen zur Frequenz |
Kundenrückmeldung | Von den Kunden initiierte Rückmeldungen müssen immer sofort ausgewertet werden, um schwerwiegende Vorkommnisse zu erkennen. Die statistische Auswertung der bearbeiteten weiteren Rückmeldungen kann dann turnusmäßig erfolgen, z. B. quartalsweise. Die Häufigkeit von Kundenbefragungen hängt von der Zielsetzung ab. |
NIST-Datenbank zur Cybersecurity | Diese Daten sollten kontinuierlich und somit automatisiert erfasst und vorausgewertet werden. Ist das (noch) nicht möglich, ist eine wöchentliche Frequenz zu empfehlen. (Hinweis: die UL 2900-2-1 fordert, dass nach zwei Wochen Patches ausgerollt sind.) |
Behördendatenbanken | Typischerweise monatlich |
Klinische Fachliteratur zum Stand der Technik | Typischerweise jährlich |
Die Frequenz der Datenerhebung bestimmt auch, wie schnell Trends erkannt werden können.
b) Ziele der Auswertung festlegen
Die Gesetze legen bereits die Mindestmenge an Fragestellungen fest, auf welche die Hersteller die Daten hin auswerten müssen.
- Sind die Annahmen bezüglich Wahrscheinlichkeit und Schweregrad von Schäden (z. B. unerwünschte Nebenwirkungen) korrekt?
- Gibt es Gefährdungen, die bei der Risikoanalyse übersehen wurden?
- Entsprechen die Risikoakzeptanzkriterien noch dem Stand der Technik?
- Sind die Risiken angesichts des Nutzens noch akzeptabel?
- Was sind die Ursachen der Probleme? (Design-Fehler, Produktionsfehler, Materialfehler, Lieferanten, Probleme bei Lagerung, Transport, Installation, Instandhaltung usw.)
- Welche Usability-Probleme (z. B. Use Errors) gibt es?
- Liegt ein Off-Label-Use des Produkts vor?
Bei diesen Fragen müssen die Hersteller auch die Trends beobachten und entscheiden, ob ein statistisch signifikanter Anstieg vorliegt.
c) Methoden zur Auswertung spezifizieren
Allgemeines
Um statisch signifikante Änderungen erkennen zu können, müssen die Hersteller geeignete Methoden (Plural!) anwenden.
Based on the diversity of the medical devices in the market it is not meaningful to define a single trending procedure valid for all devices.
Quelle: Manufacturers Trend Reporting of Adverse Events, IMDRF/GHTF
Für die Trendanalyse stehen viele Methoden zur Verfügung:
- Regression
- Weibull-Analyse (empfohlen in ISO 24971)
- Nelson Rules (empfohlen in ISO/TR 20416)
- Mann-Kendall-Test
- Trendtest nach Neumann (bei normalverteilten Grundgesamtheiten)
Die Wahl der Methode(n) hängt immer von der Fragestellung ab.
Die ISO/DIS 10017 (hier preisgünstig kaufen) wird von der ISO 24971 empfohlen. Sie trägt den Titel „Quality management – Guidance on statistical techniques for ISO 9001:2015“.
Im pharmazeutischen Umfeld sind solche Trendanalysen seit Jahrzehnten üblich. Entsprechend wird man in der dortigen Literatur fündig, wie im Buch Statische Methoden der Trendanalyse.
Hier ein Beispiel aus den „Nelson Rules“: Die fünfte Regel besagt, dass ein Trend vorliegt, wenn es zwei oder gar drei Punkte einer Reihe gibt, die in eine Richtung mehr als zwei Standardabweichungen vom Mittelwert entfernt liegen (s. Abb. 2).
Nutzen Sie die Unterstützung des Post-Market-Teams des Johner Instituts, um Ihren PMS-Plan und alle darin festgelegten Methoden spezifisch für Ihre Produkte zu erstellen oder diesen zu prüfen. Damit Sie das nächste Audit problemlos bestehen.
Feststellen, ob ein meldepflichtiger Anstieg vorliegt
Gemäß MDR/IVDR müssen signifikante Anstiege bei der Häufigkeit oder den Schweregraden möglicher Schäden dann gemeldet werden, wenn sie „eine erhebliche Auswirkung auf die Nutzen-Risiko-Abwägung haben und zu unvertretbaren Risiken führen könnte“ (s. auch Abb. 1).
Eine Änderung ist dann als signifikant zu bezeichnen, wenn sie dazu führt, dass Schweregrade oder Wahrscheinlichkeiten in einen andere als die angenommene Klasse fallen (alle Pfeile in Abb. 3).
Meldepflichtig ist eine solche Änderung, wenn die damit verbundenen Risiken in den inakzeptablen Bereich wandern (s. schwarz gefüllte Pfeile in Abb. 3).
Bei diesem Ansatz ist es hilfreich, die Schwellwerte wie oben dargestellt zu definieren: Ein Trend ist dann signifikant, wenn die Häufigkeit der möglichen Schäden (oder der damit verbundenen Schweregrade) in eine höhere als die angenommene Klasse fällt.
Das ist einfacher, als mithilfe komplexer statistischer Verfahren Trends zu identifizieren und Schwellwerte festzulegen.
Falls ausreichend viele Daten vorliegen, helfen Mittelwerte (z. B. auf monatlicher Basis), um kurzzeitige Schwankungen auszugleichen.
Klären Sie mit den PMS-Expertinnen des Johner Institut, wie diese Ihre PMS-Pläne prüfen und Ihnen konkrete Hinweise zur Verbesserung geben können. Sie helfen Ihnen auch bei der Auswertung Ihrer Daten.
Melden Sie sich gleich über das Webformular mit einem Terminvorschlag für ein kostenfreies und unverbindliches Gespräch.
5. Umgang mit Sonderfällen
a) Es gibt nur wenige Produkte im Markt
Wenn Produkte neu auf den Markt kommen oder wenn es von einem Produkt nur wenige Instanzen im Markt gibt, fehlt für viele statistische Verfahren die Datengrundlage. Aus einzelnen Datenpunkten lassen sich Trends kaum ableiten.
Dann müssen die Hersteller, abhängig vom Risiko, einen erhöhten Aufwand zum Sammeln von Daten leisten:
- Teilnehmende Beobachtungen der Nutzung im Feld
- Aktive Befragung der Anwender
- Auswertung von Log-Dateien in kurzen Intervallen
- Analyse von vergleichbaren Produkten und Technologien
MDR und IVDR fordern ein proaktives Vorgehen. Es ist insbesondere bei Produkten mit hohen Risiken nicht gesetzeskonform, einfach abzuwarten, bis ausreichend viele Daten zur Trendanalyse vorliegen.
Die ISO 20416 erlaubt es auch, qualitative Betrachtung vorzunehmen. Das Johner Institut hat das bei vielen Herstellern in die PMS-Pläne aufgenommen, was von Benannten Stellen akzeptiert wurde.
b) Produkte sind bereits abgekündigt
Falls Produkte abgekündigt sind, sind Auswertungen, die sich auf die Verkaufszahlen beziehen, nicht mehr sinnvoll. Es ist generell besser, die Werte auf Basis der Nutzung zu normieren.
Liegen darüber keine Informationen vor, steht die Frage im Raum, ob der Hersteller seiner Pflicht zur Post-Market Surveillance ausreichend nachkommt.
6. Empfehlungen für die Trendanalyse
a) Sieben wertvolle Tipps
Die folgenden sieben Tipps helfen Herstellern bei der statischen Auswertung und Trendanalyse.
Tipp 1: Das Konzept der kontinuierlichen Verbesserung nutzen
Verkomplizieren Sie nichts. Starten Sie lieber mit nur einer Methode zur Auswertung als überhaupt nicht. Beispielsweise können Sie mit dem im zweiten Teil des Kapitels 4 c) beschriebenen Vorgehen die regulatorischen Anforderungen weitgehend erfüllen.
Sobald Sie dieses Auswertungsverfahren etabliert haben, können Sie weitere Daten, Methoden und Auswertungen ergänzen, um mehr über Ihre Produkte (und Anwender) zu lernen.
Tipp 2: Von hinten denken
Viele Hersteller fühlen sich von den Datenmengen erschlagen. Falls Sie nicht wissen, welche Daten Sie mit welcher Priorität sammeln und auswerten sollen, dann denken Sie „von hinten“, d. h. ausgehend von den Patienten.
Überlegen Sie dazu im Sinne einer Fault-Tree-Analysis, welche Ereignisse/Gefährdungen die Sicherheit der Patienten gefährden könnten. So stellen Sie fest, welche Daten einen Hinweis auf diese Ereignisse/Gefährdungen geben. Mit diesen Daten starten Sie.
Schauen Sie auch in die Empfehlungen der klinischen Bewertung: Hier sollte es einen Hinweis geben, welche Daten unbedingt bei der Post-Market-Surveillance bzw. dem Post-Market Clinical Follow-up zu erfassen sind.
Tipp 3: Die IMDRF-Codes nutzen
Das IMDRF hat zahlreiche Codes entwickelt, mit denen Sie Probleme, Ursachen usw. unternehmensweit kodieren können. Diese Codes sind in den Berichten gefordert (z. B. im PSUR). Verwenden Sie daher diese Codes von Beginn Ihrer Datensammlung und -verarbeitung an.
Tipp 4: Mehr über Ihr Unternehmen und Ihre Produkte lernen
Betrachten Sie das Sammeln und Auswerten der Daten nicht als lästige gesetzliche Pflicht. Die Trendanalysen helfen Ihnen, mehr über Ihr Unternehmen, Ihre Produkte und Ihre Kunden zu lernen, und unterstützen notwendige Entscheidungen.
Sie erhalten relevante Antworten auf Fragen wie:
- Wie unterscheiden sich Ihre Produkte und Produktvarianten untereinander?
- Wie intensiv werden diese genutzt?
- Welche Phasen des Produktlebenszyklus (Entwicklung, Produktion, Materialeinkauf, Transport, Installation, Instandhaltung) sollten Sie vorrangig optimieren, um einen möglichst großen Einfluss auf die Sicherheit, Leistungsfähigkeit, Wirksamkeit und Akzeptanz Ihrer Produkte zu erreichen?
- Welche Lieferanten führen zu den meisten Problemen?
- Welche Produktionsanlagen, welche Produktionsverfahren, welche Abteilungen liefern die besten Ergebnisse?
Tipp 5: Daten in frühen Phasen sammeln und zeitig auswerten
Damit Sie diese Fragen beantworten können, müssen Sie die notwendigen Daten sammeln (z. B. über Lieferanten, Materialien, Produktionsanlagen).
Sie sollten über diese Daten nicht erst nachdenken, wenn die Produkte im Markt sind. Vielmehr ist eine frühzeitige und kontinuierliche Auswertung hilfreich und auch von der ISO 13485 gefordert, beispielsweise im Kontext der Prozessvalidierung und -überwachung.
Tipp 6: Sampling-Intervalle anpassen
Die Intervalle, in denen Sie Daten sammeln und auswerten, sollten Sie variabel gestalten.
- Die Intervalle sollten abhängig von der Art und der Bedeutung der Daten sein (s. Tabelle 3).
- Die Intervalle sollten abhängig von der Menge der Daten sein. Sobald die Datenmenge steigt, ist es möglich, in kürzeren Intervallen Auswertungen durchzuführen und Erkenntnisse zu gewinnen.
- Die Intervalle sollten im Einklang mit dem Risiko stehen, dass Sie möglicherweise durch diese Daten erfassen bzw. bewerten können.
Tipp 7: Möglichst viel automatisieren
All dies setzt voraus, dass Sie möglichst viele Tätigkeiten automatisieren:
- Sammlung der Daten
- Verarbeitung der Daten (z. B. Umgang mit falschen und fehlenden Daten, Umrechnungen, Kategorisierungen usw.)
- Auswertung der Daten, Berechnung von Statistiken und Trends
- Alarmierung
- Berichtserstellung
Lagern Sie Fleißarbeiten an die Post-Market-Services des Johner Instituts aus. Damit profitieren Sie von Skaleneffekten und können sich auf den Umgang mit identifizierten Trends konzentrieren. Sie erreichen mit weniger Aufwand mehr für Ihr Unternehmen.
b) Typische Fehler vermeiden
Bei Audits, Prüfungen der Technischen Dokumentation und (FDA-)Inspektionen fallen sieben typische Fehler auf, die Hersteller vermeiden sollten.
Fehler 1: Nicht alle Produkte beachtet
Die Pflichten der Hersteller durch MDR und IVDR gelten für alle Produkte. Die Hersteller können sich nicht auf die Übergangsfristen berufen. Diese sind mit Bezug zur Post-Market-Surveillance längst abgelaufen.
Fehler 2: Zu wenige Daten analysiert
Die Datensammlung und -auswertung auf Kundenbeschwerden zu begrenzen, entspricht nicht den regulatorischen Forderungen:
- Hersteller müssen weitere Datenquellen analysieren (wie in Kapitel 4 a) vorgestellt).
- Die Kundenrückmeldungen (und nicht nur die Kundenbeschwerden) enthalten Informationen, welche Hersteller betrachten müssen.
Auch wenn Hersteller mehrere Datenquellen analysieren, können ihnen dennoch Trends verborgen bleiben, wenn sie nicht die notwendigen Attribute sammeln und auswerten.
Die Analyse der weltweiten Daten lässt keine Probleme mit der elektrischen Sicherheit erkennen. Hätte der Hersteller jedoch die Daten für verschiedene Länder getrennt ausgewertet, wäre ihm aufgefallen, dass seit Monaten in den USA die Anzahl der gebrochenen Isolierungen ansteigt.
Fehler 3: Post-Market-Surveillance als isolierten Prozess betrachtet
Die Post-Market Surveillance und die Datenauswertung sind Prozesse, die eng mit anderen Prozessen interagieren müssen (s. Tabelle 4).
Prozess | Zusammenspiel (Beispiele) |
Risikomanagement | Das Risikomanagement dient als Input für die Post-Market-Surveillance (z. B. Akzeptanzkriterien). Umgekehrt dient die PMS als Input fürs Risikomanagement. |
Vigilanz | Die Post-Market-Surveillance liefert die Informationen, um insbesondere über Trendmeldungen zu entscheiden und diese durchzuführen. |
Entwicklung | Bei der Festlegung, welche Daten gesammelt werden, muss das „Design“ des Produkts berücksichtigt werden. Beispielsweise müssen alle in der Entwicklung festgelegten SOUP überwacht werden. Umgekehrt gibt die statische Auswertung von Post-Market-Daten wertvolle Hinweise, wie das Design der Produkte verbessert werden kann. |
Lieferantenmanagement | Die Hersteller müssen die kritischen Attribute der zugelieferten Produkte, Materialien und Dienstleistungen spezifizieren. Ob diese erfüllt und ausreichend zur Sicherung der Qualität der Produkte sind, zeigt sich u. a. bei der Auswertung von Post-Market-Daten. |
Fehler 4: Zu große Betrachtungszeiträume gewählt
Auswertezeiträume von mehr als einem Jahr werden von Behörden und Benannten Stellen in der Regel nicht akzeptiert. Aber auch Zeiträume bis zu einem Jahr können zur statistischen Auswertung und Trendanalyse bereits zu groß sein: Trends werden zu spät erkannt (erst nach einem Jahr) oder überhaupt nicht (weil sie sich über das Jahr ausmitteln).
Tipp 6 (siehe oben) hilft, passende Intervalle festzulegen.
Fehler 5: Kompetenzen nicht sichergestellt
Auditoren bringen Hersteller mit folgenden Fragen leicht in die Verlegenheit:
- Wo haben Sie die Kompetenzen für das Erstellen des PMS-Plans festgelegt?
- Welche Kompetenzen benötigen die Personen, die die statistischen Methoden auswählen und anwenden?
- Wo sind die Nachweise, dass diese Kompetenzen vorhanden sind?
Fehler 6: Systeme nicht validiert
Ohne Computerunterstützung lassen sich die Daten weder sinnvoll sammeln noch auswerten. Daher kommen Excel, selbst geschriebene Skripts, Ticketsysteme und Statistikprogramme zum Einsatz.
All dies sind computerisierte Systeme (oder Teile davon), die den Pflichten der ISO 13485 nach Computerized Systems Validation unterliegen. Verfügen Sie über diese Validierungsdokumente?
Das Johner Institut ist ISO-13485-zertifiziert und kann validierte Post-Market-Dienstleistungen anbieten und die entsprechenden regulatorischen Anforderungen nachweisen.
Fehler 7: Falsche Methode und falsche Anwendung der Methoden
Bei der Auswahl und Anwendung der Methoden unterlaufen den Herstellern weitere Fehler:
- Viele Methoden dürfen nur bei normalverteilten Werten angewendet werden. Diese Voraussetzung ist häufig nicht erfüllt.
- Die meisten Methoden dürfen nur auf Verhältnis- und Absolutskalen verwendet werden, aber nicht auf Ordinalskalen.
- Hersteller treffen Entscheidungen anhand von Regressionsgeraden, berücksichtigen aber die Konfidenzniveaus nicht. Die Aussage, dass kein Trend vorliegt, ist bei einem sehr niedrigen Konfidenzniveau wenig belastbar.
7. Fazit und Zusammenfassung
Vielen Herstellern ist nicht bewusst, dass sie nicht nur schwerwiegende Vorkommnisse, sondern ggf. bereits „statistisch signifikante Anstiege der Häufigkeit oder der Schweregrade nicht schwerwiegender Vorkommnisse“ melden müssen.
Statistische Auswertung und Trendanalyse sind allerdings komplexer, als die meisten Herstellern annehmen. Sie sind gesetzlich gefordert und werden zunehmend überprüft.
Daher sollten die Hersteller tiefer in das Thema einsteigen und die notwendigen Kompetenzen aufbauen.
Vermeiden Sie regulatorischen Ärger, Probleme mit unsicheren Produkten und unnötige Aufwände. Was dabei hilft:
- Seminar zur Post-Market-Surveillance. Sie erwerben die notwendigen Kompetenzen und erhalten Antworten auf Ihre Fragen.
- Outsourcing Ihrer Post-Market-Aktivitäten wie der Post-Market Surveillance und der Überwachung der Regularien
Melden Sie sich gleich mit einem Terminvorschlag für ein kostenfreies und unverbindliches Gespräch.
Dabei können Sie mit den PMS-Expertinnen des Johner Institut auch klären, wie diese Ihre PMS-Pläne prüfen und Ihnen konkrete Hinweise zur Verbesserung geben können. Sie unterstützen Sie auch bei der Auswertung Ihrer Daten.