AQL steht für Acceptable Quality Level und wird manchmal mit „erlaubte Ausschussquote“ übersetzt. Das AQL bestimmt, wann ein Los an Teilen oder Produkten auf Basis einer Stichprobenprüfung zurückgewiesen bzw. akzeptiert wird.
Doch regelmäßig akzeptieren Auditoren das AQL nicht mehr. Was tun? Dieser Artikel gibt Antworten.
1. Wen das Thema „AQL“ wann betrifft
1.1 Betroffene Rollen
Die folgenden Personen und Rollen sollten sich mit AQL beschäftigen
- Eigner von Prozessen, deren Zwischen- oder Endergebnisse auf Basis von Stichproben bewertet werden wie beispielsweise bei Montage- und Produktionsprozessen.
- Personen im Qualitätsmanagement und der Qualitätssicherung, die AQLs festlegen oder überprüfen
- Verantwortliche für die Lieferantenauswahl, Lieferantenüberwachung und -bewertung
- Regulatory Affairs Manager, welche gewährleisten müssen, dass regulatorische Anforderungen (z.B. der ISO 13485 oder FDA) verstanden und erfüllt werden
- Product & Risk Manager, die Rückmeldungen aus dem Feld im Rahmen der Post-Market Surveillance bewerten
1.2. In welchem Kontext die AQLs zum Einsatz kommen
Normen und Gesetze verlangen, dass Hersteller Prozesse validieren und Arbeits- und Prozessergebnisse überprüfen. Allerdings ist eine vollständige Überprüfung oft nicht möglich:
- Bei der Prüfung wird das Ergebnis zerstört wie die Prüfung von Steril-Verpackungen.
- Die Kosten oder der Aufwand für eine vollständige Prüfung sind ökonomisch nicht vertretbar
Daher nutzen die Hersteller Stichprobenprüfungen, um Prozesse oder/und Produkte bzw. Teile zu bewerten, welche sie oder ihre Lieferanten herstellen.
Dafür müssen sie die maximale Anzahl Produkte festlegen, die in dieser Stichprobe nicht den Spezifikationen genügen dürfen. Für diese Festlegung sind die AQLs (Acceptance Quality Levels) dienlich.
Es geht nicht um Akzeptanzkriterien für ein einzelnes Produkt wie beispielsweise Toleranzen.
Die AQL eigenen sich somit für zwei Kontexte:
| Kontext | Annehmen | Ablehnen |
| Prozessvalidierung | Validierung erfolgreich, Prozess freigegeben | Validierung fehlgeschlagen, Prozess nicht freigegeben (muss verbessert werden) |
| Produktion von Produkten oder Teilen | Los / Serie ist freigegeben | Los / Serie ist gesperrt (weiter Maßnahmen notwendig) |
Zunehmend stellen Benannte Stellen in Frage, dass die AQL für die Prozessvalidierung geeignet ist. Weshalb das so ist und was die Alternativen sind, beschreibt der fünfte Abschnitt dieses Artikels.
2. Wobei die AQL helfen
2.1 Bestimmung der Stichprobengröße
Angenommen, ein Hersteller möchte, dass maximal ein Prozent der 200 gelieferten Produkte fehlerhaft ist, d.h. nicht der Spezifikation genügt. Wie viele Stichproben muss er nehmen?
2.2 Bestimmung der maximalen Anzahl
Angenommen der Stichproben Umfang ist 50. Wie viele Produkte dürfen dann maximal fehlerhaft sein?
2.3 Balance von Lieferanten- und Abnehmerrisiko
Es besteht eine Wahrscheinlichkeit, dass die Lieferung als fehlerhaft zurückgewiesen wird, obwohl die Lieferung der vorgegebenen Fehlerrate entspricht.
Der Hersteller hat festgelegt, dass maximal ein Prozent der Produkte fehlerhaft sein darf. Der Lieferant erfüllt die Forderung: Nur eines der 200 Produkte wird fehlerhaft geliefert. Aber bei der Stichprobenprüfung (n = 50) wird unglücklicherweise (für den Lieferanten), genau dieses eine fehlerhafte Produkte überprüft. Damit ist eines von 50 Produkten (2 %) nicht spezifikationsgemäß und der Hersteller weist die ganze Charge zurück.
Umgekehrt besteht die Wahrscheinlichkeit, dass eine Lieferung als korrekt angenommen wird, obwohl die Lieferung der vorgegebenen Fehlerrate nicht entspricht. Das ist ein Risiko für den Abnehmer (hier den Hersteller oder schlimmstenfalls die Patienten).
Der Hersteller hat festgelegt, dass maximal ein Prozent der Produkte fehlerhaft sein darf. Der Lieferant erfüllt diese Forderung nicht: Gleich 10 der 200 Produkte werden fehlerhaft geliefert. Aber bei der Stichprobenprüfung (n = 50) wird unglücklicherweise (für den Abnehmer) keines dieser fehlerhaften Produkte überprüft. Folglich akzeptiert der Hersteller die ganze Charge.
Wie soll der Hersteller beiden gerecht werden?
Bei allen drei Fragestellungen kommen die AQLs zum Einsatz.
3. Wie man die AQLs verwendet
3.1 Die „OC Curves“
AQLs geben den Anteil fehlerhafter Produkte / Einheiten an, welche der Hersteller laut Stichprobenplan akzeptiert. Zudem legen sie das Lieferantenrisiko und das Abnehmerrisiko fest.
Ein Hersteller legt das AQL als 1,5 % fest. Das Lieferantenrisiko legt er mit 0,05 fest. D.h. in 95 % der Fälle nimmt der Hersteller eine Charge eines Zulieferers mit höchsten 1,5 % fehlerhaften Produkten tatsächlich an bzw. weist in 5 % der Fälle diese Charge (ungerechtfertigt) zurück.
Diesen Anteil drückt man meist als Funktion aus, die OC Curve (operater charcteristics curve). Diese Funktion drückt aus, mit welcher Wahrscheinlichkeit ein Produkt / eine Einheit akzeptiert wird, abhängig vom Anteil defekter Einheiten. Ein Beispiel dieser Berechnung zeigt die Abbildung 1.
Wenn alle Einheiten den Spezifikationen entsprechen, d.h. wenn es keine (0 %) defekte Einheiten gibt, dann ist die Akzeptanzwahrscheinlichkeit 100 %. Daher schneiden alle Kurven in Abbildung 1 die y-Achse bei 100 %.
Umgekehrt sollte die Akzeptanzwahrscheinlichkeit 0 % betragen, wenn alle Einheiten (100 %) fehlerhaft sind. Das ist in Abbildung 1 erkenntlich: Mit zunehmender Fehlerwahrscheinlichkeit nähern sich die Kurven der x-Achse, bei der die Wahrscheinlichkeit der Akzeptanz 0 % beträgt.
Im obigen Beispiel (orange Kurve) beträgt die Wahrscheinlichkeit, 1 % defekte Einheiten anzunehmen etwa 95 %. Die Wahrscheinlichkeit 3 % defekte Einheiten anzunehmen, ist auf 28 % gesunken. Die Wahrscheinlichkeit, dass der Empfänger Einheiten akzeptiert, die in der Stichprobe 10 % fehlerhaft sind, beträgt nur noch 2 x 10-6.
3.1.1 Einfluss der Stichprobengröße
Die Abbildung 1 lässt auch erkennen, dass eine niedrigere Stichprobengröße (grüne Kurve) bei sonst unveränderten Parametern zu einer höheren Akzeptanzwahrscheinlichkeit führt als bei höheren Stichprobengrößen (orange Kurve). Eine niedrigere Stichprobengröße verringert die Wahrscheinlichkeit, auf einen Fehler zu stoßen.
3.1.2 Einfluss der Anzahl akzeptierbarer Fehler
Auch die Anzahl maximal tolerierbarer Fehler bestimmt die Wahrscheinlichkeit der Akzeptanz (s. Abbildung 2).
Die orange Kurve repräsentiert maximal vier erlaubte fehlerhafte Einheiten (aus einer Gesamtheit von 5000 bei einer Stichprobengröße von 200). Die grüne Kurve nur maximal zwei fehlerhafte Einheiten bei sonst identischen Parametern.
3.2 AQL-Tabellen
In der Praxis arbeitet man jedoch meist nicht mit Formeln, sondern Tabellen (dieser Abschnitt) oder Software-Tools (s. Abschnitt 3.3).
3.2.1 Schritt 1: Feststellen des „Code Letters“
Das Arbeiten in Tabellen geschieht in zwei Schritten. Der erste Schritt besteht darin, in der ersten Tabelle (s. Abb. 3) die Zeile auszuwählen mit der Anzahl der Einheiten („Lot Size“). Im Beispiel von oben mit 5000 Einheiten wäre das die gelb markierte Zeile.
Anschließend wählt man das „General Inspection Level“ aus. Ein höheres Level entspricht einer strengeren Prüfung. Als Beispiel wählen wir das mittlere Level II. Das Ergebnis ist der Buchstabe „L“, der für den zweiten Schritt benötigt wird.
Neben den drei „General Inspection Levels“ unterscheidet man noch vier „Special Inspection Levels“ für kritischere Einheiten.
3.2.2 Schritt 2: Bestimmen der Stichprobengröße und Festlegen des AQL
Beim zweiten Schritt erkennt man die Größe der Stichprobe, im Beispiel von oben 200 (s. rot umrandete Zelle in gelb markierter Zeile in Abb. 4).
Die maximale Anzahl der fehlerhaften Einheiten aus dieser Stichprobe legt das AQL fest. Bei einem AQL von 0,1 darf keine Einheit fehlerhaft sein, bei einem AQL von 0,4 dürfen es zwei Einheiten und einem Level von 1 dürfen es maximale 5 fehlerhafte Einheiten sein (s. violett umrandete Zellen in Abb. 4.).
Die Normen ISO 2859-1 und ISO 16269-1 definieren Tabellen und geben weiterführende Hinweise zur Anwendung des Verfahrens. Die Tabellen der ISO 16269-1 berechnen den Stichprobenumfang in Abhängigkeit des Vertrauensintervalls.
3.3 Software-Tools
In der Praxis verwenden Hersteller Software-Werkzeuge, welche die Berechnungen implementieren.
4. Was man bei AQLs beachten sollte
4.1 Wählen Sie die Stichproben möglichst zufällig
Damit die Stichproben möglichst zufällig sind, sollten die Prüfer das Ziehen genau planen und dabei verschiedene Aspekte beachten:
- Zeitpunkt: Schicht, Beginn oder Ende der Schicht, Uhrzeit, Wochentag, Sommer ó Winter, vor ó nach Produktionsschritt
- Ort:Oben ó unten in der Packung, vorne ó hinten im Batch, Produktionsanalage 1 ó 2, …
- Zustand: gekühlt ó ungekühlt, steril ó nicht steril, verpackt ó unverpackt, …
- Entnahme: von Hand ó mit Werkzeug, nach Gutdünken ó gemäß Zufallsgenerator, Vorarbeiter ó Urlaubsvertretung, …
Auch die Dokumentation der Probenentnahme, der Prüfung und der Bewertung sollten geplant sein. Hier empfehlen sich Arbeitsanweisungen und Formblätter bzw. die computer-gestützte Erfassung.
4.2 Legen Sie die AQL-Level risikobasiert fest
Es ist üblich, für Fehler unterschiedlicher Kritikalität auch unterschiedliche Anzahlen fehlerhafter Produkte in der Stichprobe (sprich AQLS) zu gestatten, wie das folgende Beispiel zeigt:
| Schweregrad des Fehlers | AQL |
| Fehler, welche zu schweren Schäden führen können | 0*) |
| Fehler, welche die Sicherheit und Leistungsfähigkeit betreffen, aber nicht zu schweren Schäden führen können | 0,065 |
| Fehler, welche die Funktionalität betreffen, aber nicht zu Schäden führen können | 0,4 |
| Schönheitsfehler z.B. Kratzer | 1 |
*) Der Hersteller führt keine statistische Prüfung durch; das AQL-System kommt nicht zum Einsatz.
4.3 Beachten Sie die gesetzlichen Vorgaben
Während die ISO 13485 im Kapitel 7.5.6 d) „nur“ verlangt, bei der Validierung der Produkte die Wahl statistischer Verfahren zu begründen, legt die FDA teilweise konkrete Anforderungen fest. Eines der wenigen Beispiel ist der 21 CFR part 800.20 für Handschuhe (s. Abb. 5). Sonst bleibt es den Herstellern überlassen, diesen Stichprobenumfang festzulegen.
Weitere Vorgaben der FDA betreffen die Methode, um Stichproben zu ziehen wie beispielsweise bei Stents im zugehörigen Guidance Document. Dort legt die FDA auch den Prozentsatz fest, zu dem „Test Ballons“ den Test bestehen müssen.
Auch die „Quality System Inspection Techniques“ (QSIT) der FDA legen Sampling-Pläne fest, die allerdings eher die FDA-Inspektoren betreffen.
5. Wann Sie AQL verwenden dürfen
5.1 Kritik
Zunehmend melden Hersteller, dass Benannte Stellen die AQLs als Begründung für die Stichprobengröße nicht mehr akzeptieren würden.
Die Kritik sei, dass der AQL mit seinem Beta-Wert (Rückweisequote) von 10% sehr lieferantenfreundlich wäre und eine entsprechend große Toleranz erlauben würde. Daher sei er für die Validierung kritischer Prozesse als statistische Methode zur Begründung des Stichprobenumfangs nach ISO 13485 im Kapitel 7.5.6 d) zu unpräzise und ungeeignet.
Entsprechend würden Auditoren mit dem Stand der Technik argumentieren und damit, dass der AQL von der US-Armee aus der Zeit des zweiten Weltkriegs stammen würde und die Mathematik dafür relativ einfach gehalten sei. Diese Kritik ist aus statistischer Sicht berechtigt. Weshalb eine komplexere Mathematik besser sei, wird aber nicht ausgeführt.
5.2 Alternative
In anderen Industrien wird in der Prozessvalidierung mit Prozessfähigkeitsindizes wie CP und CPK gearbeitet. Diese haben aus statistischer Sicht ebenfalls Limitationen, weshalb Auditoren zunehmend eine Begründung der Stichprobe in der Prozessvalidierung basierend auf der ISO 16269-6 erwarten. Die ISO 16269-6 enthält ebenfalls diverse Tabellen mit vorberechneten Werten für fehlerhafte Einheiten für unterschiedliche Akzeptanzwahrscheinlichkeiten, sie überlässt es allerdings den Lesern, den Stichprobenumfang festzulegen, was mathematisch nicht trivial ist.
Beispielsweise bei Wareneingangskontrollen leisten die AQLs aber (noch) gute Dienste.
6. Fazit
Hersteller, insbesondere von IVDs und Medizinprodukten, müssen Produkte und Prozesse validieren. Diese Validierung ist regelmäßig nur mit Hilfe von Stichprobenprüfungen möglich.
Die dafür notwendige und zugrundeliegende Mathematik bzw. Statistik sind nicht trivial. Aber Rezepte (s. Kapitel 3.2) und Tools (s. Kapitel 3.3) vereinfachen deren Anwendung für den Umgang mit AQL.
Es gibt Kritik am Konzept der Acceptance Quality Levels und der Norm ISO 2859-1 gibt (z.B. in diesem Blogbeitrag). Dennoch gehören die AQLs und die Norm zum Handwerkszeug der Quality Experts.
Für die Validierung kritischer Prozesse sollten die Unternehmen nicht mehr die AQLs verwenden, sondern die ISO 16269-6. Bei der Wahl des Verfahrens sollten die Unternehmen beachten:
- Ihre Wahl des Verfahrens für die Stichprobenberechnung müssen Sie begründen können.
- Dabei sollten sie risikobasiert argumentieren.
Die Quality und Validation Experts des Johner Instituts unterstützen IVD- und Medizinproduktehersteller beim Aufbau und Verbessern von QM-Systemen und damit auch beim Validieren von Prozessen und computerisierten Systeme. Damit erreichen die Hersteller Sicherheit bei Audits und der Entwicklung und Hersteller ihrer Produkte.
Melden Sie sich, wenn Sie Fragen haben oder Unterstützung wünschen.
Hallo Johner Team,
ich habe eine Frage zur Prozessvalidierung mir AQL: was nimmt man dort als Batch-Size für die Berechnung der Stichprobengröße an? Die durchschnittlich produzierte Batch-Size? Und sollte man diese Prozessvalidierung dann in einem gewissen Intervall wiederholen, auch wenn der Prozess sich nicht ändert?
Mit freundlichen Grüßen
Tobias Adam
Lieber Herr Adam,
Die Verwendung der typische oder durchschnittliche Batchgröße ist empfehlenswert. Wenn die Batchgrößen stark variieren, würde ich eine größere Batchgröße für die Berechnung wählen, um sicherzustellen, dass die Stichprobe repräsentativ bleibt.
Die Stabilität des Prozesses müssen Sie überwachen. Ich würde mindestens jährlich die Daten zu meinem Prozess auswerten, damit erkennen Sie Trends. Die Trennung zwischen der Bezeichnung „periodische Prüfung“ und „Revalidierung“ wird nicht immer eindeutig gemacht. D.h. Sie können in Ihrem Validierungsplan Kriterien festlegen, wann Sie welchen Umfang von Prüfung ansetzen – stellen Sie wesentliche Änderungen am Prozess fest, wiederholen Sie z.B. die ganze Validierung, anderweitig reicht die Überprüfung der Daten. Sie könnten auch sagen, dass Sie nach z.B. nach 3 Jahren auf alle Fälle die komplette Validierung wiederholen und dazwischen jährlich periodische Prüfungen machen und nur bei wesentlichen Änderungen die Prozessvalidierung wiederholen.
Freundliche Grüsse
Urs Müller