Die EU-KI-Verordnung (EU AI Act) ist veröffentlicht. Viele Hersteller von Medizinprodukten und IVD sowie andere Akteure im Gesundheitswesen stehen vor der großen Aufgabe, den über 140 Seiten umfassenden Gesetzestext zu verstehen und die Anforderungen zu erfüllen. Beachten Sie: Verstöße gegen den AI Act werden mit bis zu 7 % des jährlichen Umsatzes bestraft.
Dieser Artikel erspart Recherchearbeit und gibt konkrete Tipps, wie die Hersteller (und andere Akteure) die Anforderungen am schnellsten erfüllen.
Nutzen Sie das (kostenlose) AI Act Starter-Kit, um schnell Konformität zu erreichen und im nächsten QM-Audit mit einem Umsetzungsplan zu glänzen.
1. Wen der AI Act betrifft (nicht nur Hersteller!)
Die EU-KI-Verordnung 2024/1689 (kurz: AI Act) betrifft viele Akteure im Gesundheitswesen. Der AI Act ist meist anwendbar, wenn die dafür hergestellten oder dort verwendeten Produkte ein „KI-System“ sind oder beinhalten.
Leider definiert der AI Act den Begriff „KI-System“ sehr schwammig.
Maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können;
KI-Verordnung, Artikel 3 (1)
Eine Kritik dieser Definition findet sich in diesem Fachartikel.
Eine hilfreiche Vereinfachung der Definition besteht darin, die KI-Systeme im Sinne der KI-Verordnung mit Software-Systemen oder Software-Komponenten gleichzusetzen, die Verfahren des maschinellen Lernens (ML) nutzen, d. h. ein „ML-Modell“ sind oder beinhalten.
Der AI Act ist eines von vielen Gesetzen, die Hersteller KI-basierter Medizinprodukte beachten müssen. Sie finden hier eine Übersicht über die regulatorischen Anforderungen an diese KI-basierten Produkte und hier eine Übersicht über den Einsatz der KI im Gesundheitswesen.
1.1 Anbieter / Hersteller
1.1.1 Definitionen
Alleine die Tatsache, dass ein IVD oder ein Medizinprodukt Verfahren des maschinellen Lernens verwendet, bedeutet nicht zwingend, dass diese Produkte und deren Hersteller nennenswerte Anforderungen des AI Act (Anforderungen an Hochrisiko-Systeme) erfüllen müssen.
Das ist nur der Fall, falls zwei Bedingungen erfüllt sind (s. Abb. 1):
- Das Produkt (Medizinprodukt bzw. IVD) fällt in eine Klasse, bei der eine Benannte Stelle in das Konformitätsbewertungsverfahren nach MDR bzw. IVDR eingebunden werden muss. Das sind die Medizinprodukte der Klassen I*, IIa, IIb und III bzw. IVD der Klassen As, B, C und D.
- Die KI (präziser: das Machine Learning Modell) stellt entweder selbst das Produkt dar oder dient als „Sicherheitsbauteil“ eines Produkts.
Der AI Act definiert den Begriff „Sicherheitsbauteil“.
Bestandteil eines Produkts oder KI-Systems, der eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Störung die Gesundheit und Sicherheit von Personen oder Eigentum gefährdet;
KI-Verordnung, Artikel 3 (14)
Somit kann ein Sicherheitsbauteil sowohl ein Teil einer Standalone-Software als auch Teil eines physischen Produkts sein.
Produkte der niedrigsten Klasse (z. B. MDR Klasse I), welche Verfahren des maschinellen Lernens verwenden, fallen zwar unter die KI-Verordnung, aber sie zählen nicht als Hochrisiko-Produkte. Daher müssen sie in der Regel keine in der Praxis relevanten (geprüften) Anforderungen erfüllen.
Es wird nur wenige Medizinprodukte geben, welche maschinelles Lernen (ML) verwenden und nicht als Hochrisiko-Produkte zählen. Denn KI/ML-basierte Produkte enthalten immer Software oder sind eigenständige Software. Für derartige Medizinprodukte greift die Regel 11 der MDR. Diese wird inzwischen (leider) so ausgelegt, dass insbesondere Software as a Medical Device mindestens als Klasse IIa klassifiziert werden muss.
Für IVD sind die Klassifizierungsregeln nach Anhang VIII der IVDR anzuwenden.
Eine praktikable Vereinfachung ist es daher, ML-basierte IVD und Medizinprodukte zunächst mit Hochrisiko-Produkten gleichzusetzen. Beispiele für Ausnahmen von dieser Regel nennt Kapitel 1.1.2.
1.1.2 Beispiele für Hochrisiko-Produkte und Nicht-Hochrisiko-Produkte
Kategorie: KI-System ist … | Beispiel | Einstufung |
das Medizinprodukt selbst | KI-/ML-basierte Standalone-Software, die dazu dient, maligne Hautveränderungen zu diagnostizieren. (Je nach Architektur und Funktionalität der Software bildet das KI-System für die Diagnose nur einen Teil des Produkts. Damit wäre dieses „Diagnose-Modul“ als Sicherheitsbauteil zu betrachten.) | Hochrisiko-Produkt |
Teil eines Sicherheitsbauteils des Medizinprodukts | KI/ML-basierte Software einer Dialysemaschine, welche die Ultrafiltration steuert | Hochrisiko-Produkt |
Teil eines Bauteils des Produkts, das kein Sicherheitsbauteil ist | KI/ML-basierte Software-Komponente, welche die Nutzung des Produkts auswertet, um dem Hersteller Hinweise über den Verstoß gegen Lizenzbedingungen zu geben | Kein Hochrisiko-Produkt |
1.1.3 Sonderfall „Bestimmte KI-Systeme“
In Artikel 50 führt der AI Act den Begriff der „bestimmten KI-Systeme“ ein, ohne ihn zu definieren. Unter Umständen fallen auch IVD und Medizinprodukte darunter (s. Tabelle 2).
Eigenschaft des Produkts | Beispiel | Konsequenz |
KI-System ist für direkte Interaktion mit natürlichen Personen bestimmt | Software zur Diagnose maligner Hautveränderungen | Die Anbieter (Hersteller) müssen die Personen über den Einsatz der KI informieren. |
KI-System dient der Emotionserkennung | Software für den Einsatz in der Psychotherapie | Betreiber müssen die betroffenen Personen über den Einsatz der KI und die Verwendung der Daten informieren. |
Auf diese „bestimmten KI-Systeme“ geht dieser Beitrag im Folgenden nicht mehr ein, weil die Anforderungen durch die MDR bzw. IVDR im Wesentlichen bereits abgedeckt sind.
1.2 Sonstige Akteure
Die KI-Verordnung stellt bei Hochrisiko-Produkten (und damit IVD und Medizinprodukten) Anforderungen nicht nur an die Hersteller, sondern auch an weitere Akteure:
- Betreiber (z. B. Krankenhäuser, Labore)
- Importeure/Einführer
- Händler
Die Anforderungen an die Betreiber beschreibt Kapitel 2.3.
2. Welche Anforderungen der AI Act stellt
2.1 Übersicht
Der AI Act formuliert die Anforderungen an die Hochrisiko-Produkte in Kapitel III. Mit 49 Artikeln ist es das umfangreichste Kapitel (s. Abb. 2). Produkte anderer Risikokategorien behandelt dieser Beitrag nicht.
Diese 49 Artikel sind in fünf Abschnitte (Sections) aufgeteilt (s. Abb. 3). Die Anforderungen an die KI-Systeme finden sich in den Abschnitten 2 und 3.
Laden Sie sich das AI Act Starter-Kit herunter. Es enthält nicht nur die vollständigen Mindmaps als PDF und im XMind-Format, sondern die Liste der Vorgabedokumente, die Sie anpassen sollten. So erreichen Sie möglichst schnell und mit möglichst wenig Arbeit Konformität.
2.2 Anforderungen an die Hersteller
Dieser Abschnitt fasst die wichtigsten Anforderungen des AI Act an die Hersteller zusammen.
Anforderung | Artikel | Kommentar |
Risikomanagementsystem | 9 | Die Schutzziele betreffen auch die Grundrechte. Das Testen wird explizit gefordert. Konkrete Risiken, die die Hersteller betrachten müssen, werden vorgegeben; z. B. „data poisoning“ und Cybersecurity-Probleme. |
Daten-Governance | 10 | Vorgaben zum Umgang mit Trainings-, Validierungs- und Testdaten |
Technische Dokumentation (TD) | 11 | Die TD kann und soll mit der TD von Medizinprodukten/IVD zusammengelegt werden. |
Aufzeichnungspflichten | 12 | Gemeint ist eine Protokollierung u. a. der Nutzung und Input-Daten, beispielsweise im Sinne von Audit-Trails, um die Post-Market Surveillance zu vereinfachen. |
Informationen | 13 | Eine elektronische(!) Gebrauchsanweisung ist gefordert. |
Menschliche Aufsicht | 14 | Die menschliche Aufsicht bei der Nutzung der Systeme soll helfen, Risiken zu vermindern. Es gibt viele Querbezüge zur Gebrauchstauglichkeit dieser Produkte. |
Genauigkeit, Robustheit und Cybersicherheit | 15 | Diese Anforderungen betreffen nicht nur die Entwicklung der Produkte, sondern auch organisatorische Maßnahmen. Der AI Act schließt selbstlernende Systeme nicht aus, im Gegensatz zu einigen deutschen Benannten Stellen bei Medizinprodukten. |
Qualitätsmanagementsystem | 16, 17 | Dieses System kann und sollte mit dem bestehenden QMS betrieben werden. Es setzt zusätzliche/geänderte Vorgabedokumente voraus (s. u.). |
Konformitätsbewertungsverfahren, Konformitätserklärung und CE-Kennzeichnung | 16, 43, 47, 48 | Es sind Benannte Stellen einzubeziehen (dies werden hoffentlich die gleichen Benannten Stellen wie die für die Medizinprodukte/IVD sein). |
Pflicht zur Registrierung in einer Datenbank | 16, 49 | Vergleichbar mit EUDAMED |
Vigilanzsystem, Zusammenarbeit mit Behörden | 16, 20, 21 | Vergleichbar der Vigilanz bei MDR und IVDR |
Anforderungen an Barrierefreiheit | 16 | |
Bestellung eines EU-Bevollmächtigten | Nur falls Hersteller („Anbieter“) nicht in der EU sitzt |
2.3 Anforderungen an die Betreiber
2.3.1 Was ein Betreiber ist
Die KI-Verordnung definiert den Begriff Betreiber:
Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet;
KI-Verordnung, Artikel 3 (4)
Im Gegensatz zu MDR und IVDR kennt die KI-Verordnung das Konzept der Eigenherstellung bzw. der Inhouse-IVD nicht. Aber wenn eine Gesundheitseinrichtung ein KI-System selbst entwickelt und in Betrieb nimmt, zählt sie der AI Act zu den Anbietern. Denn definitionsgemäß gelten auch die Betreiber als Anbieter, die KI-Systeme „unter ihrem eigenen Namen […] in Betrieb nehmen“.
Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich;
KI-Verordnung, Artikel 3 (3)
Beispielsweise zählt ein Krankenhaus oder medizinisches Labor, das ein KI-System selbst entwickelt und z. B. für diagnostische Zwecke in Betrieb nimmt, als Anbieter.
Die KI-Verordnung gilt explizit auch für „Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;“ (Artikel 2(1)e)).
MDR und IVDR verbieten Eigenherstellungen von Produkten, die es in ähnlicher Version kommerziell und CE-gekennzeichnet am Markt gibt, unabhängig davon, ob diese ein KI-System enthalten oder nicht.
Allerdings gelten für die Vorgaben zur Eigenherstellung Übergangsfristen. Für Inhouse-IVD findet Artikel 5(5)d der IVDR erst ab dem 31. Dezember 2030 Anwendung.
2.3.2 Was die Pflichten der Betreiber sind
Die Betreiberpflichten formuliert der AI Act v. a. im Artikel 26.
Pflicht | Kommentar |
Zweckbestimmungsgemäßen Gebrauch sicherstellen | Sicherstellen, dass die Anwender über die notwendigen Kompetenzen verfügen und das Produkt gemäß der Gebrauchsanweisung nutzen. Das schließt ein, dass die Input-Daten der Zweckbestimmung genügen. Der AI Act führt nicht aus, weshalb diese Daten auch „repräsentativ“ sein sollen. Ist die Annahme, dass die Anwender das System trainieren? |
Vigilanz | Wenn die Betreiber vermuten, dass das System nicht sicher ist, müssen sie den Anbieter und(!) die Marktaufsichtsbehörden informieren. |
Protokolle aufbewahren | Die KI-Systeme müssen für die Post-Market Surveillance Protokolle (z. B. Audit-Logs) erzeugen. Diese müssen die Betreiber aufbewahren. Dass sie dabei in den Konflikt mit dem Datenschutz geraten können, ist den Autoren des AI Act bewusst. |
Über Einsatz informieren | Die Betreiber müssen die Arbeitnehmenden und deren Vertreter (z.B. Betriebsrat) informieren. |
Datenschutz gewährleisten | Der AI Act verlangt von den Betreibern, ihren Pflichten durch die DSGVO nachzukommen. |
3. Ab wann die Anforderungen gelten
Die Zeitpunkte für das Inkrafttreten und den Geltungsbeginn definiert der Artikel 113.
Datum | Aktion |
12.07.2024 | EU verabschiedet KI-Verordnung |
01.08.2024 | KI-Verordnung tritt in Kraft |
02.02.2025 | Verbot der „verbotenen Praktiken“ wird wirksam |
02.08.2025 | Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck werden wirksam (wenn diese ab jetzt in den Verkehr gebracht werden) |
02.08.2026 | Die KI-Verordnung gilt weitgehend, auch für viele Hochrisiko-Produkte |
02.08.2027 | Allerdings zählen Produkte gemäß Artikel 6(1) (das sind IVD und Medizinprodukte sowie Sicherheitskomponenten) erst jetzt als Hochrisiko-Produkte. Das dürfte für IVD- und Medizinproduktehersteller die wichtigste Frist sein. |
02.08.2027 | Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck werden wirksam, wenn diese vor dem 01.08.2025 in den Verkehr gebracht wurden. |
4. Was Hersteller jetzt tun sollten
Die Entwicklung von IVD und Medizinprodukten dauert meist Jahre. Daher sind die Hersteller gut beraten, sich ab sofort mit den Anforderungen des AI Act auseinanderzusetzen und nicht bis zum Ende der Übergangsfrist zu warten.
Zudem überprüfen Benannte Stellen bei Audits gezielt, ob die Hersteller Änderungen an den regulatorischen Anforderungen systematisch identifizieren und notwendige Maßnahmen ergreifen. Die KI-Verordnung ist ein Beispiel für solch eine regulatorische Änderung.
4.1 Kompetenz aufbauen
Die Hoffnung, dass gute Data Scientists in den eigenen Reihen ausreichen, um die gesetzlichen Anforderungen nach Kompetenz zu erfüllen, dürften nicht erfüllt werden. Umfassenderes Wissen ist notwendig, beispielsweise bei diesen Aktivitäten und Bereichen:
- Validierung der Systeme zum Sammeln und Verarbeiten (Pre-Processing) der Trainings-, Validierungs- und Testdaten
- Risikomanagement, das neue Schutzziele und neue Risiken einbeziehen muss
- Umsetzung künftig erscheinender einschlägiger (harmonisierter) Normen
- Testmethoden für KI-Modelle
- Methoden für die Interpretability (= Explainability + Transparency) dieser Modelle
- Datenschutz bei KI-Modellen (insbesondere bei Trainings-, Validierungs- und Testdatensätze sowie bei den Protokollen)
Die ISO 13485 verpflichtet die „Organisationen“ sogar dazu, die Kompetenzen spezifisch für jedes einzelne Entwicklungsprojekt/Produkt festzulegen.
Der AI Act verlangt in Artikel 4, die Kompetenz „nach besten Kräften“ sicherzustellen. Es wird nicht ausgeführt, welche Kompetenzen gemeint sind. Das KI-Gesetz der EU schließt auch die Betreiber und Anwender von seinen Forderungen nicht aus.
Der KI-Leitfaden des Johner Instituts, der auch von den Benannten Stellen genutzt wird, enthält wichtige Checklisten. Anhand dieser können Sie die Konformität Ihrer KI-basierten Medizinprodukte prüfen und herstellen.
4.2 QM-Vorgaben erweitern
Die Hersteller werden ihre Vorgabedokumente wie Verfahren- und Arbeitsanweisungen, Checklisten und Templates anpassen und ergänzen, um die zusätzlichen Anforderungen der KI-Verordnung zu erfüllen.
Diese Vorgabedokumente müssen fortlaufend darauf überprüft werden, ob sie dem Stand der Technik (insbesondere harmonisierten Normen) entsprechen, und geschult werden.
Nutzen Sie das AI Act Starter-Kit. Es liefert Ihnen bereits eine umfassende Liste an Beispielen für Vorgabedokumente und erspart Ihnen somit die Arbeit, diese Dokumente zusammenzutragen.
4.3 Externe Partner auswählen und managen
Der AI Act wirkt sich nicht nur auf das Arbeiten innerhalb der Unternehmen aus, sondern auch auf deren Interaktion mit Externen. Das betrifft beispielsweise die folgenden Tätigkeiten:
- Lieferanten identifizieren, qualifizieren und fortlaufend bewerten (z. B. Open Source Modelle, Entwicklungsdienstleister, Benannte Stellen)
- Händler auswählen, instruieren, überprüfen
- Ggf. EU-Bevollmächtigte auswählen
- Partner für Schulungen und Beratung auswählen (Tipp: Johner Institut 🙂 )
- KI-Reallabore finden
- Förderprogramme recherchieren, Forschungszulagen beantragen
5. Fazit und Zusammenfassung
Der AI Act ist da und wird bleiben. Daran ändert auch die breite, teilweise vernichtende Kritik an dieser EU-KI-Verordnung nichts, die wir an anderer Stelle zusammenfassen.
a) Jetzt starten, aber risikobasiert
Daher müssen sich Hersteller mit der Verordnung auseinandersetzen. Tipp: Starten Sie zeitnah, denn einige Vorgaben lassen sich bei einem bereits entwickelten Produkt nachträglich nur noch schwer erfüllen.
Dabei sollten Hersteller risikobasiert vorgehen:
- Wie bei der MDR und IVDR hilft es, einerseits frühzeitig zu starten, um Risiken in Audits und für die plangemäße („Time & Budget“) Entwicklung und Vermarktung der Produkte zu minimieren.
- Andererseits müssen sich die Hersteller bewusst sein, dass die Normen für den AI Act erst noch geschrieben und harmonisiert werden. Das kann das Nacharbeiten der QM-Dokumente erfordern.
Der Termin, an dem Medizinprodukte und IVD die Anforderungen an Hochrisiko-Produkte erfüllen müssen, steht fest. Unabhängig von der (schleppenden) Harmonisierung von Normen.
b) Ein „Change Project“ initiieren
Der AI Act bedeutet mehr als „nur ein weiteres Gesetz“. Er betrifft viele Abteilungen:
- Forschung und Entwicklung inkl. Usability Engineering und Data Science
- Qualitätsmanagement inkl. Lieferanten-Management
- Regulatory Affairs inkl. Vigilanz und Auswahl (neuer?) Benannter Stellen
- Datenschutz und IT Security
- Risikomanagement
- Produktmanagement und Customer-Support
Diese Änderungen erfordern Ressourcen (Geld, ausgebildete Personen) und eine abteilungsübergreifenden Planung. Daher sollten die verantwortlichen Führungskräfte ein Change-Projekt aufsetzen und nicht nur Regulatory Affairs mit einem „mach mal“ beauftragen.
Das AI Act Starter-Kit verschafft einen ersten Überblick über die anstehenden Aufgaben.
Die Experts des Johner Instituts helfen Herstellern in den Bereichen AI, QM und RA, mit einem schlanken Projekt die Anforderungen des AI Act Schritt für Schritt zu erfüllen.
Vielen Dank für die griffige Zusammenfassung. Beim Lesen des Artikels ist mir aufgefallen, das hier wie auch im Gesetzestext der Begriff „Validierung“ nicht eindeutig verwendet wird. in Kap. 4.1. wird auf das Sammeln von Trainings-, Validierungs- und Testdaten hingewiesen (also auf den „training – validation -test“-Zyklus im Rahmen der AI-Entwicklung), der Link jedoch verweist auf „Validierung der Systeme“, was im Kontext von Medizinprodukten eine ganz andere Bedeutung hat. Über eine Präzisierung der Begrifflichkeiten würde ich mich freuen, sowie über eine Einschätzung Ihrerseits, wie die Verwendung des Begriffs „Validierung“ im EU AI Act aus Ihrer Sicht zu lesen ist.
Die FDA verfolgt hier eine konsistente Linie und verwendet in ihren Veröffentlichungen (u.a. auch in dem von Ihnen verlinkten Glossar) konsequent „Tuning“, wenn es um den AI-Entwicklungzyklus geht („trainig – tuning – test“). Der Begriff „Validierung“ bleibt der „System-Validierung“ vorbehalten.
Sehr geehrter Herr Zeltner,
danke für Ihre wertschätzende Rückmeldung und Ihren sehr wertvollen Hinweis! Ich stimme Ihnen absolut zu, dass wir wieder das Thema einer mangelnden Definition des Begriffs „Validierung“ haben. Ich stimme Ihnen auch zu, dass die FDA etwas weiter ist, wobei der FDA Validation Guidance auch eine andere Interpretation zuließe.
Zumindest definiert der AI-Act den Begriff „Validierungsdaten“:
Weil der Begriff mit einer Ausnahme nur im Kontext von Trainings-, Validierungs- und Testdaten (in dieser Reihenfolge) verwendet wird, können wir davon ausgehen, dass die EU im AI Act unter Validierung nicht(!) das versteht, was wir „Medizinprodukte-Menschen“ darunter verstehen, nämlich eine Prüfung, ob das Produkt geeignet ist, die Zweckbestimmung und die Stakeholder-Anforderungen (z.B. fachlichen Anforderungen) zu erfüllen.
Leider gibt es nicht einmal bei den KI-Experten immer Einigkeit, was die Validierungen sind, weil manche von Trainings-, Test- und Validierungsdaten sprechen.
Ausführlichere Gedanken finden Sie im Artikel zur Verifizierung und Validierung und in dem dort im Abschnitt 4.a) verlinkten Paper.
Nochmals besten Dank!
Herzliche Grüße, Christian Johner
Sehr geehrter Herr Johner,
vielen Dank für diesen sehr guten Artikel. Ich hätte eine Frage zum Scope des AI Acts. Betrifft der AI ACt nur Produkte, die nach Ihrer Inbetriebname weiter lernen? Oder sind auch Produkte betroffen die am Ende der Entwicklund „eingefroren“ werden und während des Betriebs nicht weiter lernen?
Herzlichen Dank und viele Grüße
Maria Pinkerneil
Sehr geehrte Frau Pinkerneil,
der AI Act unterscheidet kaum zwischen weiterlernenden und nicht-weiterlernenden „AI systems“. Es gilt nur, die spezifischen Risiken für die weiterlernenden Systeme zusätzlich zu betrachten. Die Klassifizierung in „High-risk systems“ ist davon unabhängig.
D.h. der AI Act gilt für beide Typen.
Beste Grüße, Christian Johner