Was der AI Act für Medizinprodukte- und IVD-Hersteller bedeutet

Die EU-KI-Verordnung (EU AI Act) ist veröffentlicht. Viele Hersteller von Medizinprodukten und IVD sowie andere Akteure im Gesundheitswesen stehen vor der großen Aufgabe, den über 140 Seiten umfassenden Gesetzestext zu verstehen und die Anforderungen zu erfüllen. Beachten Sie: Verstöße gegen den AI Act werden mit bis zu 7 % des jährlichen Umsatzes bestraft.

Dieser Artikel erspart Recherchearbeit und gibt konkrete Tipps, wie die Hersteller (und andere Akteure) die Anforderungen am schnellsten erfüllen.

1. Wen der AI Act betrifft (nicht nur Hersteller!)

Die EU-KI-Verordnung 2024/1689 (kurz: AI Act) betrifft viele Akteure im Gesundheitswesen. Der AI Act ist meist anwendbar, wenn die dafür hergestellten oder dort verwendeten Produkte ein „KI-System“ sind oder beinhalten.

Leider definiert der AI Act den Begriff „KI-System“ sehr schwammig.

Eine Kritik dieser Definition findet sich in diesem Fachartikel.

Eine hilfreiche Vereinfachung der Definition besteht darin, die KI-Systeme im Sinne der KI-Verordnung mit Software-Systemen oder Software-Komponenten gleichzusetzen, die Verfahren des maschinellen Lernens (ML) nutzen, d. h. ein „ML-Modell“ sind oder beinhalten.

1.1 Anbieter / Hersteller

1.1.1 Definitionen

Alleine die Tatsache, dass ein IVD oder ein Medizinprodukt Verfahren des maschinellen Lernens verwendet, bedeutet nicht zwingend, dass diese Produkte und deren Hersteller nennenswerte Anforderungen des AI Act (Anforderungen an Hochrisiko-Systeme) erfüllen müssen.

Das ist nur der Fall, falls zwei Bedingungen erfüllt sind (s. Abb. 1):

1. Das Produkt (Medizinprodukt bzw. IVD) fällt in eine Klasse, bei der eine Benannte Stelle in das Konformitätsbewertungsverfahren nach MDR bzw. IVDR eingebunden werden muss. Das sind die Medizinprodukte der Klassen I*, IIa, IIb und III bzw. IVD der Klassen As, B, C und D.
2. Die KI (präziser: das Machine Learning Modell) stellt entweder selbst das Produkt dar oder dient als „Sicherheitsbauteil“ eines Produkts.

Der AI Act definiert den Begriff „Sicherheitsbauteil“.

Somit kann ein Sicherheitsbauteil sowohl ein Teil einer Standalone-Software als auch Teil eines physischen Produkts sein.

Produkte der niedrigsten Klasse (z. B. MDR Klasse I), welche Verfahren des maschinellen Lernens verwenden, fallen zwar unter die KI-Verordnung, aber sie zählen nicht als Hochrisiko-Produkte. Daher müssen sie in der Regel keine in der Praxis relevanten (geprüften) Anforderungen erfüllen.

1.1.2 Beispiele für Hochrisiko-Produkte und Nicht-Hochrisiko-Produkte

Kategorie: KI-System ist …	Beispiel	Einstufung
das Medizinprodukt selbst	KI-/ML-basierte Standalone-Software, die dazu dient, maligne Hautveränderungen zu diagnostizieren. (Je nach Architektur und Funktionalität der Software bildet das KI-System für die Diagnose nur einen Teil des Produkts. Damit wäre dieses „Diagnose-Modul“ als Sicherheitsbauteil zu betrachten.)	Hochrisiko-Produkt
Teil eines Sicherheitsbauteils des Medizinprodukts	KI/ML-basierte Software einer Dialysemaschine, welche die Ultrafiltration steuert	Hochrisiko-Produkt
Teil eines Bauteils des Produkts, das kein Sicherheitsbauteil ist	KI/ML-basierte Software-Komponente, welche die Nutzung des Produkts auswertet, um dem Hersteller Hinweise über den Verstoß gegen Lizenzbedingungen zu geben	Kein Hochrisiko-Produkt

1.1.3 Sonderfall „Bestimmte KI-Systeme“

In Artikel 50 führt der AI Act den Begriff der „bestimmten KI-Systeme“ ein, ohne ihn zu definieren. Unter Umständen fallen auch IVD und Medizinprodukte darunter (s. Tabelle 2).

Eigenschaft des Produkts	Beispiel	Konsequenz
KI-System ist für direkte Interaktion mit natürlichen Personen bestimmt	Software zur Diagnose maligner Hautveränderungen	Die Anbieter (Hersteller) müssen die Personen über den Einsatz der KI informieren.
KI-System dient der Emotionserkennung	Software für den Einsatz in der Psychotherapie	Betreiber müssen die betroffenen Personen über den Einsatz der KI und die Verwendung der Daten informieren.

Auf diese „bestimmten KI-Systeme“ geht dieser Beitrag im Folgenden nicht mehr ein, weil die Anforderungen durch die MDR bzw. IVDR im Wesentlichen bereits abgedeckt sind.

1.2 Sonstige Akteure

Die KI-Verordnung stellt bei Hochrisiko-Produkten (und damit IVD und Medizinprodukten) Anforderungen nicht nur an die Hersteller, sondern auch an weitere Akteure:

• Betreiber (z. B. Krankenhäuser, Labore)
• Importeure/Einführer
• Händler

Die Anforderungen an die Betreiber beschreibt Kapitel 2.3.

2. Welche Anforderungen der AI Act stellt

2.1 Übersicht

Der AI Act formuliert die Anforderungen an die Hochrisiko-Produkte in Kapitel III. Mit 49 Artikeln ist es das umfangreichste Kapitel (s. Abb. 2). Produkte anderer Risikokategorien behandelt dieser Beitrag nicht.

Diese 49 Artikel sind in fünf Abschnitte (Sections) aufgeteilt (s. Abb. 3). Die Anforderungen an die KI-Systeme finden sich in den Abschnitten 2 und 3.

2.2 Anforderungen an die Hersteller

Dieser Abschnitt fasst die wichtigsten Anforderungen des AI Act an die Hersteller zusammen.

Anforderung	Artikel	Kommentar
Risikomanagementsystem	9	Die Schutzziele betreffen auch die Grundrechte. Das Testen wird explizit gefordert. Konkrete Risiken, die die Hersteller betrachten müssen, werden vorgegeben; z. B. „data poisoning“ und Cybersecurity-Probleme.
Daten-Governance	10	Vorgaben zum Umgang mit Trainings-, Validierungs- und Testdaten
Technische Dokumentation (TD)	11	Die TD kann und soll mit der TD von Medizinprodukten/IVD zusammengelegt werden.
Aufzeichnungspflichten	12	Gemeint ist eine Protokollierung u. a. der Nutzung und Input-Daten, beispielsweise im Sinne von Audit-Trails, um die Post-Market Surveillance zu vereinfachen.
Informationen	13	Eine elektronische(!) Gebrauchsanweisung ist gefordert.
Menschliche Aufsicht	14	Die menschliche Aufsicht bei der Nutzung der Systeme soll helfen, Risiken zu vermindern. Es gibt viele Querbezüge zur Gebrauchstauglichkeit dieser Produkte.
Genauigkeit, Robustheit und Cybersicherheit	15	Diese Anforderungen betreffen nicht nur die Entwicklung der Produkte, sondern auch organisatorische Maßnahmen. Der AI Act schließt selbstlernende Systeme nicht aus, im Gegensatz zu einigen deutschen Benannten Stellen bei Medizinprodukten.
Qualitätsmanagementsystem	16, 17	Dieses System kann und sollte mit dem bestehenden QMS betrieben werden. Es setzt zusätzliche/geänderte Vorgabedokumente voraus (s. u.).
Konformitätsbewertungsverfahren, Konformitätserklärung und CE-Kennzeichnung	16, 43, 47, 48	Es sind Benannte Stellen einzubeziehen (dies werden hoffentlich die gleichen Benannten Stellen wie die für die Medizinprodukte/IVD sein).
Pflicht zur Registrierung in einer Datenbank	16, 49	Vergleichbar mit EUDAMED
Vigilanzsystem, Zusammenarbeit mit Behörden	16, 20, 21	Vergleichbar der Vigilanz bei MDR und IVDR
Anforderungen an Barrierefreiheit	16
Bestellung eines EU-Bevollmächtigten		Nur falls Hersteller („Anbieter“) nicht in der EU sitzt

2.3 Anforderungen an die Betreiber

2.3.1 Was ein Betreiber ist

Die KI-Verordnung definiert den Begriff Betreiber:

Im Gegensatz zu MDR und IVDR kennt die KI-Verordnung das Konzept der Eigenherstellung bzw. der Inhouse-IVD nicht. Aber wenn eine Gesundheitseinrichtung ein KI-System selbst entwickelt und in Betrieb nimmt, zählt sie der AI Act zu den Anbietern. Denn definitionsgemäß gelten auch die Betreiber als Anbieter, die KI-Systeme „unter ihrem eigenen Namen […] in Betrieb nehmen“.

Beispielsweise zählt ein Krankenhaus oder medizinisches Labor, das ein KI-System selbst entwickelt und z. B. für diagnostische Zwecke in Betrieb nimmt, als Anbieter.

Die KI-Verordnung gilt explizit auch für „Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;“ (Artikel 2(1)e)).

2.3.2 Was die Pflichten der Betreiber sind

Die Betreiberpflichten formuliert der AI Act v. a. im Artikel 26.

Pflicht	Kommentar
Zweckbestimmungsgemäßen Gebrauch sicherstellen	Sicherstellen, dass die Anwender über die notwendigen Kompetenzen verfügen und das Produkt gemäß der Gebrauchsanweisung nutzen. Das schließt ein, dass die Input-Daten der Zweckbestimmung genügen. Der AI Act führt nicht aus, weshalb diese Daten auch „repräsentativ“ sein sollen. Ist die Annahme, dass die Anwender das System trainieren?
Vigilanz	Wenn die Betreiber vermuten, dass das System nicht sicher ist, müssen sie den Anbieter und(!) die Marktaufsichtsbehörden informieren.
Protokolle aufbewahren	Die KI-Systeme müssen für die Post-Market Surveillance Protokolle (z. B. Audit-Logs) erzeugen. Diese müssen die Betreiber aufbewahren. Dass sie dabei in den Konflikt mit dem Datenschutz geraten können, ist den Autoren des AI Act bewusst.
Über Einsatz informieren	Die Betreiber müssen die Arbeitnehmenden und deren Vertreter (z.B. Betriebsrat) informieren.
Datenschutz gewährleisten	Der AI Act verlangt von den Betreibern, ihren Pflichten durch die DSGVO nachzukommen.

3. Ab wann die Anforderungen gelten

Die Zeitpunkte für das Inkrafttreten und den Geltungsbeginn definiert der Artikel 113.

Datum	Aktion
12.07.2024	EU verabschiedet KI-Verordnung
01.08.2024	KI-Verordnung tritt in Kraft
02.02.2025	Verbot der „verbotenen Praktiken“ wird wirksam
02.08.2025	Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck werden wirksam (wenn diese ab jetzt in den Verkehr gebracht werden)
02.08.2026	Die KI-Verordnung gilt weitgehend, auch für viele Hochrisiko-Produkte
02.08.2027	Allerdings zählen Produkte gemäß Artikel 6(1) (das sind IVD und Medizinprodukte sowie Sicherheitskomponenten) erst jetzt als Hochrisiko-Produkte. Das dürfte für IVD- und Medizinproduktehersteller die wichtigste Frist sein.
02.08.2027	Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck werden wirksam, wenn diese vor dem 01.08.2025 in den Verkehr gebracht wurden.

4. Was Hersteller jetzt tun sollten

Die Entwicklung von IVD und Medizinprodukten dauert meist Jahre. Daher sind die Hersteller gut beraten, sich ab sofort mit den Anforderungen des AI Act auseinanderzusetzen und nicht bis zum Ende der Übergangsfrist zu warten.

Zudem überprüfen Benannte Stellen bei Audits gezielt, ob die Hersteller Änderungen an den regulatorischen Anforderungen systematisch identifizieren und notwendige Maßnahmen ergreifen. Die KI-Verordnung ist ein Beispiel für solch eine regulatorische Änderung.

4.1 Kompetenz aufbauen

Die Hoffnung, dass gute Data Scientists in den eigenen Reihen ausreichen, um die gesetzlichen Anforderungen nach Kompetenz zu erfüllen, dürften nicht erfüllt werden. Umfassenderes Wissen ist notwendig, beispielsweise bei diesen Aktivitäten und Bereichen:

• Validierung der Systeme zum Sammeln und Verarbeiten (Pre-Processing) der Trainings-, Validierungs- und Testdaten
• Risikomanagement, das neue Schutzziele und neue Risiken einbeziehen muss
• Umsetzung künftig erscheinender einschlägiger (harmonisierter) Normen
• Testmethoden für KI-Modelle
• Methoden für die Interpretability (= Explainability + Transparency) dieser Modelle
• Datenschutz bei KI-Modellen (insbesondere bei Trainings-, Validierungs- und Testdatensätze sowie bei den Protokollen)

Der AI Act verlangt in Artikel 4, die Kompetenz „nach besten Kräften“ sicherzustellen. Es wird nicht ausgeführt, welche Kompetenzen gemeint sind. Das KI-Gesetz der EU schließt auch die Betreiber und Anwender von seinen Forderungen nicht aus.

4.2 QM-Vorgaben erweitern

Die Hersteller werden ihre Vorgabedokumente wie Verfahren- und Arbeitsanweisungen, Checklisten und Templates anpassen und ergänzen, um die zusätzlichen Anforderungen der KI-Verordnung zu erfüllen.

Diese Vorgabedokumente müssen fortlaufend darauf überprüft werden, ob sie dem Stand der Technik (insbesondere harmonisierten Normen) entsprechen, und geschult werden.

4.3 Externe Partner auswählen und managen

Der AI Act wirkt sich nicht nur auf das Arbeiten innerhalb der Unternehmen aus, sondern auch auf deren Interaktion mit Externen. Das betrifft beispielsweise die folgenden Tätigkeiten:

• Lieferanten identifizieren, qualifizieren und fortlaufend bewerten (z. B. Open Source Modelle, Entwicklungsdienstleister, Benannte Stellen)
• Händler auswählen, instruieren, überprüfen
• Ggf. EU-Bevollmächtigte auswählen
• Partner für Schulungen und Beratung auswählen (Tipp: Johner Institut 🙂 )
• KI-Reallabore finden
• Förderprogramme recherchieren, Forschungszulagen beantragen

5. Fazit und Zusammenfassung

Der AI Act ist da und wird bleiben. Daran ändert auch die breite, teilweise vernichtende Kritik an dieser EU-KI-Verordnung nichts, die wir an anderer Stelle zusammenfassen.

a) Jetzt starten, aber risikobasiert

Daher müssen sich Hersteller mit der Verordnung auseinandersetzen. Tipp: Starten Sie zeitnah, denn einige Vorgaben lassen sich bei einem bereits entwickelten Produkt nachträglich nur noch schwer erfüllen.

Dabei sollten Hersteller risikobasiert vorgehen:

• Wie bei der MDR und IVDR hilft es, einerseits frühzeitig zu starten, um Risiken in Audits und für die plangemäße („Time & Budget“) Entwicklung und Vermarktung der Produkte zu minimieren.
• Andererseits müssen sich die Hersteller bewusst sein, dass die Normen für den AI Act erst noch geschrieben und harmonisiert werden. Das kann das Nacharbeiten der QM-Dokumente erfordern.

Der Termin, an dem Medizinprodukte und IVD die Anforderungen an Hochrisiko-Produkte erfüllen müssen, steht fest. Unabhängig von der (schleppenden) Harmonisierung von Normen.

 b) Ein „Change Project“ initiieren

Der AI Act bedeutet mehr als „nur ein weiteres Gesetz“. Er betrifft viele Abteilungen:

• Forschung und Entwicklung inkl. Usability Engineering und Data Science
• Qualitätsmanagement inkl. Lieferanten-Management
• Regulatory Affairs inkl. Vigilanz und Auswahl (neuer?) Benannter Stellen
• Datenschutz und IT Security
• Risikomanagement
• Produktmanagement und Customer-Support

Diese Änderungen erfordern Ressourcen (Geld, ausgebildete Personen) und eine abteilungsübergreifenden Planung. Daher sollten die verantwortlichen Führungskräfte ein Change-Projekt aufsetzen und nicht nur Regulatory Affairs mit einem „mach mal“ beauftragen.