Machine Learning bei Banken: 5 Learnings

Seit vielen Jahren nutzen Banken das Machine Learning. Von diesen Erfahrungen können andere Branchen profitieren: die Medizinproduktehersteller, aber auch prüfende Organisationen wie Behörden und Benannte Stellen.

Aus den Parallelen beider Branchen lassen sich fünf Best Practices sowie Empfehlungen ableiten und damit Kosten und unnötiger Ärger mit Prüfern vermeiden.

Ein Beitrag von Prof. Dr. Christian Johner mit einem Video mit Dr. Daniel Lohner

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

YouTube immer entsperren

PGlmcmFtZSB0aXRsZT0iRWluc2F0eiBkZXMgTWFjaGluZSBMZWFybmluZ3MgYmVpIEJhbmtlbjogV2FzIGFuZGVyZSBCcmFuY2hlbiBkYXZvbiBsZXJuZW4ga8O2bm5lbiIgd2lkdGg9IjEyMDAiIGhlaWdodD0iNjc1IiBzcmM9Imh0dHBzOi8vd3d3LnlvdXR1YmUtbm9jb29raWUuY29tL2VtYmVkL1pWZkU0WGxyY2k4P2ZlYXR1cmU9b2VtYmVkIiBmcmFtZWJvcmRlcj0iMCIgYWxsb3c9ImFjY2VsZXJvbWV0ZXI7IGF1dG9wbGF5OyBjbGlwYm9hcmQtd3JpdGU7IGVuY3J5cHRlZC1tZWRpYTsgZ3lyb3Njb3BlOyBwaWN0dXJlLWluLXBpY3R1cmU7IHdlYi1zaGFyZSIgcmVmZXJyZXJwb2xpY3k9InN0cmljdC1vcmlnaW4td2hlbi1jcm9zcy1vcmlnaW4iIGFsbG93ZnVsbHNjcmVlbj48L2lmcmFtZT4=

1. Gemeinsamkeiten von Banken und Medizinprodukteherstellern

a) Bedeutung des Risikomanagements

Bei beiden Branchen spielt das Risikomanagement eine entscheidende Rolle. Bei den Banken geht es um die Beherrschung finanzieller Risiken wie Kredit- oder Marktrisiken, bei den Medizinprodukteherstellern um die Beherrschung von Risiken durch unsichere Medizinprodukte.

Die Risiken sind in beiden Branchen enorm: In dem einen Fall muss die Stabilität von Banken und damit von Volkswirtschaften gewährleistet sein, in dem anderen Fall die körperliche Unversehrtheit von Patienten, Anwendern und Dritten.

b) Starke und komplexe Regulierung

Zudem sind beide Branchen angehalten, regulatorische Risiken zu analysieren und minimieren. Denn beide Branchen sind stark reguliert und die Anforderungen steigen ständig.

Regulierung bei Banken

Die Verschärfung der Regulierung fand bei den Banken bereits Anfang der 2000er Jahre (Basel II) statt. Im Rahmen der Aufarbeitung der Bankenkrise 2009, die u.a. Folge von drastischen Fehleinschätzungen von Kreditrisiken war, wurden die Anforderungen weiter zugespitzt.

Neuentwicklungen sowie Änderungen unterliegen nun einem strengen Zulassungsprozess und sind regelmäßig zu validieren.

Die Regulierungsstruktur ist komplex und unterscheidet sich selbst innerhalb der EU. Allerdings hat man 2014 zumindest für größere Banken mit einer Harmonisierung der Vorgaben begonnen.

Die Regulatoren von Banken haben sogar finanzielle Anreize geschaffen, damit Banken interne Risikomodelle entwickeln und sich tiefergehend mit dem Inhalt ihrer Anlagen beschäftigen.

Regulierung bei Medizinprodukteherstellern

Der Skandal um Brustimplantate bescherte der Medizinproduktewelt 2017 die EU-Verordnungen MDR und IVDR.

Der Fokus bei Audits und Inspektionen liegt bei beiden, sowohl den Banken als auch den Medizinprodukteherstellern, auf der Herstellung von Transparenz sowie auf den Maßnahmen zur Risikobeherrschung.

c) Digitalisierung

Beide Branchen hat der aktuelle Technologiehype erfasst (FinTech bzw. MedTech/BioTech). Gemeinsam ist ihnen der verstärkte Einsatz des Machine Learnings.

Kunden bzw. Patienten dürfen sich auf innovative Produkte freuen. Aber neben den positiven Erwartungen bergen Algorithmen, insbesondere das Machine Learning, aus Sicht der Regulatoren auch große Risiken.

2. Wo die Banken der Medizintechnik bereits einen Schritt voraus sind

a) Frühe Digitalisierung der Bankenbranche

Die Bankenbranche war ein „Early Adopter“ der Computertechnologie. Bankhäuser begannen bereits in den 70er Jahren mit der beleglosen Transaktionsabwicklung und bieten ihren Kunden seit Jahrzehnten digitale Produkte an.

Auch spielen Algorithmen seit vielen Jahren eine wichtige Rolle. Zu den Beispielen zählen Kreditrisikomodelle bei der Abschätzung der Ausfallwahrscheinlichkeit von Kundenkrediten. Viele dieser Modelle verwenden Verfahren des Machine Learnings.

b) Strengere Regulierung von Algorithmen

Weil die Banken so früh Algorithmen einsetzten und insuffiziente Algorithmen bereits katastrophale Folgen hatten (Bankenkrise), haben die Regulierer viel früher als in anderen Branchen damit begonnen, Regeln zum Einsatz dieser Algorithmen aufzustellen und einzufordern.

Diese Anforderungen betreffen:

• Güte der Modelle
• Auswahl der Modelle
• Validierung der Modelle
• Transparenz der Modelle, der Modellentwicklung und der Datenverarbeitung
• Qualität der Daten zum Lernen und Überprüfen der Modelle
• Governance von Daten und Algorithmen
• Kontinuierliche Überprüfung und Verbesserung der Modelle

Als Folge dieser strengen Regulierung setzen Banken viele Verfahren des Machine Learnings nicht ein. Im Gegenzug haben sie sich gewöhnt an:

• Regulatorische Prüfungen
• Ad-hoc-Anfragen
• Obligatorische jährliche Modellvalidierung

3. Fünf Learnings: Was Medizinproduktehersteller von Banken lernen sollten

Medizinproduktehersteller, die Machine Learning einsetzen möchten, können von den Banken lernen.

Dieses Kapitel hebt fünf Aspekte hervor. Zu jedem Aspekt beschreibt es:

• Bad Practice: Was viele Banken gemacht haben, was man aber nicht machen sollte
• Die Folgen: Was den Banken deshalb passierte
• Better Practices: Was Medizinproduktehersteller besser machen können
• Empfehlungen: Konkrete Tipps

Learning 1: Modellentwicklung als kontinuierlichen Prozess verstehen

Bad Practice

Viele Banken hatten zunächst die Erwartung, dass Algorithmen einmalig entwickelt, zugelassen und produktiv genommen werden.

Folglich verstanden sie die Modellentwicklung als einmalige Projekttätigkeit. Entsprechend setzten sie diese Projekte organisatorisch auf und dokumentierten nur das finale Projektergebnis.

Die Folgen

Rückblickend zeigt sich allerdings, dass dies sowohl aus fachlicher als auch aus regulatorischer Sicht kein guter Ansatz war:

Algorithmen wie die des maschinellen Lernens müssen fortlaufend validiert und an sich verändernde Anforderungen, an neue Daten und an neue Erkenntnisse angepasst werden.

Darauf waren viele Banken sowohl organisatorisch als auch technisch nicht vorbereitet.

Das führte dazu, dass Prüfungen, Ad-hoc-Anfragen und die obligatorische jährliche Modellvalidierung viele Finanzinstitute vor massive Herausforderungen und Kapazitätsengpässe stellten. Häufig mussten diese die Datenaufbereitung neu aufbauen und die Konsistenz mit alten Reports aufwendig manuell prüfen.

Better Practice

Diejenigen Banken, die bereits früh klare organisatorische Verantwortlichkeiten sowie Regelprozesse inklusive Datenmanagement aufgesetzt und standardisierte Prozesse weitestgehend automatisiert hatten, konnten dagegen Kosten und Probleme umgehen.

Es haben sich nachhaltig bewährt:

1. Ablösung von projektspezifischen, „monolithischen“ SAS- oder R-Dateien und „Einmal“-Excel-Dateien durch modulare, versionierte Skripte und Datenbanklösungen
2. Entwicklung von Dashboards für wiederkehrende Standardauswertungen
3. Process Governance (z.B. umsetzbare Validerungskonzepte), die auch selbst regelmäßig überprüft und weiterentwickelt wird

Empfehlung

Prozesse und Infrastruktur sollten von Anfang an auf eine iterative und inkrementelle Weiterentwicklung ausgelegt werden.

Eine leistungsfähige technologische und organisatorische Infrastruktur für eine Validierungs- und Entwicklungsumgebung sowie für das Datenmanagement stellt zwar eine hohe Anfangsinvestition dar, amortisiert sich aber relativ schnell. Letztendlich sind diese Aspekte nach negativen Erfahrungen sogar regulatorisch verankert worden.

Daher ist zu erwarten, dass auch Medizintechnikunternehmen, die diese Themen frühzeitig in Eigeninitiative angehen, mittelfristig von Kosteneinsparungen und besseren Prüfungsergebnissen profitieren werden.

Learning 2: Daten, Code und Modelle dem Konfigurationsmanagement unterwerfen

Bad Practice

Viele Banken archivierten nur die „fertigen Endresultate“. Das wurde zum Problem, da die Bankenaufsicht bei Regelvalidierungen im Produktivumfeld und besonders bei Änderungen der Modelle und Verfahren immer wieder vergleichende Analysen zur Entwicklungsstichprobe verlangte.

So mussten Banken immer wieder begründen, weshalb sie ein bestimmtes Verfahren des Machine Learnings verwenden und nicht ein anderes oder ein klassisches Berechnungsverfahren.

Die Folgen

Die Finanzinstitute konnten nicht nachweisen, dass die Ergebnisse mit aktuellen Daten den Ergebnissen mit Trainingsdaten entsprachen. Sie waren auch nicht in der Lage, die verschiedenen Modelle miteinander zu vergleichen und damit Verbesserungen nachzuweisen. Das führte zu regulatorischen Problemen.

Better Practice

Die Herkunft von Daten und die Datenaufbereitung sollten vollständig nachvollziehbar sowie reproduzierbar sein. Dies gilt insbesondere für die Datenstichprobe der Modellentwicklung.

Die Modelle müssen aus mehreren Gründen ständig weiterentwickelt werden:

1. Die Datenqualität wird über die Zeit kontinuierlich verbessert und fehlerhafte Daten werden korrigiert.
2. Der Anwendungsbereich des Modells oder die zugrunde liegenden Risikotreiber können sich ändern.
3. Die Bewertungskriterien für Modelle haben sich über die letzten Jahre verändert, insbesondere durch die europäische Harmonisierung der regulatorischen Anforderungen. Somit verlangt die Aufsicht heute andere Analysen als vor 10 Jahren; diese sollten sich auch aus den historischen Entwicklungsdaten berechnen lassen können.

Empfehlung

Vollständig historisierte Datenmodelle bedeuten zwar eine höhere Anfangsinvestition, haben sich aber in der Praxis als nachhaltige Lösung bewährt. Historisierung beinhaltet dabei eine Versions- und Konfigurationskontrolle von

• Rohdaten (Datenkorrekturen),
• Skripten und Programmen für die Datenaufbereitung,
• Bibliotheken.

Learning 3: Entscheidungen für Modelle bzw. Algorithmen begründen

Die Modellauswahl sollte nachvollziehbar und reproduzierbar sein, insbesondere im Hinblick auf Modellalternativen (z.B. andere Verfahren des Machine Learnings, andere Hyperparameter).

Bei der Zulassung neuer Modelle sowie Änderungen am Modell fragt die Bankenaufsicht nach alternativen oder historischen Modelldesigns.

Bad Practices

In der Vergangenheit wurden solche Anfragen häufig als Sonderanalysen betrachtet und im Rahmen einer Einzelanalyse neben der eigentlichen Modellentwicklung analysiert.

Die Folgen

Die Erfahrung zeigt, dass solche Nachfragen immer wieder aufkommen und unter Zeitdruck das Risiko von Fehlern und Inkonsistenzen deutlich steigt.

Better Practice

Deshalb und auch aus fachlicher Sicht ist es sinnvoll, Modelle in der Validierung regelmäßig mit alternativen Modellen und Verfahren zu vergleichen. Firmen können die Aufwände erheblich reduzieren, indem sie alternative Modelle und Ansätze direkt in die Modellentwicklungs- und Validierungsumgebung integrieren.

Empfehlung

Firmen sollten ein Modellportfolio mit „Challenger“-Modellen entwickeln, die parallel zum Produktivmodell auf der gleichen Datengrundlage ausgeführt werden. Damit gelingt es stets konsistente Ergebnisse zu produzieren und es lässt sich nachvollziehen, weshalb man welche Modelle gewählt und andere verworfen hat.

Learning 4: Modelle und Modellergebnisse erklären können

Bad Practice

Ein wesentliches Learning aus der Finanzkrise ist, dass mangelnde Transparenz der Risiken und blindes Vertrauen auf „Black-Box-Vorhersagen“ viele Banken dazu verleitet hatte, zu stark mit vermeintlich sicheren, aber tatsächlich hochriskanten Produkten Geschäfte zu machen.

Mit verantwortlich dafür waren die Ratingagenturen, deren Prognosen bis heute nicht transparent gestaltet sind.

Die Folgen

Die Regulatoren legen heute ein besonderes Augenmerk auf die Nachvollziehbarkeit und ökonomische Plausibilität von Modellvorhersagen.

Dies bedeutet in der Praxis auch Einschränkungen in der Modellauswahl beim Machine Learning.

Das war letztendlich eine Konsequenz der unkritischen Verwendung externer Modellergebnisse, wie es vor der Finanzkrise üblich war.

Die Aufsicht führt seither ganz gezielt Einzelfallprüfungen durch, in denen sie Modellergebnisse sowie deren interne Akzeptanz (sog. „use tests“) genau prüft.

Zudem konnten die Banken dem Auskunftsrecht ihrer Kunden nicht gerecht werden, welches bereits unter dem Bundesdatenschutzgesetz bestand und nicht erst seit Einführung der DSGVO.

Better Practice

Firmen sollten die Algorithmen und Modelle nicht nur anhand ihrer Leistungsfähigkeit (z.B. Spezifität und Sensitivität) auswählen, sondern auch anhand ihrer Erklärbarkeit und Nachvollziehbarkeit. Dies ist aus drei Gründen wichtig.

1. Subjektive Wahrnehmungen vermeiden
   Aufgrund der steuernden Wirkungsweise sollten Modellergebnisse für Entscheider nachvollziehbar sein, insbesondere, wenn sich die Modellergebnisse von intuitiven Einschätzungen unterscheiden. Solche Fälle resultieren häufig aus einer selektiven Wahrnehmung von Einzelfällen oder Fehlern bei der Datenerfassung.
2. Bessere Datenqualität
   Darüber hinaus unterstützt die Nachvollziehbarkeit eine effektivere Mensch-Maschine-Interaktion. Die Transparenz darüber, wie sich eingegebene Daten auf das Modellergebnis auswirken, fördert neben der Modellakzeptanz auch die Datenqualität.
3. Verhaltenssteuerung
   Ein nachvollziehbarer Algorithmus kann der Verhaltenssteuerung dienen: Kreditrisikobewertungen geben dem Bankkunden ein Feedback darüber, wie ökonomisch „gesund“ ihr Einnahmen-Ausgaben-Verhalten ist.
   Dies lässt sich auch auf die personalisierte Medizin übertragen: Ein Algorithmus sollte nicht nur einen personalisierten Vorschlag berechnen, welche Dosis eines Medikaments ein Patient einnehmen sollte; er sollte dem Patienten auch ein Feedback dazu geben, ob er mit seinem Verhalten den Heilungsverlauf positiv beeinflusst.

Empfehlung

Bei der Wahl der Modelle sollte die „Interpretability“ bereits eine Rolle spielen. Anwender müssen nachvollziehen können, welchen Einfluss die Input-Daten (Feature) auf die Vorhersagen eines Machine-Learning-Modells haben. Regulatoren sollten nachvollziehen können, dass ein Modell nicht nur zufällig oder innerhalb enger Grenzen korrekte Prognosen liefert.

Das zwingt Hersteller dazu, gut nachvollziehbare und stabile Methoden wie Decision Trees, logistische Regression oder Szenariosimulationsmodelle unnötig komplexen Modellen vorzuziehen.

Bei der Modellwahl gilt also: „Keep it simple“. Weniger verständliche Modelle wie neuronale Netzwerke sollten Firmen nur bei nachweisbaren Vorteilen verwenden. Bei Banken gelingt es aktuell kaum, solche Verfahren des Machine Learnings „zuzulassen“.

Zusätzlich sollten die Firmen Verfahren einsetzen, um die Interpretierbarkeit der Modelle zu verbessern, d.h. Prüfern und Anwendern zu offenbaren, wie die Modelle arbeiten. Dazu zählen beispielsweise die Layerwise Relevance Propagation (LPR) und die Spectral Relevance Analysis (SpRAy).

Learning 5: Dem Regulator einen Schritt voraus sein

Bad Practice

Viele Banken warteten bei regulatorischen Änderungen bis zum letzten Augenblick mit der Umsetzung.

Die Folgen

Diese abwartende Haltung hat in Einzelfällen durchaus Aufwände vermindert, z.B. wenn sich regulatorische Anforderungen nach Industriekonsultationen kurz vor dem Inkrafttreten geändert haben oder es sich zeigte, dass gewisse Aspekte in der Praxis nicht so streng ausgelegt wurden.

In den meisten Fällen hat diese Strategie jedoch zu erheblichen Mehrkosten geführt: zum einen durch „Last-Minute“-Umsetzungsprojekte, zum anderen durch die verpasste Möglichkeit, durch die frühzeitige Umsetzung einer technologisch und organisatorisch nachhaltigen Infrastruktur langfristig Kosten einzusparen und Ärger mit dem Regulator zu vermeiden.

Better Practice

Firmen sollten das tun, was richtig und anständig ist, und nicht warten, bis eine Behörde oder Aufsicht sie zum Handeln zwingt. Von solch einem aktiven Ansatz profitieren Hersteller gleich mehrfach:

1. Sie sparen Geld.
2. Sie reduzieren die Wahrscheinlichkeit, „regulatorischen Ärger“ zu bekommen.
3. Sie sind eher in der Lage, regulatorische Anforderungen zu antizipieren und ggf. sogar zu steuern.
4. Sie werden ihrem Anspruch nach „anständigem Handeln“ und ihren eigenen Werten besser gerecht.

Empfehlung

Firmen sollen aktiv und unabhängig von regulatorischen Anforderungen ihre Best Practices für den Einsatz von Algorithmen und insbesondere von Machine Learning kontinuierlich verbessern. Sie sollten eher als Taktgeber agieren als von Änderungen überrascht werden.

4. Fazit

Die Medizintechnikbranche durchläuft aktuell eine Entwicklung, wie sie in der Bankenbranche bereits vor 10 Jahren eingesetzt hat. Daher sollten Medizinproduktehersteller genau hinsehen, was sie von den Banken lernen können.

Wer obigen Empfehlungen folgt, wird ähnlich wie die „proaktiven“ Banken in der Regel immer gut durch Prüfungen kommen und von einer nachhaltigen Infrastruktur für die Modellpflege profitieren.

Over-Engineering, insbesondere hochkomplexe Machine-Learning-Modelle, führen häufig zu höheren Folgekosten, liefern in der Praxis aber oft nur einen geringen Mehrwert gegenüber einfacheren Modellen.

Bei den Banken liegt der Schlüssel zur maximalen Effizienz in einer kritische Kosten-Nutzen-Abwägung bei der Komplexität der Modellwahl unter gleichzeitiger Einhaltung der Rahmenbedingungen wie Nachvollziehbarkeit, Reproduzierbarkeit und klaren Verantwortlichkeiten.

Bei den Medizinprodukteherstellern müssen die Sicherheit und der Nutzen für die Patienten die Maxime sein. Ein komplexerer Algorithmus mag den Nutzen für viele Patienten erhöhen, die Sicherheit von einigen Patienten aber beeinträchtigen.