Explainable Artificial Intelligence – einfach erklärt

Grundidee und Bedeutung

Explainable Artificial Intelligence (XAI), auf Deutsch „erklärbare künstliche Intelligenz“ oder „erklärbares Maschinenlernen“, soll nachvollziehbar machen, wie dynamische und nicht linear programmierte Systeme zu ihren Ergebnissen kommen. Dazu gehören beispielsweise künstliche neuronale Netze, Deep-Learning-Systeme (reinforcement learning) und genetische Algorithmen. XAI ist eine technische Disziplin, die operative Methoden entwickelt und bereitstellt, mit denen sich KI-Systeme erklären lassen.

Ohne XAI wirken insbesondere manche Verfahren des maschinellen Lernens wie ein Black-Box-Vorgang. Dabei ist die Introspektion des dynamischen Systems, also der Einblick in seine internen Abläufe, unbekannt oder erst in Ansätzen möglich. Anwender haben dann nur geringe Kontrollmöglichkeiten und können kaum verstehen, wie die Software zu einer Problemlösung gelangt. XAI soll solche Vorgänge als Glass Box transparenter machen.

Eine allgemein akzeptierte Definition von XAI gibt es derzeit noch nicht. Das XAI-Programm der Defense Advanced Research Projects Agency (DARPA) verbindet mit XAI zwei zentrale Ziele: Modelle sollen erklärbarer werden, während ihre hohe Lernleistung beziehungsweise Vorhersagegenauigkeit erhalten bleibt. Außerdem sollen menschliche Nutzer die entstehende Generation künstlich intelligenter Partner verstehen, ihnen angemessen vertrauen und effektiv mit ihnen umgehen können.

Entwicklung des Forschungsfeldes

Der Begriff „XAI“ ist relativ neu; eine frühe Erwähnung des Konzepts erfolgte 2004. Der grundlegende Wunsch, die Arbeitsweise von Systemen des maschinellen Lernens vollständig zu verstehen, reicht jedoch weiter zurück. Seit den 1990er Jahren untersuchen Forscher, wie sich Regeln aus trainierten neuronalen Netzen ableiten lassen. Im Bereich der klinischen Expertensysteme entwickelten Wissenschaftler außerdem dynamische Erklärungssysteme für neuronale Entscheidungshilfen, damit diese Technologien für Mediziner vertrauenswürdiger und in der Praxis besser nutzbar werden.

In neuerer Zeit richtet sich die Forschung stärker darauf, Maschinenlernen und KI den Entscheidungsträgern und Nutzern verständlich zu machen, statt nur den Konstrukteuren von Entscheidungssystemen. Nach der Einführung des DARPA-Programms im Jahr 2016 entstanden weitere Initiativen zur algorithmic accountability, also zur algorithmischen Rechenschaftspflicht, und zur Transparenz der Funktionsweise von KI-Technologien.

Am 25. April 2017 veröffentlichte Nvidia den Beitrag „Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car“. Am 13. Juli 2017 empfahl Accenture in „Responsible AI: Why we need Explainable AI“ einen verantwortungsvollen Umgang mit KI und verwies auf die Bedeutung erklärbarer künstlicher Intelligenz.

Zentrale Methoden

Für XAI werden verschiedene Verfahren eingesetzt:

Layer-wise relevance propagation (LRP), ungefähr „Schicht für Schicht erfolgende Übertragung von Bedeutung“, wurde erstmals 2015 beschrieben. Die Methode bestimmt, welche Merkmale bestimmter Eingangsvektoren am stärksten zum Ausgabeergebnis eines neuronalen Netzwerks beitragen.
Bei der Counterfactual method, ungefähr „kontrafaktische Methode“, werden nach einem Ergebnis gezielt Eingabedaten verändert. Das können Texte, Bilder, Diagramme oder andere Daten sein. Anschließend wird beobachtet, wie sich die Veränderung auf das Ausgabeergebnis auswirkt.
Local interpretable model-agnostic explanations (LIME) ist ein weiteres XAI-Verfahren.
Mechanistic interpretability untersucht die Verhaltensweisen eines bestimmten Deep-Learning-Modells. Ziel ist es, Features, also Merkmale, zu finden, die das Verhalten des Modells gezielt verändern können. Diese Methode wurde erstmals 2024 für das hochkomplexe Modell Claude-3 Sonnet unter dem Titel „Mapping the Mind of a Large Language Model“ veröffentlicht.
Generalized additive model (GAM) gehört ebenfalls zu den angewendeten Methoden.
Bei der Rationalization werden insbesondere KI-basierte Roboter dazu befähigt, ihre eigenen Handlungen „verbal erklären“ zu können.

Bereiche mit besonderem Erklärungsbedarf

XAI-Anforderungen betreffen besonders Industriezweige und Dienstleistungsbereiche, in denen KI-Systeme immer intensiver eingesetzt werden. Dadurch wird die Rechenschaftspflicht, englisch accountability, zunehmend an die Software und an deren teilweise überraschende Ergebnisse „delegiert“. Je stärker Entscheidungen von solchen Systemen abhängen, desto wichtiger wird es, ihre Ergebnisse nachvollziehen zu können.

Besonders im Fokus stehen folgende Bereiche:

Antennendesign
Informationsrecherche, Information Retrieval und Wissensreproduktion
Hochfrequenzhandel beziehungsweise algorithmischer Handel
Medizinische Diagnostik
Selbstfahrende Kraftfahrzeuge
Neuronale Netzwerk-Bildgebung
Training militärischer Strategien

Als Beispiel für die öffentliche Vermittlung der Bedeutung von KI-Transparenz wird im Artikel außerdem ein Video über die Wichtigkeit von KI-Transparenz in der Medizin genannt.

Internationaler Austausch und rechtliche Forderungen

Regulierungsbehörden, Behörden und allgemeine Nutzer sind zunehmend von dynamischen, KI-basierten Systemen abhängig. Deshalb wird eine klarere Rechenschaftspflicht für deren Entscheidungsfindung gefordert, um Vertrauen und Transparenz zu gewährleisten. Ein Zeichen für die wachsende Bedeutung des Themas war die „International Joint Conference on Artificial Intelligence: Workshop on Explainable Artificial Intelligence (XAI)“ im Jahr 2017.

Kate Crawford und Meredith Whittaker vom AI Now Institute fordern, dass wichtige öffentliche Einrichtungen, etwa in Strafjustiz, Gesundheit, Wohlfahrt und Bildung, keine Black-Box-KI und keine Black-Box-Algorithmensysteme mehr verwenden sollten. Zusätzlich zu technischen Erklärungsverfahren verlangen sie verbindliche ethische Maßstäbe, wie sie beispielsweise in der pharmazeutischen Industrie und der klinischen Forschung angewendet werden.

Im Europarecht wird seit 2017 intensiv diskutiert, ob sich aus der Datenschutz-Grundverordnung (DSGVO) ein „Recht auf Erläuterung“ (right to [an] explanation) ergibt. Als mögliche Grundlage gilt Art. 22 DSGVO mit dem prinzipiellen Verbot vollautomatisierter Entscheidungsfindung. Zusammen mit Erwägungsgrund 71 wird dort unter angemessenen Garantien auch ein Anspruch auf Erläuterung der nach einer entsprechenden Bewertung getroffenen Entscheidung genannt. Die Informationspflichten der Art. 13–14 DSGVO und das Auskunftsrecht nach Art. 15 DSGVO verlangen außerdem „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen“ einer solchen Verarbeitung.

Ob daraus tatsächlich ein verbindliches Recht folgt, ist umstritten. Erwägungsgründe haben im Unionsrecht vor allem eine Klarstellungsfunktion und begründen selbst kein verbindliches Recht. Art. 13–15 DSGVO werden teilweise restriktiv so ausgelegt, dass sie nur eine Erklärung der abstrakten Systemfunktionalität verlangen, nicht aber die Erklärung einer konkreten Entscheidung, also lokale Interpretierbarkeit. Diese Auslegung ist nicht unumstritten. In der Literatur wurden unter anderem ein „right to legibility“, das die Verständlichkeit der Informationen für Betroffene einbezieht, eine besondere Bedeutung der Datenschutz-Folgenabschätzung nach Art. 35 DSGVO sowie ein Recht auf Erläuterung als implizite Garantie aus Art. 22 Abs. 3 DSGVO oder aus einer ganzheitlichen Betrachtung mehrerer DSGVO-Bestimmungen vertreten.

Weitere mögliche rechtliche Ausgangspunkte für die Interpretierbarkeit von KI wurden im Vertrags- und Schadenersatzrecht sowie bei der informierten Einwilligung (informed consent) zwischen Arzt und Patient im Medizinrecht untersucht.