Erklärbare KI im Unternehmen: Was ist XAI?

Autor: Provimedia GmbH

Veröffentlicht:

Aktualisiert:

Kategorie: Best Practices & Learnings

Zusammenfassung: XAI macht KI-Entscheidungen nachvollziehbar, prüfbar und korrigierbar, ersetzt jedoch weder Fairnessprüfungen noch umfassende Governance.

Warum Unternehmen XAI für nachvollziehbare KI-Entscheidungen brauchen

Unternehmen setzen KI zunehmend für Entscheidungen ein, die Menschen direkt betreffen: etwa bei der Auswahl von Bewerbungen, der Prüfung von Kreditanträgen oder der Priorisierung von Servicefällen. Ein gutes Ergebnis allein reicht dabei nicht. Verantwortliche müssen auch erklären können, warum ein System zu diesem Ergebnis kam.

Genau hier setzt Explainable Artificial Intelligence (XAI) an. XAI macht relevante Einflussfaktoren, Entscheidungswege oder typische Muster eines KI-Systems verständlicher. Dabei geht es nicht darum, jedes technische Detail für alle Mitarbeitenden offenzulegen. Entscheidend ist eine Erklärung, die zur jeweiligen Aufgabe passt und eine fundierte Prüfung ermöglicht.

Für Unternehmen hat das drei praktische Folgen:

Besonders wichtig ist XAI bei risikoreichen Anwendungen. Nach der Risikologik der EU-KI-Verordnung können Systeme in Bereichen wie Beschäftigung, Bildung, Kreditvergabe oder kritischer Infrastruktur strengen Anforderungen unterliegen. Für solche Anwendungen braucht ein Unternehmen nicht nur ein Modell mit guter Trefferquote, sondern auch nachvollziehbare Informationen zu Daten, Grenzen, Leistung und Einsatzbedingungen. Die Verordnung verlangt je nach System unter anderem technische Dokumentation, Protokollierung, menschliche Aufsicht und Informationen für Betreiber.

XAI unterstützt dabei, ersetzt aber keine vollständige Governance. Eine plausible Erklärung beweist nicht automatisch, dass eine Entscheidung fair oder rechtmäßig ist. Ein Modell kann seine Merkmale verständlich nennen und dennoch benachteiligende Zusammenhänge nutzen. Deshalb sollten Unternehmen Erklärung und Qualitätsprüfung trennen: Die Erklärung zeigt, wie das System arbeitet; zusätzliche Tests prüfen, ob dieses Verhalten akzeptabel ist.

Der Nutzen zeigt sich im Arbeitsalltag. Eine Sachbearbeiterin kann einen ungewöhnlichen Fall gezielt nachprüfen, statt jede Empfehlung manuell neu zu berechnen. Ein Compliance-Team erkennt, ob ein Modell gegen interne Regeln verstößt. Und eine betroffene Person erhält eine konkrete Begründung, mit der sie eine Entscheidung sachlich hinterfragen kann. Das schafft keine automatische Akzeptanz, aber eine belastbare Grundlage für Widerspruch und Korrektur.

Für die Einführung sollten Unternehmen vorab drei Fragen beantworten: Welche Entscheidungen muss ein Mensch nachvollziehen können? Welche Erklärung benötigt die betroffene Person? Und welche Belege müssen für eine spätere Prüfung gespeichert werden? Wer diese Fragen erst nach einem Fehler stellt, ist meist schon zu spät dran. XAI ist deshalb weniger ein Zusatzfenster am Modell als eine Anforderung an den gesamten Entscheidungsprozess.

Was bedeutet Explainable Artificial Intelligence (XAI)?

Explainable Artificial Intelligence (XAI) bezeichnet Methoden, mit denen ein KI-System seine Ergebnisse verständlich begründet. Im Deutschen ist meist von erklärbarer künstlicher Intelligenz die Rede. XAI beschreibt dabei keinen einzelnen Algorithmus. Gemeint ist ein ganzer Werkzeugkasten für Modelle, Ausgaben und Entscheidungsprozesse.

Eine Erklärung kann zum Beispiel zeigen, welche Eingaben das Ergebnis besonders beeinflusst haben, wie sicher die Prognose ist oder unter welchen Bedingungen sie kippen würde. Bei einer Umsatzprognose wären das etwa Absatzdaten, Saisonmuster und Preisänderungen. Bei einer Bildanalyse könnten markierte Bildbereiche die Entscheidung veranschaulichen.

Wichtig ist die Unterscheidung zwischen Interpretierbarkeit und Erklärbarkeit:

In der Praxis unterscheidet man außerdem zwei Blickrichtungen. Eine globale Erklärung beschreibt, wie das Modell insgesamt arbeitet. Sie kann zeigen, welche Merkmale im Durchschnitt wichtig sind. Eine lokale Erklärung bezieht sich nur auf einen einzelnen Fall. Sie beantwortet etwa die Frage, warum ein bestimmter Antrag abgelehnt oder eine bestimmte Prognose erstellt wurde.

Verbreitete Verfahren nutzen dafür unterschiedliche Darstellungen:

Eine gute XAI-Erklärung ist nicht automatisch eine wahre Erklärung. Manche Verfahren liefern nur Näherungen oder statistische Hinweise. Sie können plausibel klingen, obwohl sie den tatsächlichen internen Berechnungsweg nicht vollständig abbilden. Deshalb sollte eine Erklärung immer mit ihrer Reichweite, Unsicherheit und Methode gekennzeichnet werden.

Für Unternehmen zählt zudem die Zielgruppe. Entwickler benötigen technische Kennzahlen, Fachkräfte eher relevante Einflussfaktoren und Betroffene eine klare Begründung ohne Modelljargon. Eine Erklärung muss also nicht maximal ausführlich sein, sondern für die jeweilige Entscheidung brauchbar. Genau darin liegt der Kern von XAI: Sie übersetzt mathematische Modellberechnungen in prüfbare Informationen für Menschen.

Chancen und Grenzen erklärbarer KI im Unternehmen

Aspekt Vorteile von XAI Herausforderungen und Grenzen
Nachvollziehbarkeit Einflussfaktoren und Entscheidungswege werden verständlicher. Erklärungen können nur eine Annäherung an den tatsächlichen Modellprozess sein.
Fehlererkennung Fehlerhafte Daten, unpassende Merkmale und unerwartete Muster lassen sich früher erkennen. Eine plausible Erklärung beweist nicht automatisch, dass das Modell korrekt arbeitet.
Compliance Modellversionen, Datenquellen und Entscheidungsbegründungen können dokumentiert werden. Erklärbarkeit ersetzt keine vollständige rechtliche und organisatorische Governance.
Menschliche Aufsicht Mitarbeitende können Empfehlungen gezielt prüfen, korrigieren oder ablehnen. Bei Zeitdruck besteht das Risiko, dass Erklärungen ungeprüft übernommen werden.
Betroffene Personen Menschen erhalten konkrete Gründe und können Entscheidungen sachlich hinterfragen. Zu technische oder unvollständige Erklärungen können weiterhin schwer verständlich sein.
Fairness Problematische Einflussfaktoren und mögliche Stellvertretermerkmale werden sichtbar. XAI verhindert Diskriminierung nicht automatisch; zusätzliche Fairness-Tests sind erforderlich.
Risikomanagement Instabile Erklärungen, Datenverschiebungen und ungewöhnliche Modellmuster können auffallen. Erklärungen können sich bei kleinen Änderungen an Daten oder Modellversionen verändern.
Vertrauen Verständliche Begründungen fördern die Akzeptanz bei Mitarbeitenden und Kunden. Eine überzeugende Darstellung kann ein falsches Gefühl von Sicherheit erzeugen.

Wie XAI die wichtigsten Einflussfaktoren einer Entscheidung sichtbar macht

XAI macht Einflussfaktoren sichtbar, indem es eine Modellentscheidung in einzelne Beiträge zerlegt. Das System zeigt dann nicht nur das Ergebnis, sondern auch, welche Eingaben es verstärkt, abgeschwächt oder kaum berücksichtigt hat. Bei einer Lieferprognose können etwa Bestellhistorie, Saison, Lieferzeit und Lagerbestand unterschiedlich stark zum Ergebnis beitragen.

Für Unternehmen ist vor allem die Richtung des Einflusses wichtig. Ein Merkmal kann die Wahrscheinlichkeit erhöhen oder senken. Eine hohe Auslastung könnte beispielsweise für eine verspätete Lieferung sprechen, während ein großer Sicherheitsbestand dagegenwirkt. Eine solche Darstellung ist nützlicher als eine bloße Rangliste, denn sie erklärt auch, ob ein Faktor das Ergebnis nach oben oder nach unten bewegt.

Viele Verfahren arbeiten mit einem Referenzwert. Zuerst wird ein Ausgangsergebnis berechnet. Danach zeigt das System, wie einzelne Merkmale diesen Wert verändern. Bei einer Risikoprognose könnte die Darstellung vereinfacht so aussehen:

Diese Beiträge dürfen nicht vorschnell als Ursache verstanden werden. Ein Modell erkennt statistische Zusammenhänge. Es beweist damit nicht, dass ein Merkmal den Sachverhalt tatsächlich verursacht. Wird etwa eine bestimmte Region als wichtiger Faktor angezeigt, kann sie nur als Stellvertreter für andere, nicht erfasste Merkmale dienen. Genau solche Hinweise machen XAI für die Modellprüfung wertvoll.

Besonders aussagekräftig sind Kontrafakt-Erklärungen. Sie beantworten die Frage: Was müsste sich ändern, damit das Ergebnis anders ausfällt? Eine Anwendung könnte mitteilen, dass eine geringere offene Kreditsumme oder eine längere Beschäftigungsdauer die Einstufung verändert hätte. Dabei sollten nur Merkmale genannt werden, die praktisch veränderbar sind. Alter oder Herkunft sind keine sinnvollen Handlungsempfehlungen.

Auch die Form der Darstellung beeinflusst die Qualität. Balken, Schwellenwerte und kurze Begründungen helfen bei einzelnen Fällen. Für Fachleute sind zusätzlich Werte wie Unsicherheitsbereiche, Vergleichsfälle oder die Stabilität einer Erklärung relevant. Ändert sich die Begründung stark, obwohl sich die Eingaben nur geringfügig ändern, kann das auf ein instabiles Modell hindeuten.

Unternehmen sollten daher jede Erklärung mit ihrem Geltungsbereich ausweisen. Eine lokale Analyse erklärt einen konkreten Datensatz, nicht automatisch das gesamte Modell. Zudem können Merkmalsbeiträge je nach Verfahren anders berechnet werden. XAI liefert also eine strukturierte Sicht auf die Entscheidung, aber kein unfehlbares Protokoll des inneren Denkens der Maschine.

Welche Erklärungsverfahren Unternehmen unterscheiden sollten

Unternehmen sollten bei XAI nicht nur fragen, ob ein Modell eine Erklärung liefert. Entscheidend ist, welche Art von Erklärung entsteht, für wen sie gedacht ist und wie nah sie am tatsächlichen Modellverhalten liegt. Die Verfahren lassen sich grob in vier Gruppen einteilen.

Inhärent interpretierbare Modelle sind bereits durch ihre Struktur nachvollziehbar. Dazu zählen einfache Entscheidungsbäume, lineare Modelle und regelbasierte Systeme. Ihre Regeln oder Gewichtungen lassen sich direkt prüfen. Der Nachteil: Bei sehr komplexen Aufgaben erreichen sie oft nicht die Leistung tiefer neuronaler Netze.

Modellunabhängige Verfahren arbeiten nachträglich mit fast jedem Modell. Sie untersuchen, wie sich die Ausgabe verändert, wenn Eingaben gezielt verändert werden. So entsteht eine Annäherung an die Entscheidungslogik. Der Vorteil liegt in der breiten Einsetzbarkeit. Die Erklärung ist jedoch ein Ersatzbild und nicht zwingend der echte interne Rechenweg.

Modellspezifische Verfahren nutzen den Aufbau eines bestimmten Modelltyps. Bei neuronalen Netzen können sie etwa Aktivierungen einzelner Schichten auswerten. Bei Baumverfahren lassen sich Pfade und Merkmalsaufteilungen analysieren. Solche Methoden sind oft genauer, funktionieren aber nicht automatisch bei anderen Modellklassen.

Beispielbasierte Verfahren erklären ein Ergebnis durch ähnliche Fälle oder typische Referenzbeispiele. Das ist für Fachabteilungen leicht verständlich: Ein Antrag ähnelt mehreren früheren Fällen, die zu einer bestimmten Einstufung führten. Unternehmen müssen dabei prüfen, ob die Vergleichsfälle fachlich passend und frei von Verzerrungen sind.

Für die Auswahl hilft eine klare Trennung:

Auch der Zeitpunkt ist relevant. Post-hoc-Erklärungen werden nach der Berechnung erzeugt. Sie eignen sich für Audits und Fallprüfungen, können aber nur eine Annäherung sein. Bei integrierten Erklärungen ist die Begründung Teil des Modells oder des Prozesses. Dafür muss das System oft einfacher gestaltet werden.

Ein Verfahren sollte außerdem nicht nur nach Verständlichkeit bewertet werden. Wichtige Kriterien sind die Genauigkeit der Erklärung, ihre Stabilität bei kleinen Änderungen, die technische Reproduzierbarkeit und der Aufwand im laufenden Betrieb. Eine farbige Grafik wirkt zwar anschaulich. Sie ist aber wenig hilfreich, wenn sie bei identischen Eingaben stark wechselt oder zentrale Merkmale ausblendet.

Die passende Wahl hängt somit vom Einsatz ab: Für einfache Sachentscheidungen reichen oft transparente Modelle. Für komplexe Prognosen können kombinierte Ansätze sinnvoll sein, etwa eine globale Modellanalyse plus eine fallbezogene Erklärung. Entscheidend ist, dass das Verfahren seine Grenzen offenlegt und nicht mehr Sicherheit vorgaukelt, als es tatsächlich bietet.

Wie XAI bei Kreditprüfung, Personalwahl und Kundenservice eingesetzt wird

XAI zeigt sich je nach Geschäftsbereich anders. Bei der Kreditprüfung zählt die Begründung einer Risikoeinstufung. In der Personalwahl muss ein System Bewerbungen anhand beruflicher Kriterien bewerten. Im Kundenservice geht es vor allem darum, Prioritäten und Antwortvorschläge nachvollziehbar zu machen. Die Erklärung muss deshalb zum jeweiligen Prozess passen.

Bei der Kreditprüfung kann XAI Sachbearbeitern anzeigen, welche Angaben die Risikobewertung geprägt haben. Dazu gehören etwa Einkommen, laufende Verpflichtungen, bisherige Rückzahlungen und die gewünschte Kreditsumme. Sinnvoll ist eine klare Trennung zwischen automatisch berechneter Empfehlung und endgültiger Entscheidung. Ein Kreditinstitut kann so gezielt prüfen, ob Daten fehlen, veraltet sind oder falsch übernommen wurden.

Besonders nützlich sind hier konkrete Änderungsinformationen. Statt einer pauschalen Aussage wie „Risiko zu hoch“ erhält die betroffene Person eine verständliche Begründung, etwa eine zu hohe monatliche Belastung im Verhältnis zum Einkommen. Das erleichtert Rückfragen und kann Fehler in den Eingangsdaten aufdecken. Bei Verbraucherkrediten müssen Unternehmen zudem die Vorgaben des Datenschutzrechts und die Anforderungen der EU-KI-Verordnung zusammen betrachten.

In der Personalwahl kann XAI sichtbar machen, welche berufsbezogenen Angaben eine Vorauswahl beeinflusst haben. Dazu zählen beispielsweise geforderte Qualifikationen, relevante Berufserfahrung oder der Abgleich mit einem zuvor festgelegten Kompetenzprofil. Merkmale wie Geschlecht, Alter, Herkunft oder Behinderung dürfen nicht mittelbar als Ersatzkriterien wirken. Das ist tückisch, weil ein Modell auch scheinbar neutrale Angaben als Stellvertreter verwenden kann.

Ein brauchbarer Einsatz besteht daher nicht darin, Bewerbungen blind zu sortieren. Das System kann passende Nachweise aus Lebensläufen markieren und eine Rangfolge begründen. Personalverantwortliche erhalten damit eine Arbeitsgrundlage, keine automatische Absage. Unternehmen sollten jede Modellversion mit historischen und aktuellen Bewerbungsdaten prüfen und dokumentieren, ob bestimmte Gruppen systematisch schlechter bewertet werden.

Im Kundenservice kann XAI erklären, warum ein Anliegen an ein bestimmtes Team weitergeleitet, als dringend eingestuft oder mit einer Antwortvorlage versehen wurde. Relevante Signale sind zum Beispiel Vertragsart, Frist, Produktbereich und der erkennbare Problemtyp. Eine Servicekraft kann die Empfehlung dadurch schneller annehmen, ändern oder begründen.

Bei generierten Antwortvorschlägen sollte die Erklärung außerdem die verwendete Wissensquelle nennen. Stammt die Information aus einer aktuellen Produktdokumentation, einem Vertrag oder einer internen Prozessregel? Diese Herkunft ist im Kundenservice oft wichtiger als eine lange technische Erläuterung. Sie hilft, veraltete Inhalte und unpassende Standardantworten rasch zu erkennen.

In allen drei Bereichen sollte XAI direkt in den Arbeitsablauf eingebaut werden. Eine Erklärung, die erst nach mehreren Klicks in einem separaten Bericht erscheint, wird im Alltag kaum genutzt. Besser sind kurze Hinweise am Entscheidungspunkt, ergänzt durch eine vertiefte Ansicht für Fachprüfung und interne Kontrollen.

Beispiel: Eine nachvollziehbare Kreditentscheidung mit XAI

Ein Kreditinstitut prüft einen Antrag über 20.000 Euro. Das Modell berechnet eine Rückzahlungswahrscheinlichkeit von 86 Prozent und empfiehlt die Freigabe. Für die Sachbearbeitung reicht dieser Wert allein nicht aus. Sie muss erkennen können, ob die Empfehlung auf passenden Angaben beruht.

Die XAI-Anzeige zerlegt den Einzelfall in prüfbare Bausteine:

Die Sachbearbeiterin entdeckt dabei einen wichtigen Fehler: Eine aktuelle Gehaltsänderung wurde noch nicht übernommen. Nach der Korrektur sinkt die Belastungsquote, und die Modellbewertung verändert sich. XAI hat die Entscheidung nicht selbst getroffen. Es hat den Punkt sichtbar gemacht, an dem eine fachliche Prüfung nötig war.

Eine gute Erklärung enthält zusätzlich die Entscheidungsgrundlage. Dazu gehören der Datenstand, die verwendete Modellversion und die Frage, ob der Antrag innerhalb des üblichen Wertebereichs liegt. Ein Antrag mit ungewöhnlicher Kreditsumme kann nämlich eine weniger verlässliche Prognose erhalten als ein typischer Fall. Diese Information sollte direkt bei der Empfehlung erscheinen.

Für die antragstellende Person wird die Begründung anders formuliert. Statt technischer Kennzahlen erhält sie konkrete, sachliche Gründe für die Einstufung, etwa eine hohe monatliche Gesamtbelastung oder fehlende Nachweise. Die Erklärung sollte keine Merkmale offenlegen, die Rückschlüsse auf andere Personen zulassen. Sie muss außerdem klar zwischen einer vorläufigen Bewertung und einer endgültigen Entscheidung unterscheiden.

Der Fall zeigt auch, was XAI nicht leisten darf. Eine Erklärung wie „ähnliche Kundinnen und Kunden hatten häufiger Zahlungsausfälle“ wäre zu ungenau. Sie könnte zudem eine problematische Gruppenzuordnung verschleiern. Besser ist eine Begründung, die auf individuellen, sachlich zulässigen Angaben beruht und eine Korrektur ermöglicht.

Für die interne Prüfung wird der Vorgang mit mehreren Zeitpunkten gespeichert: den Eingangsdaten, der Modellversion, der erzeugten Begründung und der späteren Entscheidung. So lässt sich nachvollziehen, ob die Freigabe auf einer unveränderten Datenbasis erfolgte oder nach einer Korrektur angepasst wurde. Das ist besonders hilfreich bei Beschwerden und späteren Prüfungen.

Ein solcher Ablauf verbindet Automatisierung mit fachlicher Kontrolle. Die KI beschleunigt die Vorprüfung, während die XAI-Darstellung den konkreten Prüfbedarf markiert. Genau dadurch wird aus einem schwer deutbaren Score eine Arbeitsgrundlage, mit der Menschen sachlich weiterarbeiten können.

Welche Vorteile XAI für Compliance, Risiko und Vertrauen bietet

XAI schafft vor allem dort Mehrwert, wo Unternehmen Entscheidungen nachweisen, Risiken bewerten und Vertrauen erhalten müssen. Die Erklärung wird dabei zu einem Kontrollnachweis: Sie zeigt, welche Modellversion aktiv war, welche Daten einbezogen wurden und ob das Ergebnis innerhalb der vorgesehenen Grenzen lag.

Für die Compliance erleichtert das die Arbeit an Prüfpfaden. Ein Unternehmen kann festhalten, wer ein Ergebnis ausgelöst, geprüft und freigegeben hat. Dazu kommen Zeitstempel, Eingabedaten, Modellversion und Begründung. Bei einer internen oder externen Prüfung entsteht so eine lückenlose Dokumentation statt einer schwer prüfbaren Einzelentscheidung.

Auch die Risikosteuerung profitiert. Erklärungen können ungewöhnliche Einflussmuster sichtbar machen, etwa eine plötzlich stark veränderte Gewichtung eines Merkmals. Werden solche Abweichungen über viele Fälle hinweg beobachtet, erkennt das Unternehmen mögliche Datenverschiebungen oder einen Leistungsabfall früher. XAI dient damit nicht nur der Erklärung abgeschlossener Fälle, sondern auch als Signal für die laufende Modellüberwachung.

Für das Vertrauen von Mitarbeitenden und Kunden ist die Verständlichkeit entscheidend. Menschen akzeptieren eine automatisierte Empfehlung eher, wenn sie eine konkrete Begründung erhalten und wissen, wie sie dagegen vorgehen können. Ein klarer Hinweis auf die Datenbasis, die zuständige Stelle und den möglichen Korrekturweg wirkt meist stärker als eine technisch beeindruckende, aber schwer lesbare Erklärung.

Vertrauen entsteht jedoch nicht durch Transparenz allein. Unternehmen müssen zeigen, dass Erklärungen Folgen haben. Wird ein Fehler erkannt, sollte eine Korrektur möglich sein. Werden Beschwerden gesammelt, sollten sie in die Verbesserung des Prozesses einfließen. Sonst bleibt XAI bloß eine hübsche Informationsschicht.

Ein weiterer Vorteil liegt in der internen Zusammenarbeit. Recht, Fachabteilung, IT und Risikomanagement erhalten eine gemeinsame Gesprächsgrundlage. Die Fachabteilung bewertet die sachliche Plausibilität, die IT prüft die technische Umsetzung, und Compliance beurteilt die Nachweisführung. Dadurch lassen sich Konflikte früher klären, bevor ein System in einen kritischen Geschäftsprozess gelangt.

Der wichtigste Gewinn ist daher nicht eine besonders elegante Grafik. XAI verbindet Modellbetrieb, Kontrolle und Kommunikation. Richtig eingesetzt, macht es aus einer einmaligen KI-Ausgabe einen überprüfbaren Vorgang, dessen Nutzen, Grenzen und Verantwortlichkeiten im Unternehmen sichtbar bleiben.

Welche Grenzen und Risiken erklärbarer KI bestehen

Erklärbarkeit macht ein KI-System nicht automatisch richtig, fair oder sicher. Sie kann sogar ein trügerisches Gefühl von Kontrolle erzeugen: Eine klare Begründung klingt überzeugend, obwohl sie das tatsächliche Modellverhalten nur grob nachbildet.

Ein zentrales Risiko sind scheinbar plausible Erklärungen. Nachträgliche Verfahren können wichtige Merkmale hervorheben, ohne den internen Rechenweg vollständig abzubilden. Zwei ähnliche Fälle können deshalb fast gleich erklärt werden, obwohl das Modell sie aus unterschiedlichen Gründen bewertet hat. Für Prüfungen ist das problematisch.

Hinzu kommt die Instabilität. Kleine Änderungen an Eingabedaten, Rundungen oder der Modellversion können eine Erklärung stark verändern. Eine Person erhält heute eine andere Begründung als gestern, obwohl sich der Sachverhalt kaum unterscheidet. Das erschwert Vergleichbarkeit und kann Beschwerden auslösen.

Auch Informationsüberlastung ist eine Grenze. Zeigt ein System dutzende Merkmale, Wahrscheinlichkeiten und technische Kennzahlen, verliert die Erklärung ihren praktischen Wert. Wird sie dagegen zu stark vereinfacht, fehlen wichtige Einschränkungen. Unternehmen müssen daher einen schwierigen Mittelweg finden: verständlich, aber nicht irreführend.

Ein weiteres Risiko entsteht durch Offenlegung sensibler Modellinformationen. Detaillierte Erklärungen können Rückschlüsse auf interne Regeln, Trainingsdaten oder Sicherheitsmechanismen ermöglichen. Angreifer könnten solche Hinweise nutzen, um Eingaben gezielt zu manipulieren. Bei geschützten Geschäftsprozessen muss die Detailtiefe deshalb sorgfältig begrenzt werden.

Erklärungen können außerdem Datenschutzrisiken verstärken. Wenn ein System seine Begründung mit ähnlichen Fällen oder personenbezogenen Vergleichsdaten stützt, dürfen dadurch keine Informationen über andere Menschen sichtbar werden. Besonders kritisch sind kleine Gruppen, seltene Merkmale und Kombinationen, aus denen sich einzelne Personen ableiten lassen.

Technische Grenzen kommen hinzu:

Eine weitere Gefahr ist die Verantwortungsverschiebung. Mitarbeitende könnten eine verständlich formulierte Begründung ungeprüft übernehmen. Das passiert besonders dann, wenn Zeitdruck herrscht oder das System als objektiv gilt. XAI darf daher nicht als Beweis für die Richtigkeit einer Entscheidung behandelt werden.

Schließlich ist Erklärbarkeit immer eine Frage der Zielgruppe. Eine technische Erklärung für Entwickler hilft einer betroffenen Person kaum. Eine sehr einfache Begründung kann dagegen wichtige Unsicherheiten verschweigen. Unternehmen sollten deshalb mehrere Darstellungsebenen vorsehen und klar kennzeichnen, was die Erklärung leisten kann und wo ihre Aussage endet.

Wie Unternehmen XAI technisch und organisatorisch einführen

Die Einführung von XAI gelingt am besten, wenn sie als Teil der Systemarchitektur geplant wird. Eine Erklärung darf nicht erst am Ende auf eine fertige Modellentscheidung gesetzt werden. Sie braucht eigene Datenflüsse, Schnittstellen, Prüfregeln und Zuständigkeiten.

Am Anfang steht eine technische Bestandsaufnahme. Das Unternehmen erfasst Modelltyp, Eingabedaten, Vorverarbeitung, Ausgabewerte und vorhandene Protokolle. Ebenso wichtig ist die Frage, ob das Modell in Eigenregie, über eine Programmierschnittstelle oder als fertiger Dienst betrieben wird. Bei externen Systemen müssen Erklärfunktionen, Speicherfristen und Exportmöglichkeiten vertraglich geklärt werden.

Danach wird eine XAI-Schicht in den Prozess eingebaut. Sie sammelt die für die Erklärung nötigen Informationen und verknüpft sie mit einer eindeutigen Modellversion. Für jeden relevanten Vorgang sollten mindestens folgende Daten technisch zusammenpassen:

Diese Informationen gehören in ein manipulationsgeschütztes Protokoll. Eine relationale Datenbank reicht für einfache Anwendungen; bei hohen Mengen kommen Ereignisprotokolle oder revisionssichere Speichersysteme hinzu. Wichtig ist nicht die konkrete Technik, sondern die spätere Rekonstruierbarkeit eines Vorgangs.

Für die Systemintegration sollten Erklärungen über klar definierte Schnittstellen abrufbar sein. Die Anwendung kann eine kurze Begründung anzeigen, während ein separates Prüfmodul Details für Fachleute liefert. Rollen- und Rechtekonzepte verhindern, dass sensible Modellinformationen an die falsche Person gelangen. Auch die Ausfalllogik muss feststehen: Liefert das System keine belastbare Erklärung, darf der Prozess nicht stillschweigend mit einer ungeprüften Entscheidung fortfahren.

Organisatorisch braucht XAI einen festen Verantwortlichen. Diese Rolle koordiniert Fachbereich, Datenwissenschaft, IT-Sicherheit, Datenschutz und Recht. Zusätzlich sollte ein Modellregister gepflegt werden. Es enthält Zweck, Datenquellen, Einsatzgebiet, Version, Betreiber, bekannte Grenzen und Abschaltkriterien jedes Systems.

Vor dem produktiven Einsatz empfiehlt sich ein kontrollierter Testbetrieb. Dabei werden typische, seltene und widersprüchliche Fälle ausgewertet. Das Team prüft, ob Erklärungen verständlich sind, technisch reproduzierbar bleiben und mit den fachlichen Regeln übereinstimmen. Messbare Abnahmekriterien helfen mehr als ein allgemeines „sieht plausibel aus“.

Nach dem Start gehört XAI in das reguläre Änderungsmanagement. Neue Datenquellen, Modellupdates oder geänderte Schwellenwerte lösen eine erneute Prüfung aus. Ein Rückfallplan sollte festlegen, wie das Unternehmen auf eine ältere Version oder einen manuellen Prozess wechselt. So bleibt der Betrieb handlungsfähig, wenn Erklärung oder Modell unerwartet versagen.

Auch die Mitarbeitenden benötigen klare Arbeitsanweisungen. Sie müssen wissen, wann eine Erklärung genügt, wann zusätzliche Unterlagen erforderlich sind und wer einen Fall eskaliert. Kurze Schulungen mit echten Beispielen sind dafür meist wirksamer als lange technische Dokumente. XAI wird erst dann zum Unternehmensprozess, wenn Rollen, Technik und Entscheidungen sauber zusammenspielen.

Welche Fragen ein XAI-System vor dem Einsatz beantworten muss

Vor dem Einsatz muss ein XAI-System mehr beantworten als die Frage, ob es eine verständliche Begründung erzeugt. Entscheidend ist, ob die Erklärung im konkreten Geschäftsprozess belastbar, rechtlich passend und für die betroffene Zielgruppe brauchbar ist. Ein klarer Prüfrahmen verhindert, dass eine hübsche Oberfläche die eigentlichen Lücken verdeckt.

Ist der Zweck der Erklärung eindeutig? Soll sie eine Entscheidung für Mitarbeitende verständlich machen, eine Auskunft für betroffene Personen liefern oder eine technische Prüfung unterstützen? Diese Ziele verlangen oft unterschiedliche Inhalte. Ein einziges Erklärformat für alle Zielgruppen ist daher meist ungeeignet.

Welche Entscheidung wird überhaupt erklärt? Das System muss zwischen Empfehlung, Einstufung, Prognose und tatsächlich ausgeführter Aktion unterscheiden. Eine Erklärung zu einer Risikowahrscheinlichkeit ist nicht automatisch eine Erklärung für eine spätere Freigabe oder Ablehnung. Diese Kette sollte im Prozess klar getrennt sein.

Kann das System seine eigene Unsicherheit anzeigen? Eine Erklärung ohne Hinweis auf Datenlücken, ungewöhnliche Fälle oder geringe Modellgüte wirkt zu sicher. Vor dem Einsatz muss feststehen, ab welchem Unsicherheitsgrad keine verlässliche Begründung mehr vorliegt und welche Folge dann vorgesehen ist.

Sind Eingaben und Begriffe fachlich definiert? Wörter wie „Risiko“, „Relevanz“ oder „Ähnlichkeit“ können im Unternehmen unterschiedlich verstanden werden. Für jedes angezeigte Merkmal sollte dokumentiert sein, wie es berechnet wird, aus welchem Zeitraum es stammt und welche Einheit gilt. Sonst entstehen Missverständnisse trotz korrekter Technik.

Bleibt die Erklärung über verschiedene Fälle hinweg vergleichbar? Das System sollte festgelegte Testfälle, Grenzfälle und wiederholte Berechnungen bestehen. Dabei wird geprüft, ob kleine Änderungen zu unverhältnismäßig anderen Begründungen führen. Ebenso wichtig ist ein Test mit fehlenden, widersprüchlichen oder ungewöhnlichen Angaben.

Wer darf welche Erklärung sehen? Eine betroffene Person benötigt andere Informationen als ein Modellteam oder eine interne Revision. Das System muss deshalb Rollen, Zugriffsrechte und sprachliche Detailstufen unterstützen. Vollständige technische Informationen gehören nicht automatisch in jede externe Mitteilung.

Kann eine Person die Erklärung sinnvoll nutzen? Eine Erklärung sollte eine konkrete Handlung ermöglichen: Daten korrigieren, eine Entscheidung prüfen, weitere Nachweise einreichen oder eine zuständige Stelle kontaktieren. Bleibt keine praktische Reaktion möglich, ist der Informationswert begrenzt.

Wie werden Beschwerden und Widersprüche verarbeitet? Vor dem Start muss feststehen, ob eine Erklärung gespeichert, nachträglich ergänzt oder neu erzeugt werden kann. Außerdem braucht es eine Frist, eine zuständige Stelle und ein Verfahren für den Fall, dass die verwendeten Daten inzwischen geändert wurden.

Ist der Anbieter transparent genug? Bei einem externen KI-Dienst sollten Unternehmen klären, welche Erklärungsmethode eingesetzt wird, ob Modelländerungen angekündigt werden und ob Ausgaben reproduzierbar bleiben. Fehlen diese Angaben, lässt sich die Qualität der XAI-Funktion nur schwer beurteilen.

Welche Nachweise verlangt der konkrete Anwendungsfall? Je nach Branche können zusätzliche Vorgaben gelten. Für Systeme mit hohem Risiko nach der EU-KI-Verordnung sind unter anderem Informationen zu Zweck, Leistungsgrenzen, Überwachung und menschlicher Aufsicht relevant. Die XAI-Prüfung muss daher in die gesamte rechtliche Bewertung eingebettet werden.

Ein System sollte erst freigegeben werden, wenn diese Fragen schriftlich beantwortet sind. Praktisch eignet sich dafür eine kurze Checkliste mit den Spalten „erfüllt“, „offen“, „nicht anwendbar“ und „Nachweis“. So wird aus dem abstrakten Anspruch auf erklärbare KI eine überprüfbare Entscheidung über den konkreten Einsatz.

Fazit: XAI gezielt prüfen und mit klaren Regeln einsetzen

XAI ist kein Gütesiegel für gute KI. Es ist ein Prüfbaustein, der zeigt, ob ein Unternehmen die Ergebnisse eines Systems sinnvoll einordnen kann. Der eigentliche Wert entsteht erst, wenn Erklärungen in verbindliche Entscheidungen, Zuständigkeiten und Nachweise eingebettet sind.

Für die Praxis empfiehlt sich ein klarer Freigabepunkt: Ein XAI-System sollte erst produktiv arbeiten, wenn Zweck, Zielgruppe, Erklärungsverfahren, Unsicherheiten und zulässige Nutzung schriftlich festgelegt sind. Ebenso muss geregelt sein, wann ein Fall nicht automatisch bearbeitet werden darf. Diese Grenze gehört in den Prozess, nicht nur in eine technische Dokumentation.

Besonders wichtig ist die Trennung von Erklärung und Rechtfertigung. Eine KI kann nachvollziehbar zeigen, wie sie zu einer Ausgabe gelangt. Daraus folgt aber nicht, dass die Ausgabe sachlich richtig, diskriminierungsfrei oder rechtmäßig ist. Diese Prüfung bleibt eine eigene Aufgabe der verantwortlichen Organisation.

Unternehmen sollten XAI daher mit messbaren Kriterien bewerten: Sind Erklärungen reproduzierbar? Verstehen die vorgesehenen Nutzer ihren Inhalt? Lassen sich Fehler erkennen? Werden Änderungen dokumentiert? Und kann eine betroffene Person tatsächlich reagieren? Erst wenn diese Fragen belastbar beantwortet sind, hat XAI mehr als symbolischen Wert.

Die beste Lösung ist nicht immer das komplexeste Modell mit der umfangreichsten Erklärung. Für manche Prozesse ist ein einfacheres, transparentes Verfahren die bessere Wahl. In anderen Fällen rechtfertigt die höhere Leistung eines komplexen Modells den zusätzlichen Prüfaufwand. Diese Abwägung sollte sachlich dokumentiert werden.

Als Orientierung dienen unter anderem der EU-Rechtsrahmen für künstliche Intelligenz, die Datenschutz-Grundverordnung und etablierte Risikomanagement-Standards wie ISO/IEC 42001. Sie ersetzen keine Einzelfallprüfung, geben Unternehmen aber eine belastbare Struktur für Governance und Nachweise.

Fazit: XAI sollte gezielt dort eingesetzt werden, wo Entscheidungen erklärungsbedürftig, folgenreich oder schwer zu prüfen sind. Klare Regeln, passende Erklärungen und eine ehrliche Darstellung der Grenzen machen daraus ein wirksames Steuerungsinstrument. Ohne diese Grundlagen bleibt erklärbare KI nur eine verständliche Fassade.