Mit der Layer-Wise Relevance Propagation (LRP) haben Forschende am Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI, und der Technischen Universität Berlin nun eine Technik entwickelt, die KI-Prognosen erklärbar macht und somit unsichere Problemlösungsstrategien aufdeckt.
1. Transparente KI 2. Unsichere Lösungsstrategien 3. Neuronale Netze beim Denken beobachten
Die Weiterentwicklung der LRP-Technologie, die sogenannte Spectral Relevance Analysis (SpRAy) identifiziert und quantifiziert ein breites Spektrum erlernten Entscheidungsverhaltens und erkennt somit auch in riesigen Datensätzen unerwünschte Entscheidungen.
Transparente KI
In der Praxis identifiziert die Technik einzelne Input-Elemente, die für eine Vorhersage genutzt wurden. Wird also beispielsweise ein Gewebebild in ein KI-System eingegeben, so wird der Einfluss jedes Pixels auf das Klassifikationsergebnis quantifiziert. Die Vorhersage, wie »krebsartig« oder »nicht krebsartig« das Gewebebild ist, wird also mit der Angabe der Basis für diese Klassifikation ergänzt. „Nicht nur das Ergebnis soll korrekt sein, sondern auch der Lösungsweg. Bislang wurden KI-Systeme als Black Box angewendet. Man hat darauf vertraut, dass sie das richtige tun. Mit unserer Open-Source-Software, die die Layer-Wise Relevance Propagation einsetzt, ist es uns gelungen, die Lösungsfindung von KI-Systemen nachvollziehbar zu machen“, sagt Dr. Wojciech Samek, Leiter der Forschungsgruppe Machine Learning am Fraunhofer HHI. „Mit LRP visualisieren und interpretieren wir Neuronale Netze und andere Machine Learning-Modelle. Mit LRP messen wir den Einfluss jeder Eingangsvariablen für die Gesamtvorhersage und zerlegen die Entscheidungen des Klassifizierers“, ergänzt Dr. Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin.
Unsichere Lösungsstrategien
Nur wer versteht, wie Neuronale Netze funktionieren, kann den Ergebnissen vertrauen. Dass KI-Systeme nicht immer sinnvolle Lösungswege finden, ergaben die Tests der Forscherteams. Beispielsweise klassifizierte ein renommiertes KI-System Bilder anhand des Kontextes. Es ordnete Fotos der Kategorie Schiff zu, wenn viel Wasser im Bild zu sehen war. Die eigentliche Aufgabe, Schiffe zu erkennen, löste es nicht, auch wenn die Mehrzahl der Bilder korrekt identifiziert war. „Zahlreiche KI-Algorithmen wenden unsichere Strategien an und kommen zu wenig sinnvollen Lösungen“, resümiert Samek das Ergebnis der Untersuchungen.
Neuronale Netze beim Denken beobachten
