Künstliche neuronale Netzwerke
Dieser Artikel ist Teil der Artikelreihe „Künstliche Intelligenz”.
Das Thema „Künstliche Intelligenz“ (KI) ist heutzutage in aller Munde und häufig fällt in diesem Zusammenhang das Wort „neuronales Netzwerk“. Was aber verbirgt sich hinter diesen Begriffen und wie hängen sie zusammen? Im Allgemeinen versteht man unter künstlicher Intelligenz Computerprogramme, die kognitive Aufgaben lösen. Zu diesen Aufgaben gehören zum Beispiel die Erkennung von Objekten, das Verständnis von Sprache oder die Entscheidungsfindung – Aufgaben, die wir tagtäglich in unserem Alltag meistern.
Eine Schlüsseltechnologie für die künstlichen Intelligenz ist das „Maschinelle Lernen“. Im Gegensatz zur klassischen Programmierung wird beim maschinellen Lernen der Algorithmus, also die Rechenanleitung, nicht vollständig durch den Programmierer vorgegeben. Stattdessen lernt der Algorithmus anhand von Trainingsdaten, eine bestimmte kognitive Aufgabe zu lösen. Das maschinelle Lernen umfasst eine Vielzahl von Ansätzen, unter denen die sogenannten künstlichen neuronalen Netzwerke „artificial neural networks (ANNs)“ eine bedeutende Rolle einnehmen, da es hier vor allem in den letzten Jahren bedeutsame Fortschritte gegeben hat.
In diesem Artikel werden wir den Aufbau sowie die Funktionsweise der ANNs erläutern. Des Weiteren diskutieren wir die aktuellen Herausforderungen der ANNs und der KI und erläutern mögliche Lösungsansätze.
Vom Aufbau des menschlichen Gehirns inspiriert
Wie oben beschrieben ist das Ziel der KI, kognitive Fähigkeiten nachzubilden. Hierbei ist es zunächst interessant, das menschliche Gehirn, die Grundlage unserer kognitiven Fähigkeiten, zu betrachten. Unser zentrales Denkorgan ist ein hochkomplexes Netzwerk aus mehreren Milliarden einzelner Nervenzellen, den Neuronen, welche durch Billionen Verbindungen zusammengeschaltet sind. Um kognitive Aufgaben zu erlernen, ist das Gehirn flexibel: Bestehende Verbindungen werden im Lernprozess verstärkt oder geschwächt oder es werden gänzlich neue Verbindungen aufgebaut.
Der Aufbau von ANNs ist durch den Aufbau des Gehirns inspiriert. Sie bestehen aus kleinen, miteinander vernetzten Recheneinheiten, die die Neuronen im Gehirn stark vereinfacht simulieren. Die künstlichen Neuronen erhalten eine Eingabe, werten damit eine mathematische Funktion aus und übermitteln ihre Ergebnisse an andere Neuronen, die damit weitere Berechnungen anstellen. Der Einfluss von einem Neuron auf ein anderes wird durch das Gewicht zwischen ihnen quantifiziert.
In diesem Zusammenhang ist es wichtig, den praktischen Aspekt der ANNs hervorzuheben. Zwar ist deren Aufbau durch das Gehirn inspiriert, Ziel ist aber nicht, die Funktionsweise des Gehirns zu verstehen oder realistisch nachzubauen. Tatsächlich geht es vorrangig darum, ein System zu entwickeln, welches eine bestimmte Aufgabe lösen kann. Um komplizierte Aufgaben zu lösen, bestehen ANNs heutzutage aus bis zu zehn Millionen Neuronen, welche typischerweise in vielen aufeinanderfolgenden Schichten angeordnet werden. Dadurch wird das Netzwerk „tief“, was im englischen mit dem Begriff „Deep Neural Networks“ oder allgemeiner auch „Deep Learning“ bezeichnet wird.
Wie wird ein solches System nun trainiert? Angenommen die Aufgabe ist es, Bilder von Objekten zu klassifizieren: Das neuronale Netzwerk soll erkennen, ob es sich bei einem Bild um einen Hund oder eine Katze handelt. Die Trainingsdaten bestehen aus einer sehr großen Anzahl von Bildern, die jeweils einer dazugehörigen Klasse zugeordnet sind, in diesem Fall also den Klassen „Hund“ oder „Katze“ (man spricht hier auch von annotierten Daten). Zunächst werden die Gewichte zwischen den Neuronen zufällig initialisiert. In einer Trainingsphase werden dem Netz die Bilder als Trainingsdaten präsentiert. Zu jedem Eingabebild berechnet das neuronale Netzwerk eine Ausgabe, welche mit dem richtigen Ergebnis (Hund oder Katze) verglichen wird. Weist die Ausgabe einen Fehler auf, werden die Gewichte durch Optimierungs-Algorithmen justiert, bis der durchschnittliche Ausgabefehler klein genug ist, um das Netz sinnvoll nutzen zu können.
Neuronale Netze erleben einen Boom
Die ersten ANNs wurden bereits in den 1940er Jahren erfunden. Daher stellt sich die Frage: Wieso sind künstliche neuronale Netze in den letzten Jahren plötzlich so populär geworden? Im Wesentlichen kann man ihren Erfolg auf vier Gründe reduzieren: Big Data, höhere Rechenleistungen, Fortschritt in den Optimierungs-Algorithmen sowie Open-Source-Bibliotheken.
Ein neuronales Netz benötigt annotierte Trainingsdaten, um eine Aufgabe zu lernen. Insbesondere gilt: Je schwieriger die Aufgabe ist, desto tiefer muss das Netzwerk sein und desto mehr Trainingsdaten werden benötigt. Im Zeitalter von Big Data sind Trainingsdaten jedoch oft massenhaft vorhanden. Die Betreiber webbasierter sozialer Netzwerke erhalten annotierte Daten von ihren Nutzern quasi nebenbei und kostenfrei geliefert, zum Beispiel in Form von mit Text versehenen Fotos.
Aufgrund der Größe der ANNs sowie der Anzahl der Trainingsdaten ist der Trainingsprozess sehr rechenintensiv. Früher wäre ein solches Training aufgrund limitierter Rechenleistung nur sehr langsam möglich gewesen. Demgegenüber stehen Fortschritte in der Computertechnologie, insbesondere die Implementierung von neuronalen Netzen auf leistungsstarken PC-Grafikkarten.
Zusätzlich haben unter anderem beträchtliche Forschungsinvestitionen der Technologie-Giganten wie Google, Amazon oder Facebook dazu geführt, dass Fortschritte bei den Optimierungs-Algorithmen gemacht wurden, die das Training effizienter und die Ergebnisse zuverlässiger machen. All diese Fortschritte werden in frei verfügbarer Software gebündelt, welche die Technologie der neuronalen Netze für jedermann zugänglich macht. Dadurch entsteht eine große und vernetzte Community, die die Entwicklung der Technologie weiter vorantreibt.
Der rasante Fortschritt spiegelt sich auf der einen Seite in wissenschaftlichen Durchbrüchen wieder. Für Aufsehen hat hier Googles „Alpha Go“ gesorgt, ein Programm, welches unter anderem durch neuronale Netzwerke gelernt hat, das Brettspiel „GO“ zu spielen. Letzteres ist um ein vielfaches komplexer als Schach, dennoch vermochte es der Algorithmus, den amtierenden Weltmeister in vier von fünf Spielen zu schlagen. Auf der anderen Seite stehen praktische Anwendungen. Neuronale Netzwerke hielten Einzug in unser tägliches Leben, zum Beispiel in der Spracherkennung durch moderne Smartphones. Auch die Industrie hat die Fähigkeit der Neuronalen Netze längst erkannt und setzt diese zum Beispiel zur Qualitätssicherung ein.
Aktuelle Herausforderungen: Wenig Daten und fehlende Nachvollziehbarkeit
Allen Erfolgen zum Trotz stößt der Einsatz von neuronalen Netzen außerhalb der IT-Industrie an Grenzen. Während IT-Unternehmen häufig über einen großen Bestand an annotierten Trainingsdaten (siehe oben) verfügen, ist dies bei Unternehmen aus traditionellen Branchen (beispielsweise in der Fertigung) keineswegs der Fall. Zwar sind auch hier oft massenhaft Daten vorhanden, allerdings ist es mit erheblichem Aufwand verbunden, diese zu annotieren, sodass sie für das Training tiefer neuronaler Netze benutzt werden können.
Neben den fehlenden Trainingsdaten gibt es eine weitere große Herausforderung. Neuronale Netzwerke stellen aufgrund ihrer Komplexität eine Black Box dar. Es ist nicht direkt nachvollziehbar, wie ein bestimmtes Ergebnis entstanden ist. Dies ist insbesondere dann von Bedeutung, wenn neuronale Netze in Bereichen eingesetzt werden sollen, in denen Entscheidungen sicherheitsrelevant sind oder aufgrund rechtlicher Vorgaben zwingend nachvollziehbar sein müssen, etwa bei der Kreditvergabe oder bei der Steuerung kritischer Anlagen oder Infrastrukturen.
Verschiedene aktuelle Forschungszweige stellen sich den Herausforderungen der fehlenden Daten sowie der unzureichenden Nachvollziehbarkeit. Ein Ansatz ist das „Transfer Learning“: Dabei werden Systeme zunächst für einen Anwendungsfall trainiert, für den es viele Daten gibt. Anschließend lernen die Algorithmen das eigentliche Problem mit vergleichsweise wenig Daten.
Ziel von „Interpretable AI“ ist es, Systeme zu entwickeln, die nachvollziehbar sind. Hier gibt es zwei grundlegend verschiedene Ansätze: Zum einen wird versucht, die inneren Prozesse neuronaler Netze im Nachhinein zu visualisieren und anschaulicher zu machen. Zum anderen wird versucht, die Systeme von vornherein so zu entwerfen, dass sie nachvollziehbar sind. Hier spielt „Informed Machine Learning“ eine entscheidende Rolle. Dieser Ansatz berücksichtigt die Tatsache, dass Unternehmen häufig über Expertenwissen verfügen, das in unterschiedlichster Form vorliegen kann. Die Beispiele hierfür reichen von ingenieurwissenschaftlichen Modellen bis hin zur jahrzehntelangen Erfahrung eines Mitarbeiters. Ziel des „Informed Machine Learnings“ ist es, dieses Expertenwissen systematisch in das maschinelle Lernen mit einzubringen. Dadurch werden Modelle zum einen nachvollziehbarer und zum anderen gleicht das zusätzliche Wissen die fehlenden Daten aus.
Zusammenfassung
Zusammenfassend bleibt zu sagen, dass Systeme, die auf neuronalen Netzen basieren, den Weg in unseren Alltag gefunden haben. Anwendungen wie Text- und Bilderkennung sind schon jetzt weit verbreitet. Die aktuelle Forschung widmet sich vor allem der Erschließung neuer Anwendungsfelder des maschinellen Lernens. Dies sind insbesondere Situationen, in denen nicht genügend annotierte Daten vorhanden sind. Eine weitere Herausforderung liegt darin, Ergebnisse, die mit Hilfe von tiefen neuronalen Netzen erzielt wurden, vor allem für kritische Anwendungssituationen nachvollziehbar zu machen. Hierbei wird die Kombination von wissens- und datengetriebenen Ansätzen, das „Informed Machine Learning“, von entscheidender Bedeutung sein.
Foto: Alle Rechte vorbehalten
Dr. Jannis Schücker studierte Physik an der Universität Bielefeld und promovierte im Anschluss am Forschungszentrum Jülich im Bereich „Computational Neuroscience“. Hierbei spezialisierte er sich auf die Dynamik neuronaler Netzwerke. Seit Anfang 2018 ist er als wissenschaftlicher Mitarbeiter im Fraunhofer-Forschungszentrum Maschinelles Lernen tätig und entwickelt neue verlässliche Verfahren des maschinellen Lernens, die aktuelle Herausforderungen beim Einsatz intelligenter Systeme in der Industrie adressieren.
