Glossar – Begriffe und Definitionen zu der Theorie von neuronalen Netzen
A
Aktivitätslevel
Das Aktivitätslevel entspricht dem Output eines Neurons.
Aktivitätsfunktion
Die Aktivitätsfunktion stellt den Zusammenhang zwischen dem Netzinput und dem Output (dem Aktivitätslevel) eines Neurons dar.
Ausgabefunktion
Ist der Output eines Neurons identisch mit dem Aktivitätslevel, so war die Ausgabefunktion eine Identitätsfunktion.
B
Bias Unit
Die Bias Unit ist ein Neuron innerhalb eines neuronalen Netzes ohne ein Netzinput. Ihr Output bzw. Aktivitätslevel ist immer 1.
G
Gewicht
Die Stärke der Verbindung zwischen Neuronen wird als Gewicht bezeichnet.
I
Input
Input ist der Eingang eines Neurons in Bezug auf ein anderes Neuron. Netzinput ist die Summe aller Eingänge eines Neurons.
K
Kohonennetz
Ein Kohonennetz (auch Kohonen Feature Maps oder Self-Organizing Maps (SOMs) genannt) sind eine Erweiterung der kompetitiven Netze: Sie besitzen keine Hidden-Units und werden ebenfalls un-überwacht trainiert, d.h. es gibt beim Training keine korrekten Outputs, die eine Zielwertvorgabe für das Netz darstellen. Die Erweiterung im Vergleich zu kompetitiven Netzen besteht darin, dass die Ausgangsschicht zwei bzw. mehrdimensional aufgebaut ist und der Abstand dieser Ausgangsneuronen zueinander beim Trainieren berücksichtigt wird. Kohonennetze werden unter Anderem für die Spacherkennung, einer Sonderform der Mustererkennung, eingesetzt.
Kompetitives Netz
Ein kompetitives Netz ist ein künstliches neuronales Netz, das ohne Hidden-Units auskommt (besteht aus lediglich der Eingangs- und Ausgangsschicht) und unüberwacht trainiert wird (das Training findet ohne Outputreize statt). Dieses neuronale Netz eignet sich z.B. zur Mustererkennung, wie der Schrift- bzw. der Buchstabenerkennung.
L
Lernen (oder auch Trainieren)
Neuronale Netze werden mit anhand geeigneter Daten trainiert. Dabei werden unterschiedliche Arten des Lernens unterschieden:
- überwachtes Lernen (engl. supervised learning)
- bestärkendes Lernen (engl. reinforcement learning)
- nicht-überwachtes Lernen (oder auch entdeckendes Lernen) (engl. unsupervised learning)
- Stochastisches Lernen (engl. stochastic learning)
Lernregel
In der Trainingsphase werden die Gewichte nach der sog. Lernregel verändert. Sie gibt an, welche Gewichte wie stark modifiziert werden sollen. Dabei wird unterschieden zwischen Lernregeln für überwachtes Lernen und Lernregeln für nicht überwachtes Lernen.
- Lernregeln für überwachtes Lernen
- Delta-Regel (bekannteste Form: Perzeptron-Lernregel)
- Backpropagation (typische Lernregel für konkrete Anwendungsprobleme)
- Lernregeln für nicht überwachtes Lernen
- Hebb’sche Lernregel (eines der einfachsten Lernregeln, die biologisch erklärbar ist)
- Competitive Learning (wird oft für Mustererkennung benutzt)
Hier eine gute Übersicht mit diesen Lernregeln inkl. Vor- und Nachteilen.
N
Neuronen
Neuronale Netze bestehen aus mehreren Schichten von Neuronen. Diese werden auch Units, Einheiten oder Knoten neuronaler Netze genannt.
Netztypen – Netzklassen – Netzmodelle
Künstliche neuronale Netze lassen sich neben der Lernmethode zusätzlich an den Eigenschaften Netztopologie und Verbindungsart klassifizieren – z.B. ein- oder mehrschichtige Netze, vorwärts- oder rückwärts-gerichtete Netze. So entstehen die unterschiedlichsten Netztypen bzw. Netzklassen bzw. Netzmodelle.
P
Perzeptron
Das Perzeptron ist eine einfache Variante eines künstlichen neuronalen Netzes. Hier wird differenziert zwischen einlagigen Perzeptrons und mehrlagigen Perzeptrons, die mehrere versteckte Schichten von Neuronen (Hidden-Layer) enthalten können.
Propagierungsfunktion
Die Propagierungsfunktion bestimmt den Netzinput. Die einfachste Variante ist die Summe aller Inputs eines Neurons.
R
Rekurrente neuronale Netze
Im Vergleich zu einem feed forward Netz, bei dem es nur Verbindungen zwischen den Neuronen unterschiedlicher Schichten in eine Richtung gibt, weist das rekurrente Netz zusätzlich Verbindungen von Neuronen innerhalb einer Schicht (seitliche Rückkopplung), Rückkopplungen zwischen zwei Neuronen aus benachbarter Schichten (indirekte Rückkopplung), sowie der Rückkopplung eines einzelnen Neurons (direkte Rückkopplung).
Eine einfache Form eines rekurrenten Netzes ist das sog. Simple Recurrent Networks (SRNs), das neben den vorwärtsgerichteten Verbindung zusätzlich indirekte Rückkopplungen aufweist. Rückgekoppelt wird jedoch nicht zu bestehenden, sondern zu neuen Neuronen, den sog. Context-Units, wodurch eine Art Gedächtnis des neuronalen Netzes entsteht.
Supervised Learning (überwachtes Lernen)
Das supervised learning (überwachtes Lernen) ist eine Trainingsmethode, bei der der Ausgang des neuronalen Netzes vorgegeben wird. Die Abweichung zwischen Soll- und Ist-Ausgang dient zur Optimierung des Netzes und Bestimmung der Gewichte zwischen den Neuronen. Das Gegenteil ist das unsupervised learning, bei dem kein Output definiert ist. Das Lernen (die Gewichtsveränderung) erfolgt über die Bewertung der Inputreize.
T
Trainingsphase
In dieser Lernphase werden die Gewichte des neuronalen Netzes verändert.
Testphase
In der Testphase (oder auch Ausbreitungsphase genannt) wird das neuronale Netz mit neuen Daten bewertet ohne die Gewichte zu verändern.
U
Unupervised Learning (nicht überwachtes Lernen)
Das Gegenteil vom überwachten Lernen ist das unsupervised learning (nicht überwachtes Lernen), bei dem kein Output definiert ist. Das Lernen (die Gewichtsveränderung) erfolgt über die Bewertung der Inputreize.