TipiWiki2

[ FragenKatalog2.2006-04-09-10-59 ]

edit | Recent Changes | Find Page | All Pages | Front Page |

Was passiert im bzw. nahe des Zellkerns?

(man denke hierbei auch an den ZK des Künstl. Neur.)

Welche Ionen sind hauptsächlich beteiligt? Wie funkt. Erregungsübertragung? Was passiert an den Synapsen?

Potential an der (druchlässigen) Zelllmembran. Innen Kalium, aussen Natrium. Pumpe hält Konzentration aufrecht. Sobald Schwellwert überschritten, plötzliches Öffnen der Natrium Pforten)

Woraus bestehen die Dendriten?

Wie kann man Neuronen modellieren?

Wie funkt. das kontinuierliche Grundmodell?

Tau * x^_j(t) = -x_j(t) + u_j(t) + Summe (c_ij * y_i(t - delta_ij)
Schwellwert und Aktionspotential werden durch eine Transfer bzw. Aktivierungsfunktion nachgebildet (Simulation des spiken):

y_j(t) = f(x_j(t))

Was hat es mit Tau auf sich?

=> Je kleiner Tau, desto größer die Steigung, desto schneller feuert die Zelle (!?)

Wird dieses Modell verwendet?

x^(t) = x(t+1) - x(t) / delta_t
diese Näherung einsetzen

x_j(t+delta_t) = (1-rho) * x_j(t) + rho * e_j(t)

Was sind weitere Vereinfachungen?

-> rho = 1, Erregung nur v.d. Eingabe abhängig

Wozu werden unüberwachte LV verwendet?

- Dimension reduzieren durch Clusterung
- Prototypen finden, der am besten passt (Gewinner)
-> Hauptachsen Transformation (Oja, Sanger)

Was bedeuten die Hauptachsen?

- Schwerpunkt bilden, Orientierung der größten Ausdehnung bzw. Standardabweichung ist die eine Hauptachse (1.), die andere ist orthogonal zur ersten.

Kohonenkarten, erklären Sie mal.


Überwachte LV, wozu?

Approximation, Klassifikation(, Zeitreihen)

Welche Transferfunktionen gibt es?

Heaviside, linear begrenzte, sigmoide, RBF

Wozu werden diese verwendet?

-> rbf -> RBF-Netze
-> sigmoid -> MLP-Netze
-> Sprungfkt. f. enf. Klassif. z.B. Perzeptron

Unterschied von RBF und MLP im Aufbau

-> RBF -> rbf Neuronen (ZS) und lin. Neuronen (Ausgang)
-> MLP -> sigmoide Neuronen (ZS + Ausgang)
--> RBF typischerweise 1-Zwischenschicht (s.Haykin)
--> RBF (ZS: euklid.Norm) - MLP: Vektorprodukt

Wie ist MLP-Netz aufgebaut?

2-Schicht-Netz:

Wann RBF, wann MLP nutzen?

Kann man bei MLP auch andere Transferfkt. verwenden?

Wann benutzt man lineare, wann sigmoide?

-> sigmoide = Ausgangswerte zw. 0 und 1
-> linear = ganz R

Wie lernt ein MLP-Netz?

Regeln für die Anpassung in den einzelnen Schichten

2-Schichten, Lernregel:

Delta c_ij = -nu * grad(E) * delta
grad(E) ist hier gE / gc_ij

Delta c_ki = -nu * grad(E) * delta (an Zwischenschicht m. Kettenregel)
grad(E) ist hier gE / gc_ki = gE / gy * gy / gc_ki

Angenommen wir haben eine Fkt. wie kann man diese mit MLP-Netz approximieren?

-> Stützpunkte wählen

Wie kann man den Approximationsfehler verkleinern?

-> Neuronenanzahl in verdeckter Schicht erhöhen
-> mehr Stützpunkte x wählen
-> x möglichst gleichverteilt wählen
-> mehrfach mit Trainingssatz trainieren lassen


Was sind Vor- und Nachteile von Elman gegenüber Jordan


Erläutern Sie den BPTT


PCA: Warum nur reelle Eigenwerte in der Kovarianzmatrix?


Oja, Sanger Lernregel


Assoziativspeicher:


Wie kann man Fehler bestimmen?


Autoassoziativ / Bidrektional


Perzeptron, was ist das?

Perzeptron, was kann es?

klar, da Geradengleichung, was kann P. noch?

-> Approximieren diese Trennungsgerade anlernen

Wie klassifiziert man nichtlinear separierbare Funktion?

-> MLP, Lernen über Gradientenabstieg

Wie werden Gewichte beim Perzeptron initialisiert?

(dagegen bei RBF Initialisierung wichtig, ebenso z.B. Kohonen)

wie gute kann MLP approximieren?

Wie funktioniert der MLP-Algorithmus?

Probleme beim MLP?

!!! Welche Verbesserungsmöglichkeiten?

Was macht Momentumterm bei Minima?

!!! Nachteile des Momentumterms?
-> Überspringen von Minima

Wird der Gradient beliebig lang?

-> Nein. effektive Lernrate nu_eff = 1 / (1-alpha), falls alpha < 1, s.a. Rojas: gutes alpha etwa 0,9

Weitere Verbesserungsmöglichkeiten?


Unüberwachtes Lernen. Was gibt es?