Fragebogen von der Fachschaft Wirtschaftsinformatik der TU und Uni Wien (http://wiki.winf.at/Fragenkatalog_ISK)
Künstliche Neuronale Netze
1. Welche sind die grundsätzlichen Annahmen des sub-symbolischen Ansatzes?
2. Aus welchen Elementen besteht ein biologische Neuron?
Dendritenbaum, Zellkern (Soma) und Axon. Dann kann man natürlich noch weiter ins Detail gehen und Membran mit Kaliumpumpe beschreiben und den synaptischen Spalt etc.
3. Welche Ebenen der Informationsverarbeitung kann man im menschlichen Gehirn unterscheiden?
4. Aus welchen Elementen besteht ein KNN?
Neuronen (mit Transferfunktion, sowie dendritischem bzw. axionalem Potential), hierbei kann unterschieden werden zwischen Neuronen der Eingangs-, Ausgangs- und Zwischenschicht. Dann gibt es die Verbindungen, sprich synaptischen Kopplungen, welche die Neuronen verbinden. Die Verbindungen sind weiterhin mit Gewichten versehen, welche durch Lernen (synaptische Dynamik) geändert werden können.
5. Mit welcher Formel wird der Nettoinput in einem Neuron üblicherweise berechnet?
- Kontinuierliches Grundmodell
Tau x^_j(t) = - x_j(t-1) + e_j(t), wobei
e_j(t) = u_j(t) + sum(y_i * c_ij(t - Delta_ij))
(lässt sich nur lösen, wenn u_j(t) = 1 und Delta_ij = 0)
- man kann folgende Näherung
x_j^(t) = x_j(t+1) - x_j(t) / delta(t)
in die erste einsetzen und erhält
das diskrete Grundmodell
6. Zeichnen Sie einige Ihnen bekannte Aktivierungsfunktionen auf.
Auch Transferfunktionen genannt würde ich mal schätzen.
- Heavside bzw. Signum (symmetrisch um y=0)
- Kontinuierlich bzw.
- Sigmoid (Fermi, tangens hyperbolicus)
- distanzberechnend
- radialsymmetrisch
7. Wodurch unterscheiden sich Feedforward- von Feedback Netzwerken?
- FF-Netze leiten die Eingabe weiter x_i -> f(x_i) ->
- Feedback Netze leiten z.B. den Ausgangsfehler zurück
präziser kann man sagen, dass FF Netze nach vorne gerichteten Graphen entsprechen, FB-Netze rückwärts gerichteten
8. Führen Sie einige Möglichkeiten an, wie ein KNN lernen kann.
Ändern der synaptischen Kopplungen (Gewichte)
- überwachte Verfahren
- unüberwachte Verfahren
Gewinnerermittlung bzw. Laterale Inhibition:
"Prototypen werden in Richtung der Musterkonzentrationen gezogen"
9. Beschreiben Sie das Grundprinzip folgender zwei Lernregeln: Hebb'sche Lernregel, Delta-Regel.
beide Lernregeln (LR) ändern das Gewicht, l(t) ist eine Lernrate.
- Hebb'sche LR ist unüberwacht, d.h. es gibt kein Lehrersignal
sie berechnet die Korrelation zwischen Ein- und Ausgang (stimmt das?)
Delta c_ij(t) = l(t) * y_i(t) * y_j(t), auch: Delta c_ij(t) = l(t) * x_j(t) * y_j(t)
Delta c_ij = l(t) * y_i(t) * delta(t), wobei delta(t) = (T_j(t) - y_j(t))
Der Ausgang des Neurons (y_j) wird mit dem Lehrersignal (T_j) verglichen.
Ist y_j kleiner als T_j, so wird der Eingang (y_i) erhöht (Gewichtsänderung).
Ist y_j kleiner als T_j, so wird der Eingang (y_i) erniedrigt
Keine Änderung bei y_j = T_j
10. Beschreiben Sie, wie Wissen in einem Neuronalen Netz gespeichert wird. Gehen Sie dabei auf die Vor- und Nachteile dieser Art der Speicherung ein.
Gewichte: Lernregeln
Assoziative Speicher
11. Welche Einsatzgebiete für Neuronale Netze gibt es? Für welche Problemstellungen würden Sie Neuronale Netze sicher nicht einsetzen?
12. Geben Sie drei Eigenschaften an, worin sich Neuronale Netze und herkömmliche KI unterscheiden.
13. Schreiben Sie den Perceptron-Lernalgorithmus in Pseudocode an.
14. Führen Sie den Beweis durch, dass das XOR-Problem mit einem Perceptron nicht gelernt werden kann.
15. Der Ausdruck "Backpropagation-netz" ist eigentlich falsch. Wie muss es richtig heißen?
16. Zeichnen Sie die Netztopolgie für ein einfaches MLP auf.
17. Erläutern Sie die zwei Phasen Vorwärtspropagierung des Inputs und Rückwärtspropagierung des Fehlers beim Backpropagation-Lernverfahren.
18. Geben Sie Gründe an, warum die Etla-Regel in der einfachen Form nicth für das Backpropagation-Lernverfahren eingesetzt werden kann.
19. Stellen Sie zwei bekannte Probleme des Backpropagation Algorithmus graphisch dar.
20. Geben Sie eine Möglichkeit an, wie einfaches Backpropagation verbessert werden kann.
21. Beschreiben Sie den Kohonen-Lernalgorithmus in Pseudocode
Kohonen = nachbarschaftserhaltend
Wähle Ausmaße d. Karte r,s, Clusterzahlk = r*s, Lernratel(t), Nachbarschaftsfunktion N, max. Lernexpochenzahl n
Initialisiere Prototypen zufällig
Setze Protoypen auf Gitterpositionen g_i
Muster einlesen, t = t+1
for all j
j* = argmin_i|x-c_i| // Gewinner ermitteln
end
delta c_j = l(t) * N(g_j,g_j*) * (x-c_j) // adaptieren
N(j,j*) = 2r^2/2 sigma^2
solange t <= n
22. Geben Sie die Formel zur Berechnung des Nettoinputs eines Kartenenurons der KFM an.
23. Welche Möglichkeiten für die Verlaufskurve der Umfeldhemmung gibt es?
24. Nennen Sie einige Anwendungsgebiete der KFM.
25. Liefern Sei eine Erklärung dafür, warum es beim Kohonen-Netz in der Trainingsphase so lange bis zur Konvergenz dauert. Machen Sie einige Verbesserungsvorschläge zur Konvergenzbeschleunigung.
26. Definieren Sie das "Spinglas-Problem".
27. Was versteht man unter einem frustrierten System?
28. Formulieren Sie den Lernalgorithmus für das Hopfield-Modell in Pseudocode.
29. Erklären Sie den Unterschied zwischen synchronem und asynchronem Berechnugnschema bei Hopfield-Neuronen
30. Was versteht man unter Autoassoziation?
31. Welche Nachteile des Hopfield-Netzes sind Ihnen bekannt?
32. Wie groß ist die Anzahl des zu speichernden Gewichte beim Hopfield-Modell (N Neuronen)?
33. Für welche Anwendungen eignen sich Hopfield-Netze?
34. Erläutern Sie den Simulated Annealing-Mechanismus
35. Beschreiben Sie den Lernalgorithmus für die Boltzmann-Maschine in Pseudocode.
36. Was versteht man unter dem "noisy clamping" Verfahren und warum wird es eingesetzt?
37. Welche Phase der Entwicklung bei Neuronalen Netzen kann man unterscheiden? Beschreiben Sei jede Phase im Überblick
38. Was versteht man unter Crossvalidation?
39. Worin liegen die Vorteile von Softwaresimulationen?
40. Was vesteht man unter der Generalisierungsfähigkeit Neuronale Netze?
41. Erläutern Sie das Problem des Parametertunings.
42. Bei Auftreten welcher Problemeigenschaften ist der Einsatz eines KNN anzuraten?
43. Nennen Sie einige bereibswirtschaftliche Problme, die mit Neuronalen Netzen gelöst wurden.
44. Vergleichen Sie die Paradigmen symbolische KI, Fuzzy Systeme und sub-symbolische KI anhand der beiden Kriterien Repräsentation und Ableitung von Wissen.
45. Sie haben Fußballergebniss von drei Teams gesammelt und möchten ein neuronales Netz nun darauf trainieren, Vorhersagen für Resulate künftiger Speiel zu liefern. Zeichnen Sie die Topologie des Netzes Ihrer Wahl auf, wobei klar erkenntlich sein muss, welche Information ein den einzelnen Knoten codiert ist. Beschreiben Sie kurz den Algorithmus für das Trainieren des Netzes. Worauf ist bei der Auswahl der Trainingsdaten besonders zu achten? Wie gehen Sie vor, wenn Sie auch noch ein viertes Team (zusammen mit den Ergebnissen gegen die anderen drei Teams) in das Netz aufnehmen wollen?
46. Lösen Sie folgendes aussagenlogische Problem mit einem Neuronalen Netz: [[bild:isk_2.jpg]] . Erstellen Sie zuerst die Wahrheitstafel. Wählen Sie eine Netztopologie aus, begründen Sie die Wahl und zeichnen Sie dann das Netz auf, wobei eindeutig hervorgehen muß, welche Information in welchem Neuron codiert ist. Formulieren Sie das Lernverfahren, das Sie einsetzen möchten, in Pseudocode.
47. Folgende Aufgabe ist mit einem Neuronalen Netz zu lösen. Die natürlichen zahlen im Interfall [0,9] sind in die entsprechenden Binärzahlen zu konvertieren. Wählen Sie ein entsprechendes Netz aus (und geben Sie dafür die Begründung an), zeichnen Sie die Netztopologie graphisch auf (wobei für jedes Neuron klar sein muss, welche Information es beinhaltet) und formulieren Sie den Lernalgorithmus für das Netz in Pseudocode.