From 86e7ee7b4648f812129517ab63e5357488f18e62 Mon Sep 17 00:00:00 2001 From: Carsten Gips Date: Wed, 10 Jul 2024 17:26:12 +0200 Subject: [PATCH] rename nn --- homework/{sheet10.md => sheet-nn-backprop.md} | 8 +++--- homework/{sheet09.md => sheet-nn-mlp.md} | 10 +++---- .../{sheet07.md => sheet-nn-perceptron.md} | 8 +++--- .../{sheet08.md => sheet-nn-regression.md} | 8 +++--- .../{nn1_perceptron.md => nn1-perceptron.md} | 2 +- ...regression.md => nn2-linear-regression.md} | 2 +- ...gression.md => nn3-logistic-regression.md} | 2 +- ...{nn4_overfitting.md => nn4-overfitting.md} | 2 +- lecture/nn/{nn5_mlp.md => nn5-mlp.md} | 2 +- .../nn/{nn6_backprop.md => nn6-backprop.md} | 3 ++- ...ing_testing.md => nn7-training-testing.md} | 0 lecture/nn/{nn8_testing.md => nn8-testing.md} | 0 lecture/nn/{nn9_llm.md => nn9-llm.md} | 0 readme.md | 26 +++++++++---------- 14 files changed, 37 insertions(+), 36 deletions(-) rename homework/{sheet10.md => sheet-nn-backprop.md} (92%) rename homework/{sheet09.md => sheet-nn-mlp.md} (95%) rename homework/{sheet07.md => sheet-nn-perceptron.md} (95%) rename homework/{sheet08.md => sheet-nn-regression.md} (94%) rename lecture/nn/{nn1_perceptron.md => nn1-perceptron.md} (98%) rename lecture/nn/{nn2_linear_regression.md => nn2-linear-regression.md} (99%) rename lecture/nn/{nn3_logistic_regression.md => nn3-logistic-regression.md} (98%) rename lecture/nn/{nn4_overfitting.md => nn4-overfitting.md} (99%) rename lecture/nn/{nn5_mlp.md => nn5-mlp.md} (99%) rename lecture/nn/{nn6_backprop.md => nn6-backprop.md} (98%) rename lecture/nn/{nn7_training_testing.md => nn7-training-testing.md} (100%) rename lecture/nn/{nn8_testing.md => nn8-testing.md} (100%) rename lecture/nn/{nn9_llm.md => nn9-llm.md} (100%) diff --git a/homework/sheet10.md b/homework/sheet-nn-backprop.md similarity index 92% rename from homework/sheet10.md rename to homework/sheet-nn-backprop.md index a9039782a..6ae0180e9 100644 --- a/homework/sheet10.md +++ b/homework/sheet-nn-backprop.md @@ -1,6 +1,6 @@ --- archetype: assignment -title: "Blatt 10: Backpropagation" +title: "Übungsblatt: Backpropagation" author: "Canan Yıldız (Türkisch-Deutsche Universität)" points: "10 Punkte" @@ -10,7 +10,7 @@ hidden: true -## A10.1: Gewichtsupdates für versteckte Schichten (2P) +## NN.Backprop.01: Gewichtsupdates für versteckte Schichten (2P) In der Vorlesung wurde(n) die Gewichtsupdates bei der Backpropagation für die Ausgabeschicht und die davor liegende letzte versteckte Schicht hergeleitet, wobei in der Ausgabeschicht die Sigmoid und in der versteckten Schicht die ReLU Aktivierungsfunktionen eingesetzt wurden. Leiten Sie die Gewichtsupdates für die erste versteckte Schicht (für ein Netz mit zwei echten versteckten Schichten) her. Verwenden Sie dabei die Sigmoid Funktion als Aktivierung in allen Schichten. @@ -19,7 +19,7 @@ Leiten Sie die Gewichtsupdates für die erste versteckte Schicht (für ein Net -## A10.2: Forward- und Backpropagation (2P) +## NN.Backprop.02: Forward- und Backpropagation (2P) Betrachten Sie das folgende MLP mit einer versteckten Schicht mit zwei Zellen. Die Gewichte sind an den Kanten angegeben. Das Netz erhält den skalaren Input $x$ und berechnet daraus die Ausgabe $y$. Beide Zellen verwenden die Aktivierungsfunktion $\sigma(z) = \frac{1}{ 1 + e^{−z} }$. @@ -32,7 +32,7 @@ $\sigma(z) = \frac{1}{ 1 + e^{−z} }$. -## A10.3: MLP und Backpropagation (6P) +## NN.Backprop.03: MLP und Backpropagation (6P) Implementieren Sie ein Feedforward MLP mit mindestens einer versteckten Schicht. Nutzen Sie die Cross-Entropy Verlustfunktion. diff --git a/homework/sheet09.md b/homework/sheet-nn-mlp.md similarity index 95% rename from homework/sheet09.md rename to homework/sheet-nn-mlp.md index 78858d971..bb6adad1e 100644 --- a/homework/sheet09.md +++ b/homework/sheet-nn-mlp.md @@ -1,6 +1,6 @@ --- archetype: assignment -title: "Blatt 09: Overfitting & MLP" +title: "Übungsblatt: Overfitting & MLP" author: "Canan Yıldız (Türkisch-Deutsche Universität)" points: "10 Punkte" @@ -8,14 +8,14 @@ hidden: true --- -## A09.1: Perzeptron-Netze (2P) +## NN.MLP.01: Perzeptron-Netze (2P) Konstruieren Sie ein Netz mit drei Perzeptrons, welches für zwei Eingabevariablen $x_1$ und $x_2$ die in der folgenden Abbildung blau-grau dargestellten Bereiche mit +1 klassifiziert. Benutzen Sie die $\operatorname{sign}$-Funktion als Aktivierungsfunktion. ![Abbildung 1](images/perzeptron_netz.png){width="60%"} -## A09.2: Vorwärtslauf im MLP (2P) +## NN.MLP.02: Vorwärtslauf im MLP (2P) Gegeben sei ein MLP mit 25 Zellen in der Eingangsschicht, 64 Zellen in der ersten versteckten Schicht, 32 Zellen in der zweiten versteckten Schicht und 4 Zellen in der Ausgabeschicht (die Bias-Zellen nicht mitgezählt). In allen Zellen wird die ReLU Aktivierungsfunktion verwendet. @@ -23,7 +23,7 @@ Gegeben sei ein MLP mit 25 Zellen in der Eingangsschicht, 64 Zellen in der erste * Wie wird die Ausgabe berechnet? Schreiben Sie den Vorwärtslauf in Matrix-Notation auf. Wie könnte man die Ausgabe deuten; welches Problem könnte durch dieses Netzwerk möglicherweise gelöst werden? -## A09.3: Tensorflow Playground (6P) +## NN.MLP.03: Tensorflow Playground (6P) Benutzen Sie den [Neural Network Playground](https://playground.tensorflow.org/), um die unten gelisteten Experimente durchzuführen. Achten Sie bei allen Experimenten auf das Verhalten der Trainings- und Testkosten. Sie können mit Hilfe der Checkbox unter der Ausgabezelle (ganz rechts, unten) die Testdaten ein- und ausblenden. Der Play-Knopf startet dabei das Training und der Reload-Knopf setzt das Netzwerk zurück. @@ -33,7 +33,7 @@ Benutzen Sie den [Neural Network Playground](https://playground.tensorflow.org/) * einer versteckten Schicht mit 2 Neuronen, * einer versteckten Schicht mit 3 Neuronen, * einer versteckten Schicht mit 5 Neuronen, - * zwei versteckten Schichten mit jeweils 5 Neuronen pro Schicht + * zwei versteckten Schichten mit jeweils 5 Neuronen pro Schicht * drei versteckten Schichten mit jeweils 7 Neuronen pro Schicht * vier versteckten Schichten mit jeweils 7 Neuronen pro Schicht diff --git a/homework/sheet07.md b/homework/sheet-nn-perceptron.md similarity index 95% rename from homework/sheet07.md rename to homework/sheet-nn-perceptron.md index a203461af..d188268d3 100644 --- a/homework/sheet07.md +++ b/homework/sheet-nn-perceptron.md @@ -1,6 +1,6 @@ --- archetype: assignment -title: "Blatt 07: Perzeptron" +title: "Übungsblatt: Perzeptron" author: "Canan Yıldız (Türkisch-Deutsche Universität)" points: "10 Punkte" @@ -9,7 +9,7 @@ hidden: true -## A07.1: Entscheidungsgrenze (2P) +## NN.Perzeptron.01: Entscheidungsgrenze (2P) * (1P) Betrachten Sie das durch den Gewichtsvektor $(w_0,w_1,w_2)^T = (2,1,1)^T$ gegebene Perzeptron. Zeichnen Sie die Trennebene und markieren Sie den Bereich, der mit $+1$ klassifiziert wird. * (1P) Welche der folgenden Perzeptrons haben die selbe Trennebene? Welche weisen exakt die gleiche Klassifikation auf? @@ -22,7 +22,7 @@ hidden: true -## A07.2: Logische Funktionen als Perzeptron (2P) +## NN.Perzeptron.02: Logische Funktionen als Perzeptron (2P) * (1.5P) Das Perzeptron kann zur Ausführung zahlreicher logischer Funktionen verwendet werden. Implementieren Sie die binären Logikfunktionen UND, ODER und KOMPLEMENT und demonstrieren Sie Ihre Implementierung in der Übung/im Praktikum. * (0.5P) Eine grundlegende Einschränkung des Perzeptrons besteht darin, dass es die EXKLUSIV-ODER-Funktion nicht implementieren kann. Erklären Sie den Grund für diese Einschränkung. @@ -31,7 +31,7 @@ hidden: true -## A07.3: Perzeptron Lernalgorithmus (6P) +## NN.Perzeptron.03: Perzeptron Lernalgorithmus (6P) Ziel dieser Aufgabe ist es, mit Hilfe eines Experiments ein Gefühl für die Laufzeit des Perzeptron-Lernalgorithmus zu bekommen und eine Art empirische Approximation zu bestimmen. diff --git a/homework/sheet08.md b/homework/sheet-nn-regression.md similarity index 94% rename from homework/sheet08.md rename to homework/sheet-nn-regression.md index 986a483b0..077ccc2ec 100644 --- a/homework/sheet08.md +++ b/homework/sheet-nn-regression.md @@ -1,6 +1,6 @@ --- archetype: assignment -title: "Blatt 08: Lineare / Logistische Regression & Gradientenabstieg" +title: "Übungsblatt: Lineare / Logistische Regression & Gradientenabstieg" author: "Canan Yıldız (Türkisch-Deutsche Universität)" points: "10 Punkte" @@ -10,7 +10,7 @@ hidden: true -## A08.1: Lineare Regression & Gradientenabstieg (3P) +## NN.Regression.01: Lineare Regression & Gradientenabstieg (3P) Es sind folgende Trainingsdaten gegeben: @@ -22,7 +22,7 @@ $$ J(\mathbf{w}) = \frac{1}{2m} \sum^{m}_{j=1} (h(x^{(j)}) - y^{(j)} )^2 $$ * (1P) Geben Sie $n$ und $m$ an und schreiben Sie die Kostenfunktion für die gegebenen Datenpunkte explizit auf. Berechnen Sie den Gradientenvektor $\nabla J$ und beschreiben Sie die Bedeutung dieses Vektors. -* (2P) Seien die Gewichte in einem Iterationsschritt $w_0 = 1, w_1 = 1$. Führen Sie für die Lernraten $\alpha=0.01$, $\alpha=0.1$ und $\alpha=1$ jeweils fünf aufeinanderfolgende Iterationen des Gradientenabstieg (Gradient Descent) Algorithmus durch. +* (2P) Seien die Gewichte in einem Iterationsschritt $w_0 = 1, w_1 = 1$. Führen Sie für die Lernraten $\alpha=0.01$, $\alpha=0.1$ und $\alpha=1$ jeweils fünf aufeinanderfolgende Iterationen des Gradientenabstieg (Gradient Descent) Algorithmus durch. Erstellen Sie eine Tabelle mit den Spalten $w_0$, $w_1$, $J(\mathbf{w})$, $\nabla J(\mathbf{w})$, $\alpha \cdot \nabla J(\mathbf{w})$ und notieren Sie die zugehörigen Werte für jede Iteration. Erklären Sie, wie die Gewichtsaktualisierungen durchgeführt werden und geben Sie die dafür verwendete Formel an. @@ -33,7 +33,7 @@ $$ J(\mathbf{w}) = \frac{1}{2m} \sum^{m}_{j=1} (h(x^{(j)}) - y^{(j)} )^2 $$ *Thema*: Verständnis und Ablauf Gradientenabstieg und Lernrate -## A08.2: Logistische Regression & Gradientenabstieg (7P) +## NN.Regression.02: Logistische Regression & Gradientenabstieg (7P) ### Datensatz (1P) * Konstruieren Sie Ihren eigenen Datensatz $\mathcal{D}$ mit $m=100$ gleichförmig verteilten Zufallspunkten aus dem Bereich $\mathcal{X}=[−1, 1]\times[−1, 1]$. diff --git a/lecture/nn/nn1_perceptron.md b/lecture/nn/nn1-perceptron.md similarity index 98% rename from lecture/nn/nn1_perceptron.md rename to lecture/nn/nn1-perceptron.md index 8673aa64b..d0aecf55c 100644 --- a/lecture/nn/nn1_perceptron.md +++ b/lecture/nn/nn1-perceptron.md @@ -18,7 +18,7 @@ quizzes: - link: "https://www.hsbi.de/elearning/goto.php?target=tst_1106589&client_id=FH-Bielefeld" name: "Selbsttest Intro ML (ILIAS)" assignments: - - topic: sheet07 + - topic: sheet-nn-perceptron youtube: - link: "https://youtu.be/IJdiwITTC9Y" name: "NN1.1 - Einführung" diff --git a/lecture/nn/nn2_linear_regression.md b/lecture/nn/nn2-linear-regression.md similarity index 99% rename from lecture/nn/nn2_linear_regression.md rename to lecture/nn/nn2-linear-regression.md index 9a78e2caf..fd17c9314 100644 --- a/lecture/nn/nn2_linear_regression.md +++ b/lecture/nn/nn2-linear-regression.md @@ -18,7 +18,7 @@ quizzes: - link: "https://www.hsbi.de/elearning/goto.php?target=tst_1106590&client_id=FH-Bielefeld" name: "Selbsttest Lineare Regression (ILIAS)" assignments: - - topic: sheet08 + - topic: sheet-nn-regression youtube: - link: "https://youtu.be/f-DTaKMnkj4" name: "NN2.1 - Lineare Regression - Intro" diff --git a/lecture/nn/nn3_logistic_regression.md b/lecture/nn/nn3-logistic-regression.md similarity index 98% rename from lecture/nn/nn3_logistic_regression.md rename to lecture/nn/nn3-logistic-regression.md index ba3c2e24f..6ef67abab 100644 --- a/lecture/nn/nn3_logistic_regression.md +++ b/lecture/nn/nn3-logistic-regression.md @@ -17,7 +17,7 @@ quizzes: - link: "https://www.hsbi.de/elearning/goto.php?target=tst_1106591&client_id=FH-Bielefeld" name: "Selbsttest Logistische Regression (ILIAS)" assignments: - - topic: sheet08 + - topic: sheet-nn-regression youtube: - link: "https://youtu.be/GpJmjrqA5RY" name: "NN3.1 - Logistische Regression - Intro" diff --git a/lecture/nn/nn4_overfitting.md b/lecture/nn/nn4-overfitting.md similarity index 99% rename from lecture/nn/nn4_overfitting.md rename to lecture/nn/nn4-overfitting.md index 24e4f66fa..cac7b2b51 100644 --- a/lecture/nn/nn4_overfitting.md +++ b/lecture/nn/nn4-overfitting.md @@ -15,7 +15,7 @@ quizzes: - link: "https://www.hsbi.de/elearning/goto.php?target=tst_1106595&client_id=FH-Bielefeld" name: "Selbsttest Overfitting (ILIAS)" assignments: - - topic: sheet09 + - topic: sheet-nn-mlp youtube: - link: "https://youtu.be/KJLT-h_ChRo" name: "NN4.1 - Nichtlineare Modelle" diff --git a/lecture/nn/nn5_mlp.md b/lecture/nn/nn5-mlp.md similarity index 99% rename from lecture/nn/nn5_mlp.md rename to lecture/nn/nn5-mlp.md index edee40a0d..1ec521358 100644 --- a/lecture/nn/nn5_mlp.md +++ b/lecture/nn/nn5-mlp.md @@ -16,7 +16,7 @@ quizzes: - link: "https://www.hsbi.de/elearning/goto.php?target=tst_1106592&client_id=FH-Bielefeld" name: "Selbsttest Multilayer Perzeptron (ILIAS)" assignments: - - topic: sheet09 + - topic: sheet-nn-mlp youtube: - link: "https://youtu.be/7ltwa5WWuKI" name: "NN5.1 - MLP Forward Propagation" diff --git a/lecture/nn/nn6_backprop.md b/lecture/nn/nn6-backprop.md similarity index 98% rename from lecture/nn/nn6_backprop.md rename to lecture/nn/nn6-backprop.md index 144402987..f580f5c99 100644 --- a/lecture/nn/nn6_backprop.md +++ b/lecture/nn/nn6-backprop.md @@ -16,7 +16,7 @@ quizzes: - link: "https://www.hsbi.de/elearning/goto.php?target=tst_1106593&client_id=FH-Bielefeld" name: "Selbsttest Backpropagation (ILIAS)" assignments: - - topic: sheet10 + - topic: sheet-nn-backprop youtube: - link: "https://youtu.be/G9x75THjueQ" name: "NN6.1 - MLP Backpropagation 1" @@ -25,6 +25,7 @@ youtube: - link: "https://youtu.be/uvT4WPIIkwQ" name: "NN6.3 - MLP Zusammenfassung" attachments: + - link: "https://raw.githubusercontent.com/Artificial-Intelligence-HSBI-TDU/KI-Vorlesung/master/lecture/nn/files/NN6-MLP_Backpropagation.pdf" name: "NN6-MLP_Backpropagation.pdf" --- diff --git a/lecture/nn/nn7_training_testing.md b/lecture/nn/nn7-training-testing.md similarity index 100% rename from lecture/nn/nn7_training_testing.md rename to lecture/nn/nn7-training-testing.md diff --git a/lecture/nn/nn8_testing.md b/lecture/nn/nn8-testing.md similarity index 100% rename from lecture/nn/nn8_testing.md rename to lecture/nn/nn8-testing.md diff --git a/lecture/nn/nn9_llm.md b/lecture/nn/nn9-llm.md similarity index 100% rename from lecture/nn/nn9_llm.md rename to lecture/nn/nn9-llm.md diff --git a/readme.md b/readme.md index eb6679424..ff3852df6 100644 --- a/readme.md +++ b/readme.md @@ -273,15 +273,15 @@ Für die Vergabe von Übungspunkten ist eine **erfolgreiche Teilnahme an der Üb [Entropie]: lecture/dtl/dtl5-entropy.md [ID3 und C4.5]: lecture/dtl/dtl6-id3.md -[Perzeptron]: lecture/nn/nn1_perceptron.md -[Lineare Regression]: lecture/nn/nn2_linear_regression.md -[Logistische Regression]: lecture/nn/nn3_logistic_regression.md -[Overfitting]: lecture/nn/nn4_overfitting.md -[Multilayer Perceptron]: lecture/nn/nn5_mlp.md -[Backpropagation]: lecture/nn/nn6_backprop.md -[Training & Testing]: lecture/nn/nn7_training_testing.md -[Performanzanalyse]: lecture/nn/nn8_testing.md - +[Perzeptron]: lecture/nn/nn1-perceptron.md +[Lineare Regression]: lecture/nn/nn2-linear-regression.md +[Logistische Regression]: lecture/nn/nn3-logistic-regression.md +[Overfitting]: lecture/nn/nn4-overfitting.md +[Multilayer Perceptron]: lecture/nn/nn5-mlp.md +[Backpropagation]: lecture/nn/nn6-backprop.md +[Training & Testing]: lecture/nn/nn7-training-testing.md +[Performanzanalyse]: lecture/nn/nn8-testing.md + [Wahrscheinlichkeitstheorie]: lecture/naivebayes/nb1-probability.md [Naive Bayes]: lecture/naivebayes/nb2-naivebayes.md @@ -337,10 +337,10 @@ Für die Vergabe von Übungspunkten ist eine **erfolgreiche Teilnahme an der Üb [B04]: homework/sheet-csp.md [B05]: homework/sheet-dtl.md [B06]: homework/sheet-nb.md -[B07]: homework/sheet07.md -[B08]: homework/sheet08.md -[B09]: homework/sheet09.md -[B10]: homework/sheet10.md +[B07]: homework/sheet-nn-perceptron.md +[B08]: homework/sheet-nn-regression.md +[B09]: homework/sheet-nn-mlp.md +[B10]: homework/sheet-nn-backprop.md ## Förderungen und Kooperationen