compare results for each dataset

docummentation about reproducibility

docs/evaluation/Reproducibility.md

+# 1. Methode Reproducibility
+**Bedeutung:**
+- [x]  Originalmodell erstellen und auf Trainingsdaten trainieren
+- [x]  auf Testdaten evaluieren
+- [ ]  Lässt sich das Modell nachbauen?
+
+**Allgemein:**
+- Training bzw. Evaluation erfolgte wie bei den Autoren pro Zeitreihe, sodass die Ergebnisse am Ende gemittelte Werte sind
+- Von den 870 Dateien haben die Autoren 397 angegeben, die sie für das Tunen und Trainieren verwendet haben. Genau diese wurden auch genutzt
+- Verwendung der gleichen Seeds
+- Es gibt teils unüberwachte Methoden (= meisten statistischen Modelle) und semi-überwachte Methoden (= neuronale Netzte und OCSVM). Bei letzterem war ein Testdatensatz notwendig
+- Aufteilung der Daten erfolgte wie bei den Autoren
+- Bei einigen Modellen wurden die einzelnen Zeitreihen nochmal mit einem sliding window als einzelne Batches erstellt, als Art eigener Trainingsdatensatz
+- Autoren haben dabei pro Model ein gleiches Paar optimaler Hyperparameter verwendet, obwohl die Daten sehr divers sind. Für die Replikation wurde eine Grid-Suche durchgeführt und damit pro Zeitreihe auf eigenen optimalen Hyperparameter evaluiert
+- Insgesamt ließen sich die meisten Modelle sehr gut nachbauen
+- Probleme:
+	- KShapeAD: trotz gleicher Hyperparameter und Datensätze haben wir Fehler debuggen müssen, weil es bei der Erstellung von Subsequenzen zu leeren Ein-Dimensionalen Arrays kam anstelle Zwei-Dimensionaler Matrizen
+	- LOF: Optimale Hyperparameter stimmen nicht mit den getesteten überein im git der Autoren
+	- CNN: Beim testen der von den Autoren vorgegebenen Hyperparameter traten Fehler beim Erstellen der Layer auf. Dabei diente ``num_channels`` als Parameter für die Anzahl an Neuronen pro Schicht. Dabei definiert die Länge des Arrays die Anzahl der Schichte. Stattdessen wurde die Lernrate optimiert.
+
+### KShapeAD
+
+
+### POLY
+
+
+### PCA
+
+
+
+### IForest
+
+
+
+### Sub-IForest
+
+
+
+### USAD
+
+
+
+#### LSTMAD
+
+
+
+### KMeansAD
+
+
+
+### Sub-KNN
+
+
+
+### OmniAnomaly
+
+
+
+### LOF
+
+
+
+### OCSVM
+
+
+
+### CNN
+
+
+
+# 2. Results Reproducibility
+**Bedeutung:**
+- [ ] Erhalten wir ähnliche Ergebnisse wie in dem Paper?
+- [ ]  Wenn nein, woran kann es liegen?
+
+**Allgemein:**
+*  Da eine Grid-Suche pro Zeitreihe durchgeführt wurde und nicht pauschal die optimalen Hyperparameter der Autoren für alle Zeitserien verwendet wurden, ist eine Verbesserung der Modelle zu erwarten
++ In einigen Datensätzen bei einigen Modellen sind die Ergebnisse jedoch nicht reproduzierbar, selbst mit den optimalen Hyperparametern der Autoren (meist noch schlechtere Werte). Hier nur Vergleich mit VUS-PR möglich, da zu AUC-PR keine Daten pro Datensatz zu Model.
+	*Missing: Sub-IForest und KNN*
+	*Betreffende Datensätze:*
+	+ **TAO** (Modelle: **PCA**: -0.09; **KShapeAD**: - 0.19; **Poly**: - 0.11; **KMeans**: - 0.17; **IForest**: - 0.26; **Sub-LOF**: - 0.11; **Sub-OCSVM**: - 0.2; **LOF** - 0.2 )
+	+ **Stock** (Modelle: **IForest**: - 0.25; )
+	+ **MSL** (Modelle: **KShapeAD**: -0.09; )
+	+ **IOPS**: (Modelle: **IForest**: - 0.15; )
+	+ **SWaT** (Modelle: **IForest**: - 0.13; )
+	+ **Yahoo** (Modelle: **IForest**: - 0.3; )
+	+ **WSD** (Modelle: **IForest**: - 0.11; )
+*Stark Verbesserte Datensätze bei einzelnen Modellen:*
++ **Power** (Modelle: **KShapeAD**: + 0.32; **KMeans**: + 0.13; )
++ **MSL** (Modelle: **POLY**: + 0.19; **IForest**: + 0.16; **OA**: + 0.18; **Sub-LOF**: + 0.19; )
++ **OPPORTUNITY** (Modelle: **Poly**: + 0.33; **CNN**: +0.22; **IForest**: + 0.31;)
++ **Exathlon:** (Modelle: **Poly**: + 0.11; **KMeans**: + 0.21; **IForest**:+ 0.29; **Sub-OCSVM**: + 0.27; )
++ **NAB** (Modelle: **Poly**: + 0.1; **IForest**: + 0.12; **OA**: + 0.15; **Sub-LOF**: + 0.21; **Sub-OCSVM**: + 0.12; )
++ **NEK** (Modelle: **Poly**: + 0.15; **KMeans:** + 0.12; **USAD**: + 0.1; **Sub-LOF**: + 0.44; **Sub-OCSVM**: + 0.11; )
++ **WSD** (Modelle: **Poly**: + 0.12; **USAD**: + 0.12; **Sub-LOF**: + 0.52; )
++ **LTDB** (Modelle: **KMeans**: + 0.35; **IForest**: + 0.2; **Sub-OCSVM**: + 0.36; )
++ **MITDB** (Modelle: **KMeans**: + 0.32; **Sub-LOF**: + 0.11; **Sub-OCSVM**: + 0.21; )
++ **SVDB** (Modelle: **KMeans**: + 0.37; **IForest**: + 0.22; **OA**: + 0.36; **Sub-LOF**: + 0.2; **Sub-OCSVM**: + 0.39; )
++ **UCR** (Modelle: **KMeans**: + 0.11; **Sub-LOF**: + 0.22; **Sub-OCSVM**: + 0.16; )
++ **Yahoo** (Modelle: **KMeans**: + 0.23;  **Sub-LOF**: + 0.15; )
++ **Daphnet** (Modelle: **IForest**: + 0.16; **Sub-LOF**: + 0.21; )
++ **SED** (Modelle: **IForest**: + 0.46; **Sub-OCSVM**: + 0.1; )
++ **Catsv2** (Modelle: **OA**: + 0.16; )
++ **SMAP** (Modelle: **OA**: + 0.27; **Sub-LOF**: + 0.2; )
++ **SMD** (Modelle: **OA**: + 0.12; **Sub-LOF**: + 0.5; )
++ **TODS** (Modelle: **OA**: + 0.1; **Sub-LOF**: + 0.16; **Sub-OCSVM**: + 0.1; )
++ **IOPS** (Modelle: **Sub-LOF**: + 0.27; )
++ **MGAB** (Modelle: **Sub-LOF**: + 0.19; )
+### KShapeAD
+
+
+### POLY
+
+
+### PCA
+
+
+
+### IForest
+
+
+
+### Sub-IForest
+
+
+
+### USAD
+
+
+
+#### LSTMAD
+
+
+
+### KMeansAD
+
+
+
+### Sub-KNN
+
+
+
+### OmniAnomaly
+
+
+
+### LOF
+
+
+
+### OCSVM
+
+
+
+### CNN
+
+
+
+
+# 3. Inferential Reproducibility
+**Bedeutung:**
+- [ ] Vergleichen der Ergebnisse und des Aufwandes, Hintergrundwissen und Einfachheit in der Implementierung der statistischen Algorithmen mit dem Neuronalem Netz
+- [ ]  Kommen wir zum gleichem Schluss und müssen die Überlegenheit neuronaler Netze hinterfragen?
+- [x]  Spielt eventuell Overfitting eine Rolle?
+- [x]  Könnte ein Bias der Autoren vorliegen?
+
+**Bewertung:**
+*Overfitting:*
++ Die meisten Modelle werden unüberwacht evaluiert und haben keine Testdaten. Daher spielt bei diesen Modellen Overfitting keine Rolle
++ Bei den semi-überwachten Modellen war ein Test- und Trainingsdatensatz erforderlich. User Code hat sich dabei an den der Autoren gerichtet. Hier wurde der gesamte Datensatz zum Testen verwendet und ein Teil davon zum Training, sodass auch auf einigen Trainingsdaten evaluiert wurde. Das kann das Ergebnis der semi-überwachten ins positive verzerren
+*Bias:*
+- Autoren haben einen Datensatz erstellt, der möglichst gut (korrektes Labeling, Machbarkeit des Datensatzes, Bias-frei) und divers für die Anomalie-Detektion ist. 
+- Zusätzlich haben sie für die Evaluierung eine eigene erstellte Metrik, die VUS-PR (Volume under Space- Precision Recall) genutzt, da sie die Genauigkeit der anderen Metriken (F1, Recall, Precision, AUC-Roc) anzweifeln und für unzureichend erachten
+- Es gibt teils starke Differenzen zw. AUC-PR und VUS-PR (zw. sehr schlecht mit AUC-PR um die 0.15 und sehr gut mit VUS-PR um die 0.75-0.95) auf einigen Datensätzen, insbesondere die die Punktanomalien enthalten und einen deutlich höheren Anomalie-Anteil haben
+	- Datensätze: Stock, TAO und TODS
+	  
+	  *Punktanomalie Datensätze*
+	- Nur in diesen drei Punktanomalie-Datensätzen ist ein höherer Anomalie-Anteil zu verzeichnen. In allen anderen liegt der Anteil an Punktanomalien zw. 0.3 % uns 1.5 %. Diese bleiben sowohl mit AUC-PR und VUS-PR schlecht. Kann es sein, dass die VUS-PR so gut ist, weil sie dem hohen Anomalie-Anteil zu Gute kommt?
+	  
+	  *Sequenzanomalie Datensätze*
+	- Hoher Anomalie-Anteil in: Exathlon, NAB, NEK, LTDB, Dapthnet, SWaT und Power
+	  
+	  *Anomalie-Anteil:*
+		- Durchschnitt: 4.1 %
+		- **TAO:** 9.4 %
+		- **TODS:** 8.8 %
+		- **Stock:** 6.4 %
+		-  UCR: 0.3 %
+		+ SMD: 1.9 %
+		+ YAHOO: 0.9 %
+		+ **Exathlon:** 10.9 % 
+		+ **NAB:** 10.2 % 
+		+ OPPORTUNITY: 4.8 %
+		+ WSD: 0.5 %
+		+ SVDB: 3.7 %
+		+ SMAP: 2.9 %
+		+ IOPS: 1.5 %
+		+ MGAB: 0.2 %
+		+ MSL: 4.0 %
+		+ **NEK:** 8.0 %
+		+ ***LTDB:*** 18.8 % 
+		+ MITDB: 4.2 %
+		+ SED: 4.0 %
+		+ **Daphnet:** 5.9 % 
+		+ SWaT: 12.1 %
+		+ **Power:** 8.6 % 
+		+ CATSv2: 4.9 %
+
+*Anpassen nach hinzufügen von Sub-IForest und ggf. neues KNN*
+
+| Datensatz    | AUC-PR | VUS-PR | Differenz AUC zu VUS-PR | Differenz prozentual |
+| ------------ | ------ | ------ | ----------------------- | -------------------- |
+| **Exathlon** | 0.658  | 0.659  | 0.001                   |                      |
+| **NAB**      | 0.341  | 0.367  | 0.026                   |                      |
+| **NEK**      | 0.566  | 0.592  | 0.026                   |                      |
+| **LTDB**     | 0.485  | 0.545  | *0.06*                  |                      |
+| **Dapthnet** | 0.227  | 0.217  | -0.01                   |                      |
+| **SWaT**     | 0.434  | 0.302  | *-0.132*                |                      |
+| **Power**    | 0.174  | 0.172  | -0.002                  |                      |
+| **TAO**      | 0.297  | 0.817  | *0.52*                  |                      |
+| **TODS**     | 0.252  | 0.614  | *0.362*                 |                      |
+| **Stock**    | 0.214  | 0.769  | *0.555*                 |                      |
+| MITDB        | 0.313  | 0.300  |                         |                      |
+| MSL          | 0.357  | 0.412  |                         |                      |
+| YAHOO        | 0.268  | 0.374  |                         |                      |
+| OPPORTUNITY  | 0.464  | 0.464  |                         |                      |
+| SMAP         | 0.426  | 0.470  |                         |                      |
+| MGAB         | 0.095  | 0.081  |                         |                      |
+| UCR          | 0.210  | 0.219  |                         |                      |
+| SVDB         | 0.441  | 0.440  |                         |                      |
+| SMD          | 0.396  | 0.381  |                         |                      |
+| WSD          | 0.206  | 0.188  |                         |                      |
+| SED          | 0.260  | 0.332  |                         |                      |
+| IOPS         | 0.226  | 0.187  |                         |                      |
+| CATSv2       | 0.394  | 0.266  |                         |                      |
+| **Gesamt:**  | 0.335  | 0.399  |                         |                      |
+	  

docs/evaluation/Vergleich der Ergebnisse.md

@@ -225,19 +225,74 @@
 + Deutlich besser bei Sequenzanomalien
 + Gute AUC-PR bei SED, wo viele der Modelle Probleme haben
 + Bewertung von Yahoo echt schlecht, aber bei den Sequenzanomalien nahezu perfekt
-+ Stock deutlich schlechter (VUS-PR = 0.74 statt 0.99 lt. Autoren)
++ Stock deutlich schlechter (VUS-PR = 0.74 statt 0.99 lt. Autoren) und noch einige weitere Datensätze s.u.
 + Große Differenz im TAO zw. AUC-PR und VUS-PR (0.14 vs. 0.73)
 + Beste erkannte Gruppe: 
 	+ nach AUC-PR:
-		+ Exathlon: 0.962806
+		+ Exathlon: 0.962806 (TAO: 0.125817)
 	+ nach VUS-PR:
-		+ Exathlon: 0.964836 (vgl. Tao 0.99)
+		+ Exathlon: 0.964836 (vgl. 0.67; TAO: 0.728970,vgl. Tao 0.99)
 + Schlechteste erkannte Gruppe: 
 	+ nach AUC-PR: 
 		+ MGAB: 0.004336
 	+ nach VUS-PR:
 		+ MGAB: 0.004379 (vgl. MGAB 0.00)
 
+**TAO DATENSATZ**
+*Optimale Hyperparameter der Autoren:*
++ {'n_estimators': 200}
+*Hyperparameter nach Tuning pro Datensatz V1:*
++ {'n_estimators': 25}, 257_TAO_id_1_Environment_tr_500_1st_3.csv
++ {'n_estimators': 25}, 258_TAO_id_2_Environment_tr_500_1st_4.csv
++ {'n_estimators': 25}, 259_TAO_id_3_Environment_tr_500_1st_7.csv
+
+**Ergebnisse :**	
++ Datei: 257_TAO_id_1_Environment_tr_500_1st_3.csv, 
+	+ AUC-PR: 0.10360803817787549
+	+ VUS-PR: 0.8775058093917094
++ Datei: 258_TAO_id_2_Environment_tr_500_1st_4.csv, 
+	+ AUC-PR: 0.1482664785011723
+	+ VUS-PR: 0.9397830084380918
++ Datei: 259_TAO_id_3_Environment_tr_500_1st_7.csv, 
+	+ AUC-PR: 0.05900208133187386
+	+ VUS-PR: 0.3387773679381048
++ Durchschnittlicher AUC-PR: 0.10362553267030722
++ Durchschnittlicher VUS-PR: 0.718688728589302
+
+$\rightarrow$ Trotz Verwendung der optimalen Hyperparameter bleibt die starke Abweichung zu den Ergebnissen der Autoren bestehen
+
+**Weitere stark abweichende Datensätze:**
++ *Stock*: 0.74 vgl. 0.99 $\rightarrow$ um - 0.25 schlechter als bei Autoren
+	+ Grid-Suche ergab auf den Datensätzen verschiedene Parameter
+	  **Ergebnisse mit optimalen Hyperparametern  der Autoren**
+	+ Durchschnittlicher AUC-PR: 0.10581727147232856
+	+ Durchschnittlicher VUS-PR: 0.7280962165055002
+	  $\rightarrow$ Ergebnisse schlechter als mit der Grid-Suche. 
++ *IOPS*: 0.13 vgl. 28 $\rightarrow$ um - 0.15 schlechter als bei Autoren
+	+ Grid-Suche ergab auf den Datensätzen verschiedene Parameter
+	  **Ergebnisse mit optimalen Hyperparametern  der Autoren**
+	+ Durchschnittlicher AUC-PR: 
+	+ Durchschnittlicher VUS-PR:
+	  $\rightarrow$ 
++ *SWaT*: 0.37 vgl. 0.5 $\rightarrow$ um - 0.13 schlechter als bei Autoren
+	+ Grid-Suche ergab auf den Datensätzen gleiche Parameter
+	  **Ergebnisse mit optimalen Hyperparametern  der Autoren**
+	+ Durchschnittlicher AUC-PR:
+	+ Durchschnittlicher VUS-PR: 
+	  $\rightarrow$ 
++ *Yahoo*: 0.14 vgl. 0.44 $\rightarrow$ um - 0.3 schlechter als bei Autoren
+	+ Grid-Suche ergab auf den Datensätzen verschiedene Parameter
+	  **Ergebnisse mit optimalen Hyperparametern  der Autoren**
+	+ Durchschnittlicher AUC-PR: 
+	+ Durchschnittlicher VUS-PR: 
+	  $\rightarrow$ 
++ *WSD*: 0.03 vgl. 0.14 $\rightarrow$ um - 0.11 schlechter als bei Autoren
+	+ Grid-Suche ergab auf den Datensätzen verschiedene Parameter
+	  **Ergebnisse mit optimalen Hyperparametern  der Autoren**
+	+ Durchschnittlicher AUC-PR: 
+	+ Durchschnittlicher VUS-PR: 
+	  $\rightarrow$ 
+	
 # Sub-iForest
 + Prozessor: CPU
 	+ Modell: iCore 5 8th
@@ -326,7 +381,32 @@
 		+ SED: 0.020994 (MGAB: 0.027123)
 	+ nach VUS-PR:
 		+ MGAB: 0.005551 (vgl. 0.01, vermutl. gleich ; SED: 0.030270)
-	
+
+**TAO DATENSATZ**
+Unser Ergebnis: 0.84 
+Autoren: 0.93
+*Optimale Hyperparameter der Autoren:*
++ {'periodicity': 1, 'n_components': None}
+*Hyperparameter nach Tuning pro Datensatz V1:*
++ {'periodicity': 1, 'n_components': 0.75}, 257_TAO_id_1_Environment_tr_500_1st_3.csv
++ {'periodicity': 1, 'n_components': 0.75}, 258_TAO_id_2_Environment_tr_500_1st_4.csv
++ {'periodicity': 1, 'n_components': 0.75}, 259_TAO_id_3_Environment_tr_500_1st_7.csv
+
+**Ergebnisse :**	
++ Datei: 257_TAO_id_1_Environment_tr_500_1st_3.csv, 
+	+ AUC-PR: 0.1262219668734263
+	+ VUS-PR: 0.9091747292463418
++ Datei: 258_TAO_id_2_Environment_tr_500_1st_4.csv, 
+	+ AUC-PR: 0.17567161748656224
+	+ VUS-PR: 0.9507001756819773
++ Datei: 259_TAO_id_3_Environment_tr_500_1st_7.csv, 
+	+ AUC-PR: 0.1437347444925471
+	+ VUS-PR: 0.6562715916627513
++ Durchschnittlicher AUC-PR: 0.14854277628417856
++ Durchschnittlicher VUS-PR: 0.8387154988636901
+
+$\rightarrow$ Ergebnis bleibt auch mit den optimalen Hyperparametern der Autoren gleich. Keine Erklärung, warum die starke Abweichung weiterhin besteht
+
 # USAD
 + Prozessor: GPU
 	+ Modell: NVIDIA GeForce RTX 2060 SUPER
@@ -587,6 +667,14 @@ $\rightarrow$ Optimalen Hyperparameter pro Datensatz stimmen mit denen der Autor
 
 $\rightarrow$ Ergebnisse mit den optimalen Hyperparametern der Autoren noch schlechter bei TAO als mit der Grid-Search pro Zeitserie
 
+**Weitere stark abweichende Datensätze:**
++ *MSL*: 0.46 vgl. 0.55 $\rightarrow$ um - 0.09 schlechter als bei Autoren
+	+ Grid-Suche ergab auf den Datensätzen verschiedene Parameter
+	  **Ergebnisse mit optimalen Hyperparametern  der Autoren**
+	+ Durchschnittlicher AUC-PR: 0.4300357746597835
+	+ Durchschnittlicher VUS-PR: 0.4774590136658375
+	  $\rightarrow$ Minimale Besserung der VUS-PR Werte, dennoch nicht so gut wie bei den Autoren
+	
 # kMeansAD
 + Prozessor: CPU
 	+ Modell: iCore 5 8th

src/datensatz/dataset_investigation.ipynb

@@ -12,13 +12,6 @@
     "import matplotlib.pyplot as mpl"
    ]
   },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  },
   {
    "cell_type": "markdown",
    "metadata": {},
@@ -347,25 +340,95 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 11,
+   "execution_count": 83,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "#test amount of anomalies of special datasets\n",
+    "dataset1 = 'TAO'\n",
+    "dataset2 = 'Stock'\n",
+    "dataset3 = 'TODS'\n",
+    "\n",
+    "\n",
+    "df_tao = df_univariate[df_univariate['FileName'].str.contains('_'+dataset1+'_')]\n",
+    "df_stock = df_univariate[df_univariate['FileName'].str.contains('_'+dataset2+'_')]\n",
+    "df_tods = df_univariate[df_univariate['FileName'].str.contains('_'+dataset3+'_')]\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 84,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "FileName\n",
+       "287_TODS_id_1_Synthetic_tr_500_1st_11        5000\n",
+       "288_TODS_id_2_Synthetic_tr_500_1st_65        5000\n",
+       "289_TODS_id_3_Synthetic_tr_500_1st_26        5000\n",
+       "290_TODS_id_4_Synthetic_tr_500_1st_26        5000\n",
+       "291_TODS_id_5_Synthetic_tr_500_1st_11        5000\n",
+       "292_TODS_id_6_Synthetic_tr_500_1st_11        5000\n",
+       "293_TODS_id_7_Synthetic_tr_500_1st_7         5000\n",
+       "294_TODS_id_8_Synthetic_tr_500_1st_200       5000\n",
+       "295_TODS_id_9_Synthetic_tr_1250_1st_2046     5000\n",
+       "296_TODS_id_10_Synthetic_tr_500_1st_26       5000\n",
+       "297_TODS_id_11_Synthetic_tr_500_1st_7        5000\n",
+       "298_TODS_id_12_Synthetic_tr_500_1st_0        5000\n",
+       "299_TODS_id_13_Synthetic_tr_500_1st_65       5000\n",
+       "300_TODS_id_14_Synthetic_tr_1250_1st_2555    5000\n",
+       "301_TODS_id_15_Synthetic_tr_500_1st_245      5000\n",
+       "Name: count, dtype: int64"
+      ]
+     },
+     "execution_count": 84,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "df_tods['FileName'].value_counts()"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 85,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "#get procential anomalies of selected datasets\n",
+    "anomalies_tao= df_tao['Label'].value_counts()[1]\n",
+    "anomalies_stock= df_stock['Label'].value_counts()[1]\n",
+    "anomalies_tods= df_tods['Label'].value_counts()[1]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 86,
    "metadata": {},
    "outputs": [
     {
      "name": "stdout",
      "output_type": "stream",
      "text": [
-      "Anteil an Anomalien: 0.04185815322611735\n"
+      "Anteil an Anomalien: 0.04185815322611735\n",
+      "Anteil an Anomalien in TAO: 9.407\n",
+      "Anteil an Anomalien in Stock: 8.864\n",
+      "Anteil an Anomalien in TODS: 6.377\n"
      ]
     }
    ],
    "source": [
     "print(f'Anteil an Anomalien: {anomalies/df_univariate.shape[0]}')\n",
-    "#print(f'Anteil an Anomalien: {913261 / (913261 + 32854956)}')\n"
+    "print(f'Anteil an Anomalien in {dataset1}: {(anomalies_tao*100/df_tao.shape[0]):.3f}')\n",
+    "print(f'Anteil an Anomalien in {dataset2}: {(anomalies_stock*100/df_stock.shape[0]):.3f}')\n",
+    "print(f'Anteil an Anomalien in {dataset3}: {(anomalies_tods*100/df_tods.shape[0]):.3f}')\n"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 12,
+   "execution_count": 87,
    "metadata": {},
    "outputs": [
     {
@@ -438,7 +501,7 @@
        "4  0.092652    0.0  280_NEK_id_4_WebService_tr_500_1st_231"
       ]
      },
-     "execution_count": 12,
+     "execution_count": 87,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -458,7 +521,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 13,
+   "execution_count": 88,
    "metadata": {},
    "outputs": [
     {
@@ -467,7 +530,7 @@
        "(1073, 3)"
       ]
      },
-     "execution_count": 13,
+     "execution_count": 88,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -478,15 +541,17 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 14,
+   "execution_count": 89,
    "metadata": {},
    "outputs": [
     {
      "name": "stderr",
      "output_type": "stream",
      "text": [
-      "c:\\Users\\desiw\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\plotly\\express\\_core.py:1985: FutureWarning: When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.\n",
-      "  sf: grouped.get_group(s if len(s) > 1 else s[0])\n"
+      "c:\\Users\\desiw\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\plotly\\express\\_core.py:1985: FutureWarning:\n",
+      "\n",
+      "When grouping with a length-1 list-like, you will need to pass a length-1 tuple to get_group in a future version of pandas. Pass `(name,)` instead of `name` to silence this warning.\n",
+      "\n"
      ]
     },
     {
@@ -3369,7 +3434,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 15,
+   "execution_count": 90,
    "metadata": {},
    "outputs": [
     {
@@ -3379,7 +3444,7 @@
      "traceback": [
       "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
       "\u001b[1;31mFileNotFoundError\u001b[0m                         Traceback (most recent call last)",
-      "Cell \u001b[1;32mIn[15], line 3\u001b[0m\n\u001b[0;32m      1\u001b[0m path_multivariate \u001b[38;5;241m=\u001b[39m \u001b[38;5;124m'\u001b[39m\u001b[38;5;124mdata/TSB-AD-M/\u001b[39m\u001b[38;5;124m'\u001b[39m\n\u001b[0;32m      2\u001b[0m file \u001b[38;5;241m=\u001b[39m \u001b[38;5;124m'\u001b[39m\u001b[38;5;124m019_MITDB_id_1_Medical_tr_37500_1st_103211.csv\u001b[39m\u001b[38;5;124m'\u001b[39m\n\u001b[1;32m----> 3\u001b[0m df_multivariate_single \u001b[38;5;241m=\u001b[39m \u001b[43mpd\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mread_csv\u001b[49m\u001b[43m(\u001b[49m\u001b[43mpath_multivariate\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;241;43m+\u001b[39;49m\u001b[43m \u001b[49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[38;5;124;43m/\u001b[39;49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[43m \u001b[49m\u001b[38;5;241;43m+\u001b[39;49m\u001b[43m \u001b[49m\u001b[43mfile\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m      4\u001b[0m df_multivariate_single\u001b[38;5;241m.\u001b[39mhead()\n",
+      "Cell \u001b[1;32mIn[90], line 3\u001b[0m\n\u001b[0;32m      1\u001b[0m path_multivariate \u001b[38;5;241m=\u001b[39m \u001b[38;5;124m'\u001b[39m\u001b[38;5;124mdata/TSB-AD-M/\u001b[39m\u001b[38;5;124m'\u001b[39m\n\u001b[0;32m      2\u001b[0m file \u001b[38;5;241m=\u001b[39m \u001b[38;5;124m'\u001b[39m\u001b[38;5;124m019_MITDB_id_1_Medical_tr_37500_1st_103211.csv\u001b[39m\u001b[38;5;124m'\u001b[39m\n\u001b[1;32m----> 3\u001b[0m df_multivariate_single \u001b[38;5;241m=\u001b[39m \u001b[43mpd\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mread_csv\u001b[49m\u001b[43m(\u001b[49m\u001b[43mpath_multivariate\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;241;43m+\u001b[39;49m\u001b[43m \u001b[49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[38;5;124;43m/\u001b[39;49m\u001b[38;5;124;43m'\u001b[39;49m\u001b[43m \u001b[49m\u001b[38;5;241;43m+\u001b[39;49m\u001b[43m \u001b[49m\u001b[43mfile\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m      4\u001b[0m df_multivariate_single\u001b[38;5;241m.\u001b[39mhead()\n",
       "File \u001b[1;32mc:\\Users\\desiw\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\pandas\\io\\parsers\\readers.py:1026\u001b[0m, in \u001b[0;36mread_csv\u001b[1;34m(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, date_format, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, encoding_errors, dialect, on_bad_lines, delim_whitespace, low_memory, memory_map, float_precision, storage_options, dtype_backend)\u001b[0m\n\u001b[0;32m   1013\u001b[0m kwds_defaults \u001b[38;5;241m=\u001b[39m _refine_defaults_read(\n\u001b[0;32m   1014\u001b[0m     dialect,\n\u001b[0;32m   1015\u001b[0m     delimiter,\n\u001b[1;32m   (...)\u001b[0m\n\u001b[0;32m   1022\u001b[0m     dtype_backend\u001b[38;5;241m=\u001b[39mdtype_backend,\n\u001b[0;32m   1023\u001b[0m )\n\u001b[0;32m   1024\u001b[0m kwds\u001b[38;5;241m.\u001b[39mupdate(kwds_defaults)\n\u001b[1;32m-> 1026\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43m_read\u001b[49m\u001b[43m(\u001b[49m\u001b[43mfilepath_or_buffer\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mkwds\u001b[49m\u001b[43m)\u001b[49m\n",
       "File \u001b[1;32mc:\\Users\\desiw\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\pandas\\io\\parsers\\readers.py:620\u001b[0m, in \u001b[0;36m_read\u001b[1;34m(filepath_or_buffer, kwds)\u001b[0m\n\u001b[0;32m    617\u001b[0m _validate_names(kwds\u001b[38;5;241m.\u001b[39mget(\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mnames\u001b[39m\u001b[38;5;124m\"\u001b[39m, \u001b[38;5;28;01mNone\u001b[39;00m))\n\u001b[0;32m    619\u001b[0m \u001b[38;5;66;03m# Create the parser.\u001b[39;00m\n\u001b[1;32m--> 620\u001b[0m parser \u001b[38;5;241m=\u001b[39m \u001b[43mTextFileReader\u001b[49m\u001b[43m(\u001b[49m\u001b[43mfilepath_or_buffer\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[43mkwds\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m    622\u001b[0m \u001b[38;5;28;01mif\u001b[39;00m chunksize \u001b[38;5;129;01mor\u001b[39;00m iterator:\n\u001b[0;32m    623\u001b[0m     \u001b[38;5;28;01mreturn\u001b[39;00m parser\n",
       "File \u001b[1;32mc:\\Users\\desiw\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\pandas\\io\\parsers\\readers.py:1620\u001b[0m, in \u001b[0;36mTextFileReader.__init__\u001b[1;34m(self, f, engine, **kwds)\u001b[0m\n\u001b[0;32m   1617\u001b[0m     \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39moptions[\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mhas_index_names\u001b[39m\u001b[38;5;124m\"\u001b[39m] \u001b[38;5;241m=\u001b[39m kwds[\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mhas_index_names\u001b[39m\u001b[38;5;124m\"\u001b[39m]\n\u001b[0;32m   1619\u001b[0m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mhandles: IOHandles \u001b[38;5;241m|\u001b[39m \u001b[38;5;28;01mNone\u001b[39;00m \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;01mNone\u001b[39;00m\n\u001b[1;32m-> 1620\u001b[0m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_engine \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43m_make_engine\u001b[49m\u001b[43m(\u001b[49m\u001b[43mf\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mengine\u001b[49m\u001b[43m)\u001b[49m\n",