diff --git a/docs/evaluation/Ranking der Modelle im Vergleich zu den Autoren.md b/docs/evaluation/Ranking der Modelle im Vergleich zu den Autoren.md new file mode 100644 index 0000000000000000000000000000000000000000..e410d9fc38b67546cbd6abd47ee87a9be488abf4 --- /dev/null +++ b/docs/evaluation/Ranking der Modelle im Vergleich zu den Autoren.md @@ -0,0 +1,36 @@ + +| Platz nach Autoren | Model | VUS-PR nach Autoren | AUC-PR | VUS-PR | Platz nach AUC-PR | Platz nach VUS-PR | +| ------------------ | ----------- | ------------------- | ------ | ------ | ----------------- | ----------------- | +| 1 | Sub-PCA | 0.42 | 0.407 | 0.444 | 2 | 4 | +| 2 | KShapeAD | 0.40 | | | | | +| 3 | POLY | 0.39 | 0.394 | 0.478 | 3 | 2 | +| 4 | KMeansAD | 0.37 | 0.444 | 0.489 | 1 | 1 | +| 5 | USAD | 0.36 | 0.352 | 0.375 | 7 | 7 | +| 6 | Sub-KNN | 0.35 | 0.292 | 0.384 | 10 | 5 | +| 7 | CNN | 0.34 | 0.366 | 0.367 | 5 | 8 | +| 8 | LSTMAD | 0.33 | 0.313 | 0.320 | 8 | 10 | +| 9 | IForest | 0.30 | 0.304 | 0.341 | 9 | 9 | +| 10 | OmniAnomaly | 0.29 | 0.354 | 0.377 | 6 | 6 | +| 11 | Sub-LOF | 0.25 | 0.374 | 0.473 | 4 | 3 | +| 12 | Sub-OCSVM | 0.23 | | | | | +| 13 | LOF | 0.17 | 0.156 | 0.185 | 13 | 13 | + +# Verbesserungen der Modelle + +| Model | AUC-PR lt. Paper | AUC-PR | + AUC-PR \[%\] | VUS-PR lt. Paper | VUS-PR | + VUS-PR \[%\] | +| ---------------- | ---------------- | ------ | --------------- | ---------------- | ------ | --------------- | +| Sub-PCA | 0.37 | 0.407 | 10 | 0.42 | 0.444 | 5.7 | +| KShapeAD | 0.35 | | | 0.40 | | | +| POLY | 0.31 | 0.394 | 27.1 | 0.39 | 0.478 | 22.6 | +| KMeansAD | 0.32 | 0.444 | 38.8 | 0.37 | 0.489 | 32.2 | +| USAD | 0.32 | 0.352 | 9.4 | 0.36 | 0.375 | 4.2 | +| Sub-KNN | 0.27 | 0.292 | 8.15 | 0.35 | 0.384 | 9.71 | +| CNN | 0.33 | 0.366 | 10.9 | 0.34 | 0.367 | 7.9 | +| LSTMAD | 0.31 | 0.313 | - | 0.33 | 0.320 | 3.0 | +| IForest | 0.29 | 0.304 | 4.8 | 0.30 | 0.341 | 13.7 | +| OmniAnomaly | 0.27 | 0.354 | 31.1 | 0.29 | 0.377 | 30 | +| Sub-LOF | 0.16 | 0.374 | 133.8 | 0.25 | 0.473 | 89.2 | +| Sub-OCSVM | | | | 0.23 | | | +| LOF | 0.14 | 0.156 | 11.4 | 0.17 | 0.185 | 8.8 | +| **Durchschnitt** | | | $\approx$ 25.95 | | | $\approx$ 20.64 | + diff --git a/docs/evaluation/Vergleich der Ergebnisse.md b/docs/evaluation/Vergleich der Ergebnisse.md index 61212dc3dcce8aa3cbfd47c1de81aeb3a51d0ac0..7fa4db572520a44c0e525a861822a1f0e181982e 100644 --- a/docs/evaluation/Vergleich der Ergebnisse.md +++ b/docs/evaluation/Vergleich der Ergebnisse.md @@ -159,7 +159,7 @@ + Precision: 0.340 + Standard-F1: 0.451 (vgl. 0.37, +0.081, $\approx$ + 21.9 %) + Auc-Roc: 0.805 (vgl. 0.73, + 0.075, $\approx$ + 10.3 %) - + Auc-PR: 0.394 (vgl. 0.31, + 0.084, $\approx$ + 27,1 %) + + Auc-PR: 0.394 (vgl. 0.31, + 0.084, $\approx$ + 27.1 %) + Vus-PR: 0.478 (vgl. 0.39, + 0.088, $\approx$ + 22.6 %) + Durchschnitt Punktanomalien: + Recall: 0.088