PLZHELP

Decision Tree

Data Ingestion, Preprocessing & Feature Engineering

Modeling & Evaluation

Baseline

One-Hot-Encoding trainingsbasiert parametriert und identisch auf Test angewandt (vergleichbarer Feature-Space).

Standardisierung nur für LR; baumbasierte Modelle benötigen keine Skalierung.

Verteilung

• no: 36.548

• yes: 4.640

• Positivrate (yes):11,27%

• Imbalance-Ratio: ca. 1 : 7,88 (yes ist die Minderheitsklasse)
  Die Zielvariable ist unausgeglichen (≈11% positive Klasse). Die Klassenanteile sind im Trainings- und Testsplit nahezu identisch (Train: 11,22%; Test: 11,37%; Seed=42), wodurch Vergleichbarkeit der Evaluation gewährleistet ist.

Logistik Regression

Mit Hyperparameter:

Mit Hyperparameter:

Random Forest:

Mit Hyperparameter:

Gradient Boosted Tree:

Mit Hyperparameter:

Ergebnis:

Die Ergebnisse zeigen, dass einfachere Modelle wie der Decision Tree oft am meisten Potenzial durch Hyperparameter-Optimierung (insb. Pruning und Mindestanzahl pro Blatt) freisetzen können. Während der Random Forest absolut gesehen die meisten Kündiger findet (TP = 430), bietet der optimierte Decision Tree das ausgewogenste Verhältnis aus Verbesserung (+35 % PR-AUC) und Zuverlässigkeit der Wahrscheinlichkeiten (bester Brier Score Improvement).