Inhaltsübersicht
Die wichtigsten Technical Insights als Data-Science Deep-Dive
Ein US-Gebrauchtwagenhändler kauft Fahrzeuge günstig auf Auktionen ein, um sie mit Marge weiterzuverkaufen. Das größte Risiko: ein 'Bad Buy' — ein Fahrzeug mit schweren Mängeln, das sich nicht weiterverkaufen lässt und stattdessen Lager-, Reparatur- und Abschreibungskosten verursacht.
Leitfrage: Lässt sich vor dem Kauf erkennen, ob ein Angebot ein Fehlkauf ist — ohne zu viele gute Autos abzulehnen? Das ist ein Precision/Recall-Abwägungsproblem auf einer seltenen Zielklasse, kein Accuracy-Problem.
Triage statt Automatik.
Das Modell markiert Auffälligkeiten zur menschlichen Prüfung – kein automatisches Ablehnen oder Durchwinken.
Datensatz
65.620 Trainings-Fahrzeuge, 33 Rohspalten — stratifizierter Split 52.496 Train / 13.124 Test
Bereinigt
106.348 kategoriale Lücken mit 'Unknown' aufgefüllt, 621 unplausible Werte über Gruppen-Median-Imputation geheilt
Ergebnis
0 Zeilen gelöscht — 100 % Retention Rate, jedes Auto bleibt im Datensatz
57.516 gute Käufe (87,65 %) vs. 8.104 Bad Buys (12,35 %).
Ein Modell, das immer 'guter Kauf' tippt, hätte 87,65 % Accuracy und würde trotzdem keinen einzigen Fehlkauf finden — deshalb ist F1 der Bad-Buy-Klasse die Leitmetrik, nicht Accuracy.
Die MMR-Preisfamilie (Einkauf/Aktuell × Auktion/Handel × Schnitt/Clean) ist stark untereinander korreliert — die 8 rohen Preis-Spalten sagen im Grunde alle dasselbe. Schlussfolgerung: 3 verdichtete Verhältnis-Features statt 8 Rohspalten — feat_price_ratio (Einkaufspreis vs. Marktpreis), feat_price_diff (Abweichung), feat_market_trend (Marktpreis-Entwicklung seit Einkauf).
19 Sets nach Risiko-Hypothese, von baseline_minimal (4 Feat.) bis all_in_with_noise (28 Feat.)
3 Lernprinzipien × 2 Ausbaustufen: LogReg Ridge/Lasso, Random Forest flach/tief, HistGradientBoosting Standard/aggressiv
Jedes Feature-Set gegen jedes Modell — der ModelTracker protokolliert automatisch jede Kombination
Kombinationen aus Model- und Feature-Kataloge
Pro Durchlauf werden F1, Recall, Precision und ROC-AUC in eine dauerhafte CSV geschrieben. Ein neuer Bestwert wird automatisch markiert. Das Modell selbst wird nur bei Bestwert oder F1 ≥ 0,30 exportiert ('Smart Export') — kein Datenmüll durch schwache Modelle.
Nach einer Stunde Wartezeit steht sofort eine auswertbare Tabelle mit allen 448 Kombinationen zur Verfügung.
| Feature-Set | Features | Bester F1 (Tracker) |
|---|---|---|
| numeric — nur Zahlen (Preis, Alter, Kilometerstand) | 6 | 0,2918 |
| all_in_with_noise — voller Katalog inkl. Kategorien | 28 | 0,3726 |
Noise mit wichtigem Informationsgehalt
Der Unterschied hält über mehrere Modellfamilien hinweg — kein Zufallstreffer. In die Breite zu gehen, statt vorab nach vermuteter Wichtigkeit auszuwählen, war der entscheidende Schritt — nicht ein bestimmter Algorithmus.
WheelType = Unknown dominiert die Koeffizienten des Champion-Modells — vor Preis und Alter.
| WheelType-Wert | Anteil der Autos | Fehlkaufquote |
|---|---|---|
| Alloy (Alufelgen) | 49,3 % | 11,1 % |
| Covers (Radkappen) | 45,3 % | 8,1 % |
| Special | 1,0 % | 12,6 % |
| Fehlt (leer) | 4,4 % | 70,3 % |
| Durchschnitt (alle Autos) | — | 12,3 % |
Ein in 95,6 % der Fälle unauffälliges Feld wird in den restlichen 4,4 % zum stärksten Alarmsignal.
F1-optimaler Schwellenwert bei 0,65 statt Standard 0,5 — abgestimmt auf den Triage-Zweck: Fehlkäufe fangen, ohne zu viele gute Autos abzulehnen.
Ziel: Balance der Triage
Fehlkäufe blockieren, gute Autos behalten – statt generischem 0,5-Standard.
Baseline F1 0,29 (Recall 0,61/Precision 0,19) · Random Forest F1 0,35 (0,64/0,24) · LogReg Lasso F1 0,37 (0,60/0,27) — Champion.
643 von 1.621 echten Fehlkäufen erkannt (TP), 978 verpasst (FN), 778 gute Autos fälschlich markiert (FP), 10.725 korrekt durchgewunken (TN).
Es gibt kein Leakage.
Split vor Feature Engineering, keine target-abgeleiteten Features, 0 doppelte Zeilen über den Split hinweg — die Lücke zum echten Holdout ist der stärkste empirische Beleg, dass die internen Zahlen sauber sind.
- ~10 % markiert für Review, ~45 % Precision — kein Auto-Reject
- 70,3 % Fehlkaufquote bei fehlendem Eintrag vs. 12,3 % Durchschnitt
- Unabhängiges Risiko-Merkmal für neuere/teurere Fehlkäufe (z. B. Marktpreis-Abweichung)
- 96 % der Leistung des vollen Katalogs mit einem Viertel der Features
- Python · pandas · scikit-learn · Matplotlib/Seaborn · Jupyter · uv
- 12 Notebooks, durchgehend nummeriert (00–07) und ausgeführt
- Selbstgebauter ModelTracker wandert perspektivisch ins eigene wgnd-toolkit
- Breites Feature-Net vor dem Aussortieren casten (F1 0,29 → 0,37, siehe Findings).
- Prüfen, ob 'fehlt' selbst ein Signal ist, bevor man auffüllt (WheelType-Fund).
- Batch-Statistiken für Einzelfall-Scoring einfrieren (Median-Imputation, Quantil-Bins).
- Alle Finalisten auf demselben Test-Set vergleichen — RF-0,39-Annahme widerlegt (tatsächlich 0,35).
Fast leer und doch stark
Ein fast leeres Datenfeld war das stärkste Signal. Systematisches Testen schlägt Handverlesen: ein breiter Feature-Katalog plus sauberes Threshold-Tuning bringen mehr als ein einzelnes 'besseres' Modell. Der Champion läuft als Triage-Filter, nicht als Automatik — er markiert, ein Mensch entscheidet.