Inhaltsübersicht
Der komplette Projektverlauf — von der Exploration bis zur Empfehlung
Ein US-Gebrauchtwagenhändler kauft Fahrzeuge günstig auf Auktionen ein, um sie mit Marge weiterzuverkaufen. Das größte Risiko: ein 'Bad Buy' — ein Fahrzeug mit schweren Mängeln, das sich nicht weiterverkaufen lässt und stattdessen Lager-, Reparatur- und Abschreibungskosten verursacht.
Leitfrage: Lässt sich vor dem Kauf erkennen, ob ein Angebot ein Fehlkauf ist — ohne zu viele gute Autos abzulehnen? Das ist ein Precision/Recall-Abwägungsproblem auf einer seltenen Zielklasse, kein Accuracy-Problem.
Triage statt Automatik.
Das Modell markiert Auffälligkeiten zur menschlichen Prüfung – kein automatisches Ablehnen oder Durchwinken.
Datensatz
65.620 Trainings-Fahrzeuge, 33 Rohspalten — stratifizierter Split 52.496 Train / 13.124 Test
Bereinigt
106.348 kategoriale Lücken mit 'Unknown' aufgefüllt, 621 unplausible Werte über Gruppen-Median-Imputation geheilt
Ergebnis
0 Zeilen gelöscht — 100 % Retention Rate, jedes Auto bleibt im Datensatz
57.516 gute Käufe (87,65 %) vs. 8.104 Bad Buys (12,35 %).
Ein Modell, das immer 'guter Kauf' tippt, hätte 87,65 % Accuracy und würde trotzdem keinen einzigen Fehlkauf finden — deshalb ist F1 der Bad-Buy-Klasse die Leitmetrik, nicht Accuracy.
Die MMR-Preisfamilie (Einkauf/Aktuell × Auktion/Handel × Schnitt/Clean) ist stark untereinander korreliert — die 8 rohen Preis-Spalten sagen im Grunde alle dasselbe. Schlussfolgerung: 3 verdichtete Verhältnis-Features statt 8 Rohspalten — feat_price_ratio (Einkaufspreis vs. Marktpreis), feat_price_diff (Abweichung), feat_market_trend (Marktpreis-Entwicklung seit Einkauf).
19 Sets nach Risiko-Hypothese, von baseline_minimal (4 Feat.) bis all_in_with_noise (28 Feat.)
3 Lernprinzipien × 2 Ausbaustufen: LogReg Ridge/Lasso, Random Forest flach/tief, HistGradientBoosting Standard/aggressiv
Jedes Feature-Set gegen jedes Modell — der ModelTracker protokolliert automatisch jede Kombination
Kombinationen aus Model- und Feature-Kataloge
Pro Durchlauf werden F1, Recall, Precision und ROC-AUC in eine dauerhafte CSV geschrieben. Ein neuer Bestwert wird automatisch markiert. Das Modell selbst wird nur bei Bestwert oder F1 ≥ 0,30 exportiert ('Smart Export') — kein Datenmüll durch schwache Modelle.
Nach einer Stunde Wartezeit steht sofort eine auswertbare Tabelle mit allen 448 Kombinationen zur Verfügung.
| Feature-Set | Features | Bester F1 (Tracker) |
|---|---|---|
| numeric — nur Zahlen (Preis, Alter, Kilometerstand) | 6 | 0,2918 |
| all_in_with_noise — voller Katalog inkl. Kategorien | 28 | 0,3726 |
Noise mit wichtigem Informationsgehalt
Der Unterschied hält über mehrere Modellfamilien hinweg — kein Zufallstreffer. In die Breite zu gehen, statt vorab nach vermuteter Wichtigkeit auszuwählen, war der entscheidende Schritt — nicht ein bestimmter Algorithmus.
WheelType = Unknown dominiert die Koeffizienten des Champion-Modells — vor Preis und Alter.
| WheelType-Wert | Anteil der Autos | Fehlkaufquote |
|---|---|---|
| Alloy (Alufelgen) | 49,3 % | 11,1 % |
| Covers (Radkappen) | 45,3 % | 8,1 % |
| Special | 1,0 % | 12,6 % |
| Fehlt (leer) | 4,4 % | 70,3 % |
| Durchschnitt (alle Autos) | — | 12,3 % |
Ein in 95,6 % der Fälle unauffälliges Feld wird in den restlichen 4,4 % zum stärksten Alarmsignal.
F1-optimaler Schwellenwert bei 0,65 statt Standard 0,5 — abgestimmt auf den Triage-Zweck: Fehlkäufe fangen, ohne zu viele gute Autos abzulehnen.
Ziel: Balance der Triage
Fehlkäufe blockieren, gute Autos behalten – statt generischem 0,5-Standard.
Baseline F1 0,29 (Recall 0,61/Precision 0,19) · Random Forest F1 0,35 (0,64/0,24) · LogReg Lasso F1 0,37 (0,60/0,27) — Champion.
643 von 1.621 echten Fehlkäufen erkannt (TP), 978 verpasst (FN), 778 gute Autos fälschlich markiert (FP), 10.725 korrekt durchgewunken (TN).
Das Modell verlässt sich stark auf ein einziges Signal und hat kein zweites für neuere, teurere Autos, die trotzdem ein Fehlkauf sind.
Ein akzeptabler Kompromiss, weil diese Fahrzeuge günstig einzeln nachzuprüfen sind.
- Modell bei Threshold 0,65 laufen lassen, um ~10 % eines Autostapels für menschliche Prüfung zu markieren, bei ~45 % Trefferquote
- Nicht als automatische Ablehnung nutzen — dafür ist die Genauigkeit nicht hoch genug
- Direkt beim Ankauf prüfen — kostet nichts extra, das Feld wird eh schon erfasst
- Fehlkaufquote bei fehlendem Eintrag: 70,3 % vs. 12,3 % Durchschnitt
- Ein zweites, unabhängiges Risiko-Merkmal ergänzen (z. B. Abweichung vom Marktpreis)
- Gezielt für neuere, teurere Fehlkäufe, die aktuell verpasst werden
- cats_strong (7 Feat.) erreicht F1 0,3587 — 96 % der Leistung des vollen 28-Feature-Katalogs
- Lohnt einen echten Vergleich: viel einfacheres, leichter wartbares Modell für kaum F1-Verlust
- Vor dem Aussortieren ein breites Feature-Net casten — nicht vorher raten, was wichtig sein könnte.
- Prüfen, ob 'der Wert fehlt' selbst schon ein Signal ist, bevor man ihn stillschweigend auffüllt.
- Median und Quantil-Grenzen einmal einfrieren, damit auch ein einzelnes neues Auto bewertet werden kann.
- Alle Modell-Finalisten immer auf demselben Test-Set vergleichen — eine frühere Annahme 'Random Forest ist bestes Modell (F1 ~0,39)' hielt dem nicht stand (tatsächlich F1 0,35, Platz 2).
Fast leer und doch stark
Ein fast leeres Datenfeld war das stärkste Signal. Systematisches Testen schlägt Handverlesen: ein breiter Feature-Katalog plus sauberes Threshold-Tuning bringen mehr als ein einzelnes 'besseres' Modell. Der Champion läuft als Triage-Filter, nicht als Automatik — er markiert, ein Mensch entscheidet.