Agenda
Wer vorher weiss, dass er im Stau stehen wird, erlebt die Fahrt weniger schlecht.
Kann sich auf lange Fahrtdauern einstellen, statt überrascht zu werden.
Staufahrten sind unattraktiv — abgerechnet wird nach Strecke, nicht nach Zeit.
wait_sec — Sekunden, die das Fahrzeug während der Fahrt komplett stillsteht.„Kannst du diesen Wert unterbieten?“ — die Aufgabenstellung formuliert das Ziel selbst.
| Eigenschaft | Wert |
|---|---|
| Fahrten | 15.657 |
| Spalten | 11, davon 1 Zielgrösse |
| Zeitraum | Juni 2016 – August 2017 |
| Gebiet | Quito, Stadt und Randbezirke inklusive Flughafen |
| Nach Bereinigung | 98,8 % der Zeilen erhalten |
| Quelle | Kaggle, Mario Navas, CC BY-SA 4.0 |
Der Median liegt bei 222 s, der Mittelwert bei 304 s. Ein Training auf der Rohskala würde seine Kapazität auf wenige Extremfahrten verwenden.
Nach der Log-Transformation ist die Verteilung annähernd symmetrisch — das ist der Grund, warum das transformierte Ziel später den grössten einzelnen Sprung bringt.
Die Korrelation liegt bei r = 0,42. Längere Fahrten stehen länger, aber die Streuung ist bei jeder Distanz gewaltig.
Zwei Fahrten über dieselben fünf Kilometer unterscheiden sich um Minuten — je nachdem, welche Strasse und welche Tageszeit. Genau diese Information fehlt.
Von der reinen Physik — Distanz und geschätzte Fahrzeit — zu den konstruierten Sets sind es rund 20 Sekunden.
Danach passiert nichts mehr: die beiden besten Sets liegen weniger als eine Sekunde auseinander, obwohl eines 14 und das andere 21 Spalten hat.
Beim SVR sind es 19 Sekunden Gewinn, bei Gradient Boosting knapp 7.
Bei den linearen Modellen kehrt sich der Effekt um: sie werden um 4 Sekunden schlechter. Die Transformation hilft Modellen, die eine umverteilte Fehlerfläche ausnutzen können, und schadet denen, die eine Gerade hindurchlegen.
Sechs von 280 Konfigurationen kommen unter 145 Sekunden. Lineare Regression, SVR, Random Forest und Gradient Boosting trennen an der Spitze weniger als vier Sekunden.
Wenn völlig verschiedene Verfahren auf denselben Boden fallen, liegt die Grenze nicht am Verfahren.
Die geschätzte Fahrzeit trägt 49 % — mehr als alle Geo- und Zeitmerkmale zusammen.
Das ist bemerkenswert, weil diese Schätzung nicht aus der Analyse stammt, sondern bereits in den Rohdaten liegt. Wie viel eigene Wertschöpfung übrig bleibt, klärt die Ablation im Methodik-Teil.
Die gebaute Pipeline unterbietet die Referenz der Aufgabe um 15,3 % und den ersten eigenen Anlauf vom März um 9,0 %.
Gemessen auf 1.635 Fahrten, deren echte Werte erst nach der Projektbesprechung vorlagen. Auf dem vorgeschriebenen Testsplit sind es 135,70 s bei einem Bestimmtheitsmass von 0,3673.
Für eine Vorwarnung reicht es. Für eine Sekundenangabe nicht.
Ein Fehler von gut zwei Minuten auf einen Median von knapp vier Minuten trägt eine Genauigkeit vor, die das Modell nicht hat. Die Konsequenz steht in den Empfehlungen — und sie betrifft die Anzeige, nicht das Modell.
- 14.091 Fahrten
- Alle 280 Konfigurationen werden hier trainiert
- Alle 280 werden hier gemessen
- Hier fällt die Auswahl
- Genau einmal angefasst
- Liefert die berichtete Zahl
Der erste Durchgang hat den Sieger auf demselben Testset gekürt, auf dem er ihn berichtet hat — nachgemessen kostete das 0,62 s beim zufälligen und 0,00 s beim temporalen Split.
| Split | Bester auf Test | Auf Val gewählt | Optimismus | Rang des Val-Siegers |
|---|---|---|---|---|
| zufällig | 145,23 s | 145,85 s | 0,62 s | 2 von 280 |
| temporal | 139,63 s | 139,63 s | 0,00 s | 1 von 280 |
Wiederholte Kreuzvalidierung ergibt eine Streuung von rund ± 3 Sekunden — grösser als die Abstände zwischen den besten Kandidaten.
Validierung und Kreuzvalidierung küren unterschiedliche Sieger. Die belastbare Aussage lautet nicht „SVR gewinnt“, sondern „diese sechs sind ununterscheidbar“.
Von rund 53 Sekunden Gewinn über der Baseline liefert die bereits vorhandene Fahrzeitschätzung allein etwa 28.
Sie wegzulassen kostet aber nur rund 8 Sekunden — Schätzung und konstruierte Features sind grösstenteils redundant. Das Modell verpackt keine fremde Schätzung neu, aber die eigene Wertschöpfung ist kleiner, als die Gesamtzahl vermuten lässt.
Der mittlere vorzeichenbehaftete Fehler liegt bei rund +60 Sekunden und liest sich wie eine systematische Unterschätzung.
Er ist überwiegend die Schiefe der Zielverteilung: MAE wird vom bedingten Median minimiert, und bei rechtsschiefem Ziel liegt der Mittelwert zwangsläufig darüber. Die tatsächliche Drift des Modells beträgt rund 14 Sekunden.
Rangfolgen ohne Streuungsmass und Verzerrungen ohne Verteilungskorrektur erzeugen Befunde, die keine sind.
Kein einziger dieser Fehler war ein Rechenfehler. Alle vier entstanden dadurch, dass eine Zahl für sich genommen betrachtet wurde — ohne die Frage, wie stabil sie ist und woher sie kommt. Was übrig blieb, ist weniger, aber es hält.
Der mittlere absolute Fehler steigt von 74 auf 220 Sekunden — längere Fahrten bieten mehr Gelegenheit, im Stau zu stehen, und streuen entsprechend.
Die Verzerrung wächst deutlich schwächer mit: von +8 auf +26 Sekunden. Der Grossteil des scheinbaren Anstiegs ist wieder die Schiefe, nicht das Modell.
MAE wird vom Median minimiert — die Hälfte aller Schätzungen liegt damit zu niedrig. Für eine Zusage an einen wartenden Fahrgast ist das die falsche Zielfunktion.
Ein auf das 80. Perzentil trainiertes Modell hat die deutlich schlechtere Kennzahl und hält seine Zusage in vier von fünf Fahrten statt in gut der Hälfte.
14 Monate reichen nicht, um Periode und Jahreszeit zu trennen.
Nur 25 von 15.657 Fahrten berühren ihn — nicht auswertbar, obwohl die Aufgabe ihn hervorhebt.
Eine Smearing-Korrektur nach der Rücktransformation wurde nicht angewandt.
Ohne Route und Verkehrslage bleibt der Boden bei 140 Sekunden, mit welchem Modell auch immer.
| Anforderung der Aufgabe | Erster Durchgang | Jetzt |
|---|---|---|
| Daten einlesen und bereinigen | erfüllt | erfüllt |
| Feature Engineering | erfüllt | erfüllt, ohne Leakage |
| Modell anpassen | erfüllt | erfüllt |
| Schritte zu einer Pipeline verbinden | fehlte | predict_wait_sec(csv, model) |
| Vorgeschriebener Split test_size=0.1 | 0.2 verwendet | eingehalten |
| predictions_aim.csv erzeugen | fehlte | 1.635 Vorhersagen |
- Ein Intervall, das mit der Fahrtdistanz breiter wird
- Der Fehler im längsten Quartil ist dreimal so gross wie im kürzesten
- Eine Zusage, die in der Hälfte der Fälle zu niedrig ist, taugt nicht als Versprechen
- Kostet Kennzahl, gewinnt Verlässlichkeit
- Gefahrene Route, Verkehrslage zum Fahrtzeitpunkt, Strassenkategorie
- Ohne sie ist der Boden bei 140 Sekunden nicht zu unterschreiten
- Ein temporaler Testabschnitt fällt sonst immer in eine Jahreszeit
- Im vorliegenden Fall in eine ohne einen einzigen Regenzeit-Tag
Die Grenze lag nicht am Modell
Die Aufgabe fragte, ob 164 Sekunden zu unterbieten sind. Die Antwort ist ja, um 15 Prozent. Der lehrreichere Teil war die Feststellung, dass 280 Modellvarianten auf demselben Boden landen — und dass der nächste Fortschritt aus Daten kommen muss, die es noch nicht gibt.