Quito Traffic Jam

Stillstandsprognose für Taxifahrten in Quito
Data-Science-Projekt mit 280-Konfigurationen-Sweep | 2016–2017

138,94 s
mittlerer Fehler der Prognose
−15,3 %
gegenüber der Zielmarke der Aufgabe
1.635
Fahrten im Abschluss-Testset
Ausgangssituation

Der Auftrag

Eine Taxi-App in Quito will Fahrgäste vorwarnen

Wer vorher weiss, dass er im Stau stehen wird, erlebt die Fahrt weniger schlecht.
Fahrgast
Kann sich auf lange Fahrtdauern einstellen, statt überrascht zu werden.
Unternehmen
Staufahrten sind unattraktiv — abgerechnet wird nach Strecke, nicht nach Zeit.
Zielgrösse
wait_sec — Sekunden, die das Fahrzeug während der Fahrt komplett stillsteht.
Ausgangssituation

Die Messlatte steht in der Aufgabe

Eine einfache lineare Regression als Referenz

164,09 s
mittlerer Fehler der Referenz
0,08
Bestimmtheitsmass der Referenz
222 s
Median-Wartezeit im Datensatz
„Kannst du diesen Wert unterbieten?“ — die Aufgabenstellung formuliert das Ziel selbst.
Ergebnis

Die Antwort auf die Frage der Aufgabe

Bewertet gegen Werte, die während der Modellierung nicht vorlagen

Mittlerer Fehler auf dem Abschluss-Testset

Die gebaute Pipeline unterbietet die Referenz der Aufgabe um 15,3 % und den ersten eigenen Anlauf vom März um 9,0 %.

Gemessen auf 1.635 Fahrten, deren echte Werte erst nach der Projektbesprechung vorlagen. Auf dem vorgeschriebenen Testsplit sind es 135,70 s bei einem Bestimmtheitsmass von 0,3673.

Ergebnis

Besser — und trotzdem grob

138,94 s
mittlerer Fehler
228 s
Median-Wartezeit
61 %
Fehler im Verhältnis zum Median

Für eine Vorwarnung reicht es. Für eine Sekundenangabe nicht.

Ein Fehler von gut zwei Minuten auf einen Median von knapp vier Minuten trägt eine Genauigkeit vor, die das Modell nicht hat. Die Konsequenz steht in den Empfehlungen — und sie betrifft die Anzeige, nicht das Modell.

Empfehlungen

Empfehlungen

Drei betreffen das Produkt, eine das Data-Engineering-Team

Anzeige
Spanne statt Sekundenwert
  • Ein Intervall, das mit der Fahrtdistanz breiter wird
  • Der Fehler im längsten Quartil ist dreimal so gross wie im kürzesten
Zielfunktion
Auf das 80. Perzentil optimieren
  • Eine Zusage, die in der Hälfte der Fälle zu niedrig ist, taugt nicht als Versprechen
  • Kostet Kennzahl, gewinnt Verlässlichkeit
Datenbedarf
Fehlende Signale anfragen
  • Gefahrene Route, Verkehrslage zum Fahrtzeitpunkt, Strassenkategorie
  • Ohne sie ist der Boden bei 140 Sekunden nicht zu unterschreiten
Datenbasis
Mehrjährige Daten für Saison-Aussagen
  • Ein temporaler Testabschnitt fällt sonst immer in eine Jahreszeit
  • Im vorliegenden Fall in eine ohne einen einzigen Regenzeit-Tag

Quito Traffic Jam

Stillstandsprognose für Taxifahrten in Quito
Data-Science-Projekt mit 280-Konfigurationen-Sweep | 2016–2017

Die Grenze lag nicht am Modell

Die Aufgabe fragte, ob 164 Sekunden zu unterbieten sind. Die Antwort ist ja, um 15 Prozent. Der lehrreichere Teil war die Feststellung, dass 280 Modellvarianten auf demselben Boden landen — und dass der nächste Fortschritt aus Daten kommen muss, die es noch nicht gibt.