Ich stehe gerade vor einer seltsamen Situation in meinem aktuellen Projekt. Ich habe ein Modell trainiert, das auf unseren historischen Daten hervorragende Ergebnisse liefert, aber sobald es mit den Live-Daten aus der Produktion konfrontiert wird, bricht die Performance völlig ein. Die Feature-Verteilung scheint sich minimal, aber entscheidend zu verschieben. Ich frage mich, ob jemand schon mal etwas Ähnliches erlebt hat und wie man diese Lücke zwischen Testumgebung und Realität am besten untersucht, ohne gleich wieder von vorne anzufangen.
Das klingt nervig und ich fühle mit dir, die Verteilung verschiebt sich leise und plötzlich läuft das Modell in der Produktion ganz anders als im Training.
Eine systematische Prüfung beginnt mit dem Vergleich der Feature-Verteilung zwischen Trainingsdaten und Live-Daten und einer zeitlichen Driftanalyse um Musterwechsel zu erkennen.
Vielleicht interpretiert ihr Modell die Live Daten einfach anders, weil neue Spitzenwerte auftreten und die Korrelationen sich wandeln, das heißt die Prämisse greift nicht mehr.
Ich bleibe skeptisch ob es wirklich Drift ist oder nur ein falscher Eindruck aus der Testumgebung, vielleicht sind die Produktionsdaten einfach lauter oder die Metriken täuschen.
Statt zu verlangen dass der alte Ansatz perfekt funktioniert, könnte man das Thema neu rahmen und nach robusten Modellen fragen die weniger empfindlich auf kleine Verteilungsverschiebungen reagieren.
Vielleicht ist die Frage falsch gestellt und es geht eher darum wie man Verlässlichkeit unter wechselnden Bedingungen überhaupt definiert ohne gleich neu zu trainieren?
