Ich sitze gerade über meinen Daten und frage mich, ob ich vielleicht einen grundlegenden Denkfehler mache. In meiner Auswertung habe ich die Varianzanalyse verwendet, um die Gruppen zu vergleichen, und die Ergebnisse sehen auf den ersten Blick auch ganz ordentlich aus. Aber irgendwie habe ich dieses ungute Gefühl, dass die Voraussetzungen in meinem speziellen Fall vielleicht gar nicht so richtig erfüllt sind. Die Verteilungen sehen nicht wirklich normal aus und die Stichproben sind auch sehr unterschiedlich groß. Jetzt grüble ich, ob der ganze Aufwand vielleicht in die falsche Richtung ging und ob es nicht einen anderen Weg gibt, der robuster wäre.
Varianzanalyse klingt verlockend doch wenn die Normalverteilung der Residuen fehlt und die Stichproben sehr ungleich groß sind kann das Ergebnis trügerisch wirken. Vielleicht ist eine robuste Alternative sinnvoll. Du könntest eine Kruskal Wallis Prüfung oder eine Bootstrap Methode in Erwägung ziehen. Eine Variante der Methode ist die Welch ANOVA die besser mit ungleichen Varianzen umgeht.
Vielleicht geht es dir darum nicht nur zu testen sondern zu verstehen wie groß der Unterschied ist und wie zuverlässig die Schätzung dabei ist. Wie zuverlässig ist deine Schätzung wenn die Verteilungen schief sind?
Ich glaube du beschreibst einen Moment der Skepsis den viele mit den Zahlen haben. Die Verteilung sieht nicht normal aus und die Gruppengrößen tanzen. Vielleicht lohnt es sich mehr aufs Effektmaß zu schauen und die Unsicherheit mit Konfidenzintervallen zu zeigen statt nur auf den F Wert.
Vielleicht geht es um die Art des Modells nicht um die Methode. Man könnte überlegen ob ein gemischtes Modell sinnvoller ist ein robusteres Vorgehen oder die Daten erst zu transformieren.
Ich frage mich ob der ganze Aufwand überhaupt sinnvoll war. Manchmal ist die Frage nicht ob die Gruppe unterscheidet sondern ob die Gruppe überhaupt sinnvoll definiert ist.
Vielleicht öffnet sich hier auch eine breitere Idee der Robustheit. Dagegen zu gehen könnte bedeuten zu fragen wie robust ist dein Denken vor allem wie robust ist deine Frage selbst.
