Ich sitze gerade über meinen Daten und frage mich, ob ich meinem eigenen Gefühl trauen kann. Bei einem Experiment mit zwei Gruppen scheint der Unterschied im Mittelwert so offensichtlich, aber wenn ich den p-Wert berechne, liegt er knapp über 0.05. Es fühlt sich falsch an, einfach "kein signifikanter Effekt" zu sagen, wenn die Grafik doch etwas zeigt. Wie geht ihr damit um, wenn die formale Signifikanzgrenze und die praktische Einschätzung so aneinandergeraten?
Ein knappes p Wert Resultat ist kein endgültiges Urteil über einen Effekt. Der p Wert gibt an wie wahrscheinlich unsere Daten wären wenn es tatsächlich keinen Unterschied gäbe. Er quantifiziert nicht die Größe des Unterschieds und schon gar nicht wie relevant er fürs Praxisfeld ist.
Das fühlt sich an wie eine trügerische Firlefanz Konvention. Die Grafik kann eine Geschichte erzählen während der Test sie nicht unterstützt und plötzlich ist der Unterschied da aber der p Wert schweigt.
Praktische Signifikanz kommt oft vor der reinen Statistik. Schau dir die Effektgröße an wie groß der Unterschied in echten Einheiten ist und prüfe das Konfidenzintervall. Wenn es breit ist oder den Nullwert noch einschließt braucht man mehr Daten oder eine andere Analyse.
Was bedeutet der Unterschied wirklich wenn er statistisch knapp ist könnte er nur ein Artefakt der Stichprobengröße sein oder ist er in den Anwendungsfällen relevant?
Vielleicht helfen Alternativmodelle oder Resampling. Bootstrapping oder Bayesianische Sichtweisen können zeigen ob der Effekt robust ist auch wenn der p Wert knapp ist.
Kurz gesagt lass dich nicht allein vom p Wert leiten überlege welche Praxisfragen der Unterschied klären könnte und ob das Experiment dafür ausreichend ist.
Vielleicht solltest du die Frage selbst infrage stellen ob Signifikanz wirklich das Entscheidende ist oder ob das Designproblem hier die eigentliche Frage?
