Ich sitze gerade über meinen Daten und frage mich, ob ich bei der Interpretation meiner Ergebnisse vielleicht einen klassischen Denkfehler mache. In meinem Experiment habe ich zwei Gruppen verglichen und einen p-Wert von 0,07 erhalten. Jetzt bin ich unsicher, ob ich das schon als Trend bezeichnen oder einfach als nicht signifikant abhaken soll. Irgendwie fühlt sich das willkürlich an, besonders weil die Effektgröße nicht vernachlässigbar erscheint. Vielleicht stecke ich zu sehr in diesem binären "Signifikanz"-Denken fest.
Das kitzelt dich ja heraus. Ein p Wert von 0,07 fühlt sich wie ein Haken am Rand des Erfolgs an, und ich kenne dieses Zögern zwischen Trend und Zufall. Vielleicht ist das Signifikanzdenken wirklich zu hartnäckig, aber die Befürchtung ist echt: Die Effektgröße wirkt greifbar, auch ohne magische 0,05. Muss man das wirklich gleich als Trend abtun?
Es lohnt sich, zuerst die Effektgröße anzusehen und das Intervall zu prüfen. Ein p Wert sagt nichts über die praktische Bedeutung aus. Man sollte prüfen wie groß der Unterschied im Alltag ist und wie stabil die Schätzung ist. Wenn die Stichprobe klein ist, bleibt das Ergebnis unklar. Wie groß ist der tatsächliche Effekt und wie zuverlässig lässt sich der Wert schätzen?
Ich bin eher skeptisch was dieses ja oder nein mit Signifikanz angeht. Manchmal macht der Nebel des p Wert mehr Eindruck als der tatsächliche Mechanismus. Vielleicht ist die Beobachtung stabil genug, vielleicht auch nicht. Stabilität ist das Wort das fehlt.
Vielleicht braucht es ein neues Rahmenkonzept statt einer binären Entscheidung. Anstatt zu fragen ob es Signifikanz ist frage ich mich welcher Prozess hinter der Gruppe steckt, wie die Messung beeinflusst wird und welche Theorie das tragen soll. Die Idee der Prüfung durch Signifikanz kann trügerisch sein.
Du könntest auch darauf schauen wie robust die Ergebnisse sind und ob eine Bayes Perspektive Sinn macht. Ein ganz anderer Blickwinkel kann helfen zu erkennen ob die Beobachtung faszinierend oder flüchtig ist.
