Ich sitze gerade an meiner Masterarbeit in den Sozialwissenschaften und habe eine Frage zur Auswertung meiner Umfragedaten. Eigentlich dachte ich, ich hätte die Grundlagen verstanden, aber jetzt stehe ich vor einem praktischen Problem. Ich habe zwei Gruppen verglichen und einen t-Test durchgeführt. Der p-Wert lag knapp über 0.05, aber wenn ich mir die Mittelwerte und die Streuung in den Boxplots anschaue, sieht der Unterschied für mich substanziell aus. Irgendwie fühlt es sich falsch an, jetzt einfach zu sagen "kein signifikanter Effekt" und damit abzuhaken. Wie geht ihr damit um, wenn die statistische Signifikanz und die inhaltliche Bedeutung auseinanderzudriften scheinen?
Ich verstehe deinen Frust. Du willst dass der Unterschied zählt und nicht nur Zufallsrauschen ist. Die Signifikanz ist eine Konvention die nicht alles erklärt. Das Boxplot Bild wirkt stärker inhaltlich als der p Wert. Vielleicht hilft es erst mal mehr über die Effektgröße nachzudenken und die Unsicherheit offen zu legen.
Analytisch gedacht prüfe die Effektgröße wie Cohen d und das Konfidenzintervall. Zeig auch den t Wert und die Stichprobengröße. Vielleicht ist der Unterschied praktisch bedeutsam auch wenn der p Wert knapp über 0,05 liegt. Eine robuste Beurteilung erfordert möglicherweise bootstrap oder Bayes Faktor.
Eine skeptische Leserin fragt ob das Problem darin besteht dass der p Wert nicht signifikant ist oder das Design oder die Messung stören. Vielleicht hat die Gruppe zu viele heterogene Merkmale oder die Varianz ist hoch. Die Signifikanz greift hier zu kurz.
Was bedeutet es theoretisch wenn der Effekt vermutet wird aber der p Wert daneben liegt?
Ich will es nicht rein technokratisch erklären Die daten erzählen zwei Geschichten und wie der eine untersucher die Sache sieht hängt davon ab wer sie liest Die Signifikanz ist in dieser Geschichte nur ein Kapitel
Vielleicht lohnt es sich das framing zu wechseln Und statt nach einer klaren Antwort zu suchen fragt man wie robust die Beobachtung ist Lassen sich die Ergebnisse durch andere Modelle erneut stützen
