Ich sitze gerade an meinem ersten größeren Review und frage mich, wie viel Zeit man eigentlich in die Bewertung der Methodik investieren sollte. Bei einem Paper, das ich gerade lese, wirkt der Abschnitt zur Datenerhebung irgendwie zu glatt, fast als ob etwas fehlt. Ich habe das Gefühl, ich müsste viel tiefer graben, um die Validität wirklich beurteilen zu können, aber ich weiß nicht, ob das über das übliche Maß hinausgeht. Wie handhabt ihr das?
Ich gehe beim Review so vor, dass ich zuerst die Kernannahmen der Methodik prüfen will: Was wird gemessen, wie wird gemessen, und welche Grenzen werden explizit genannt. Danach entscheide ich, ob der Text ausreichend Reproduzierbarkeit bietet oder ob Details fehlen, die ich als kritisch ansehen würde. Das gibt mir eine Orientierung, wie viel Zeit ich investieren muss, ohne in endlose Detailfragen zu verfallen.
Zu glatt klingt oft danach, dass etwas weggelassen wurde: Stichproben, Bias, Operationalisierung. Da möchte ich tiefer graben, auch wenn der Rest danach klingt.
Ich schreibe mir Schnipsel auf, was mir beim Lesen auffällt, aber manchmal merke ich erst später, dass mir eine Stelle fehlt. Dann lasse ich es erst mal so laufen.
Vielleicht lohnt es sich eher, die Erzählung der Studie zu prüfen: Welche Konzepte werden dadurch etabliert, welche neuen Fragen öffnet die Datenerhebung, statt sie direkt zu bewerten.
Was, wenn der Fokus auf der Datenerhebung schon die zentrale Idee trägt und der Rest nur Rauschen ist, müsste man das überhaupt so streng prüfen?
