4.6 Beratung

Egal, ob Sie selbst oder mit einem Partner arbeiten, ich möchte Ihnen vier Ratschläge anbieten, die ich bei meiner eigenen Arbeit als besonders hilfreich empfunden habe. Die ersten beiden Ratschläge gelten für jedes Experiment, während die zweiten beiden für Experimente im digitalen Zeitalter viel spezifischer sind.

Mein erster Ratschlag, wenn Sie ein Experiment machen, ist, dass Sie so viel wie möglich überlegen sollten, bevor irgendwelche Daten gesammelt wurden. Dies ist für diejenigen, die mit Experimenten vertraut sind, wahrscheinlich offensichtlich, aber für diejenigen, die es gewohnt sind, mit großen Datenquellen zu arbeiten, ist dies sehr wichtig (siehe Kapitel 2). Bei solchen Quellen wird der Großteil der Arbeit erledigt, nachdem Sie die Daten vorliegen haben, aber die Experimente sind genau umgekehrt: Die meiste Arbeit sollte getan werden, bevor Sie Daten sammeln. Eine der besten Methoden, um sich zu überlegen, bevor Sie Daten sammeln, besteht darin, einen Voranalyseplan für Ihr Experiment zu erstellen und zu registrieren, in dem Sie die von Ihnen durchgeführte Analyse beschreiben (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .

Mein zweiter allgemeiner Rat ist, dass kein einzelnes Experiment perfekt sein wird, und deswegen sollten Sie eine Reihe von Experimenten entwerfen, die sich gegenseitig verstärken. Ich habe das als die Armada-Strategie beschrieben ; anstatt zu versuchen, ein massives Schlachtschiff zu bauen, solltest du viele kleinere Schiffe mit komplementären Stärken bauen. Diese Art von Multi-Experiment-Studien sind Routine in der Psychologie, aber sie sind anderswo selten. Glücklicherweise machen die geringen Kosten einiger digitaler Experimente Studien mit mehreren Experimenten einfacher.

Angesichts dieses allgemeinen Hintergrunds möchte ich nun zwei Ratschläge anbieten, die spezifischer für die Entwicklung digitaler Zeitalter sind: Erstellen Sie keine variablen Daten (Abschnitt 4.6.1) und bauen Sie Ethik in Ihr Design ein (Abschnitt 4.6.2).