4.6 Advies
Of je doet het zelf of samen met een partner, zou ik graag twee stukken van advies dat ik in het bijzonder nuttig zijn in mijn eigen werk heb gevonden te bieden. Ten eerste, dat zo veel mogelijk voor alle gegevens zijn verzameld. Dit advies waarschijnlijk lijkt het voor de hand om onderzoekers die gewend zijn aan het uitvoeren van experimenten, maar het is zeer belangrijk voor onderzoekers gewend om te werken met grote gegevensbronnen (zie hoofdstuk 2). Met grote gegevensbronnen het meeste werk gebeurt nadat u de data, maar experimenten zijn het tegenovergestelde; het grootste deel van het werk moet gebeuren voordat u gegevens te verzamelen. Een van de beste manieren om jezelf te dwingen om goed na te denken over uw ontwerp en analyse is het creëren en registreren van een analyse plan voor uw experiment. Gelukkig zijn veel van de best practices voor de analyse van experimentele gegevens zijn geformaliseerd in richtlijnen voor rapportage, en deze richtlijnen zijn een geweldige plek om te beginnen bij het maken van uw analyse plannen (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .
De tweede tip is dat niemand experiment gaat perfect te zijn, en daarom, moet je proberen om een reeks van experimenten die elkaar versterken ontwerpen. Ik heb zelfs gehoord dit omschreven als de armada strategie; in plaats van het proberen om een enorme slagschip te bouwen, kunt u misschien beter bouwkavels van kleinere schepen met complementaire sterke punten. Dergelijke multi-experiment studies zijn routine in de psychologie, maar ze zeldzaam elders. Gelukkig is de lage kosten van bepaalde digitale experimenten maakt dit soort multi-experiment bestudeert gemakkelijker.
Ook zou ik graag twee adviezen die nu minder vaak zijn, maar zijn vooral belangrijk voor het ontwerpen van digitale tijdperk experimenten bieden: maak nul marginale kosten data en ethiek te bouwen in uw ontwerp.
