4.6 Rådgivning

Uanset om du gør det selv eller arbejder med en partner, vil jeg gerne tilbyde to gode råd, som jeg har fundet særdeles nyttigt i mit eget arbejde. Først tænker så meget som muligt, før alle data er indsamlet. Dette råd synes sandsynligvis indlysende for forskere vant til at køre eksperimenter, men det er meget vigtigt for forskere vant til at arbejde med store datakilder (se kapitel 2). Med store datakilder meste af arbejdet sker efter at du har data, men eksperimenter er det modsatte; meste af arbejdet skal ske, før du indsamler data. En af de bedste måder at tvinge dig selv til at tænke grundigt over dit design og analyse er at skabe og registrere en analyse plan for dit eksperiment. Heldigvis er mange af de bedste praksis for analyse af eksperimentelle data er blevet formaliseret i retningslinjer for rapportering, og disse retningslinjer er et godt sted at starte, når du opretter din analyse plan (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .

Den anden råd er, at ingen eksperiment vil være perfekt, og på grund af det, bør du prøve at designe en række forsøg, der styrker hinanden. Jeg har endda hørt dette beskrevet som armada strategi; snarere end at forsøge at opbygge en massiv slagskib, kan du være bedre bygning masser af mindre skibe med komplementære styrker. Disse former for multi-eksperiment undersøgelser er rutine i psykologi, men de er sjældne andre steder. Heldigvis de lave omkostninger ved nogle digitale eksperimenter gør den slags multi-eksperiment studerer lettere.

Også, vil jeg gerne tilbyde to gode råd, der er mindre almindeligt nu, men har særlig betydning for design af digitale eksperimenter alder: skabe nul marginale omkostningsdata og bygge etik i dit design.