Que vous fassiez des choses vous-même ou que vous travailliez avec un partenaire, j'aimerais offrir quatre conseils que j'ai trouvés particulièrement utiles dans mon propre travail. Les deux premiers conseils s'appliquent à toute expérience, alors que les deux autres sont beaucoup plus spécifiques aux expériences numériques.
Mon premier conseil quand vous faites une expérience est que vous devriez penser autant que possible avant que toute donnée ait été collectée. Cela semble probablement évident pour les chercheurs habitués à faire des expériences, mais il est très important pour ceux qui sont habitués à travailler avec de grandes sources de données (voir chapitre 2). Avec de telles sources, la plupart du travail est effectué après que vous avez les données, mais les expériences sont le contraire: la plupart du travail doit être fait avant de collecter des données. L'une des meilleures façons de vous forcer à réfléchir soigneusement avant de collecter des données est de créer et d'enregistrer un plan de pré-analyse pour votre expérience dans lequel vous décrivez l'analyse que vous allez effectuer (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .
Mon deuxième conseil général est qu'aucune expérience ne sera parfaite et, à cause de cela, vous devriez envisager de concevoir une série d'expériences qui se renforcent mutuellement. J'ai entendu cela décrit comme la stratégie d'armada ; plutôt que d'essayer de construire un cuirassé massif, vous devriez construire beaucoup de petits navires avec des forces complémentaires. Ces types d'études multi-expérimentales sont de routine en psychologie, mais elles sont rares ailleurs. Heureusement, le faible coût de certaines expériences numériques facilite les études multi-expérimentales.
Compte tenu de ce contexte général, j'aimerais maintenant vous proposer deux conseils plus spécifiques à la conception d'expériences numériques: créer des données à coût variable nul (section 4.6.1) et intégrer l'éthique dans votre conception (section 4.6.2).