4.6 조언

스스로 일을하든 파트너와 협력하든, 필자가 내 작업에서 특히 도움이되는 4 가지 조언을 제공하고 싶습니다. 첫 번째 두 가지 조언은 모든 실험에 적용되는 반면 두 번째 두 가지는 디지털 시대 실험에 훨씬 더 구체적입니다.

실험을 할 때 가장 먼저하는 조언은 데이터를 수집하기 전에 가능한 한 생각해야한다는 것입니다. 이것은 아마도 실험을하는 데 익숙한 연구자들에게는 명백한 것처럼 보이지만 큰 데이터 소스 (2 장 참조)로 작업하는 데 익숙한 사람들에게는 매우 중요합니다. 대부분의 작업은 데이터를 수집 한 후에 수행되지만 실험은 반대입니다. 대부분의 작업은 데이터를 수집 하기 전에 수행 해야 합니다. 데이터를 수집하기 전에 신중하게 생각하도록하는 가장 좋은 방법 중 하나는 실험을 수행하기위한 사전 분석 계획을 작성하고 등록하는 것입니다 (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011; Lin and Green 2016) .

두 번째 일반적인 조언은 하나의 실험이 완벽 할 수는 없으며, 그 때문에 서로 강화하는 일련의 실험을 설계하는 것이 좋습니다. 나는 이것을 함대 전략으로 묘사했다. 거대한 전함 하나를 세우려는 것보다 보완적인 힘을 지닌 더 작은 배를 많이 만들어야합니다. 이러한 종류의 다중 실험 연구는 심리학에서 일상적이지만 다른 곳에서는 드뭅니다. 다행히도 일부 디지털 실험의 비용이 적기 때문에 여러 실험을 쉽게 수행 할 수 있습니다.

일반적인 배경을 감안할 때 디지털 시대 실험 설계와 관련하여 다음 두 가지 조언을 제공하고자합니다. 가변 비용 데이터를 생성하지 않고 (4.6.1 절) 설계에 윤리를 구축합니다 (4.6.2 절).