4.5.1 기존 환경 사용

당신은 종종 코딩 또는 협력하지 않고, 기존의 환경 내에서 실험을 실행할 수 있습니다.

논리적으로 디지털 실험을하는 가장 쉬운 방법은 기존 환경 위에 실험을 오버레이하는 것입니다. 이러한 실험은 합리적으로 대규모로 실행될 수 있으며 회사와의 제휴 또는 광범위한 소프트웨어 개발이 필요하지 않습니다.

예를 들어 Jennifer Doleac과 Luke Stein (2013) 은 인종 차별을 측정 한 실험을 실행하기 위해 Craigslist와 비슷한 온라인 시장을 활용했습니다. 그들은 수천 개의 아이포드를 광고했으며, 판매자의 특성을 체계적으로 변화시킴으로써 경제 거래에 대한 인종의 영향을 연구 할 수있었습니다. 또한, 실험의 규모를 사용하여 효과가 더 큰 시점 (치료 효과의 이질성)을 추정하고 효과가 발생할 수있는 이유에 대한 아이디어 (메커니즘)를 제공했습니다.

Doleac과 Stein의 iPod 광고는 세 가지 주요 측면에서 다양했습니다. 첫째, 연구원은 판매 인의 특성을 다양하게 변화 시켰는데, 이는 아이팟을 들고 촬영 한 손 (흰색, 검은 색, 문신이있는 흰색) (그림 4.13)을 통해 알 수있었습니다. 둘째, 그들은 묻는 가격 [$ 90, $ 110, $ 130]을 다양하게했습니다. 셋째, 광고 문안의 품질을 다양하게했습니다 (고품질 및 저품질 (예 : cApitalization 오류 및 Spelin 오류)). 따라서 저자는 300 개가 넘는 지역 시장 (예 : Kokomo, Indiana 및 North Platte, Nebraska)에서부터 메가 - 메트로폴리탄에 이르기까지 다양한 지역 시장에 배치 된 3 \(\times\) 3 \(\times\) 도시 (예 : 뉴욕과 로스 앤젤레스).

그림 4.13 : Doleac and Stein (2013) 의 실험에 사용 된 손. iPod은 온라인 시장에서 차별을 측정하기 위해 다양한 특성을 가진 판매자에 의해 판매되었습니다. Doleac and Stein (2013) 허가를 받아 재현. 그림 1.

모든 조건에 걸쳐 평균을 취한 결과 검정 판매자보다 백인 판매자가 더 좋았으며 문신을 한 판매자는 중간 결과를 보였습니다. 예를 들어, 백인 판매자는 더 많은 오퍼를 받고 더 높은 최종 판매 가격을가집니다. 이러한 평균 효과 외에도 Doleac과 Stein은 효과의 이질성을 추정했습니다. 예를 들어, 초기 이론의 한 예측은 구매자 간의 경쟁이 더 심한 시장에서 차별이 줄어들 것이라고합니다. 연구자들은 구매자 경쟁의 정도를 측정하기 위해 해당 시장의 오퍼 수를 사용하여 흑인 판매자가 경쟁률이 낮은 시장에서 실제로 더 나쁜 오퍼를 받는다는 사실을 발견했습니다. 또한 Doleac과 Stein은 품질이 좋고 품질이 낮은 텍스트 광고를 비교하여 광고 품질이 흑인 및 문신 판매자의 불이익에 영향을 미치지 않는 것으로 나타났습니다. 마지막으로 300 개가 넘는 시장에 광고가 게재되었다는 사실을 이용하여 범죄율이 높고 주거 분리가 심한 도시에서 흑인 판매가가 더 불리한 것으로 나타났습니다. 이러한 결과는 흑인 판매가가 왜 더 나쁜 결과를 낳았는지에 대한 정확한 이해를 제공하지 못하지만, 다른 연구의 결과와 함께 다양한 유형의 경제적 거래에서 인종 차별의 원인을 이론에 알리기 시작할 수 있습니다.

기존 시스템에서 디지털 필드 실험을 수행 할 수있는 능력을 보여주는 또 다른 예는 Arnout van de Rijt와 동료 (2014) 성공 열쇠입니다. 삶의 많은 측면에서, 비슷한 사람들은 결국 다른 결과로 끝납니다. 이 패턴에 대한 한 가지 가능한 설명은 시간이 지남에 따라 작고 본질적으로 무작위 적 이점이 고정되어 성장할 수 있다는 것인데, 연구자가 누적 이점 이라고 부르는 프로세스입니다. 작은 초기 성공 여부를 결정하기 위해 van de Rijt와 동료 (2014) 는 무작위로 선택한 참가자를 성공으로 이끄는 네 가지 시스템에 개입 한 다음이 임의적 성공의 영향을 측정했습니다.

좀 더 구체적으로, van de Rijt와 동료 (1)는 크라우드 공영 웹 사이트 인 Kickstarter에서 무작위로 선택된 프로젝트에 돈을 맹세했다. (2) 생산 리뷰 웹 사이트 인 Epinions에서 무작위로 선택된 리뷰를 긍정적으로 평가했습니다. (3) Wikipedia에 무작위로 선정 된 공헌자에게 상을 수여했다. (4) change.org에서 무작위로 선출 된 청원서에 서명했다. 그들은 네 가지 시스템 모두에서 매우 유사한 결과를 발견했다 : 각각의 경우에 무작위로 초기 성공을 얻은 참가자는 그렇지 않은 사람들보다 훨씬 더 성공적인 성공을 거두었 다 (그림 4.14). 많은 시스템에서 동일한 패턴이 나타난다는 사실은이 패턴이 특정 시스템의 인공물이라는 가능성을 줄이므로이 결과의 외부 유효성을 증가시킵니다.

그림 4.14 : 네 가지 다른 사회 시스템에서 무작위로 부여 된 성공의 장기적 영향. Arnout van de Rijt와 동료 (2014) (1)는 크라우드의 웹 사이트 인 킥 스타터 (Kickstarter)에서 무작위로 선택된 프로젝트에 돈을 맹세했다. (2) 생산 리뷰 웹 사이트 인 Epinions에서 무작위로 선택된 리뷰를 긍정적으로 평가했습니다. (3) Wikipedia에 무작위로 선정 된 공헌자에게 상을 수여했다. (4) change.org에서 무작위로 선출 된 청원서에 서명했다. Rijt et al. (2014) , 그림 2.

이 두 예는 함께 연구자가 회사와 협력하거나 복잡한 디지털 시스템을 구축 할 필요없이 디지털 필드 실험을 수행 할 수 있음을 보여줍니다. 또한 표 4.2는 연구자가 기존 시스템의 인프라를 사용하여 치료 및 / 또는 결과를 측정 할 때 가능할 수있는 범위를 보여주는 훨씬 많은 예를 제공합니다. 이 실험은 연구자에게 상대적으로 저렴하며 높은 수준의 사실감을 제공합니다. 그러나 연구자는 참가자들, 치료 방법 및 결과에 대해 제한된 통제를 할 수있는 기회를 제공합니다. 또한 한 시스템에서만 수행되는 실험의 경우 연구자는 시스템 별 역학 관계 (예 : Kickstarter가 프로젝트 순위를 매기는 방식 또는 change.org가 탄원을 순위 부여하는 방식과 같은 자세한 효과에 대해 설명 할 필요가 있음) 2 장의 알고리즘 혼란에 대한 논의를 보라). 마지막으로, 연구자가 작업 시스템에 개입하면 참가자, 비 참여자 및 시스템에 발생할 수있는 손해에 대해 까다로운 윤리적 질문이 생깁니다. 우리는 이러한 윤리적 문제를 제 6 장에서 좀 더 자세하게 고찰 할 것이며, van de Rijt 외의 부록에 그것들에 대한 훌륭한 논의가있다. (2014) . 기존 시스템에서 작동하는 절충안은 모든 프로젝트에 이상적인 것은 아니므로 일부 연구자는 다음에 설명 할 것처럼 자체 실험 시스템을 구축합니다.