4.6.1 제로 가변 비용 데이터를 생성

대규모 실험을 실행하는 핵심은 가변 비용을 0으로 만드는 것입니다. 이를 수행하는 가장 좋은 방법은 자동화 및 즐거운 실험을 설계하는 것입니다.

디지털 실험은 비용 구조가 극적으로 다르기 때문에 연구원은 과거에는 불가능했던 실험을 실행할 수 있습니다. 이 차이점에 대해 생각할 수있는 한 가지 방법은 일반적으로 실험에 고정 비용과 가변 비용이라는 두 가지 유형의 비용이 있다는 점입니다. 고정 비용 은 참가자 수에 관계없이 변경되지 않은 비용입니다. 예를 들어, 실험실 실험에서 고정 비용은 공간을 임대하고 가구를 사는 비용 일 수 있습니다. 반면에 변동비 는 참가자 수에 따라 다릅니다. 예를 들어, 실험실 실험에서 변동 비용은 직원과 참가자에게 지불하는 것에서 비롯됩니다. 일반적으로 아날로그 실험은 고정 비용이 적고 가변 비용은 높지만 디지털 실험은 고정 비용이 높고 가변 비용이 적습니다 (그림 4.19). 디지털 실험은 가변 비용이 낮지 만 변동 비용을 0으로 줄이면 많은 흥미 진진한 기회를 창출 할 수 있습니다.

그림 4.19 : 아날로그 및 디지털 실험에서 비용 구조의 도식. 일반적으로 아날로그 실험은 고정 비용이 적고 가변 비용은 높지만 디지털 실험은 고정 비용과 변동 비용이 적습니다. 비용 구조가 다르기 때문에 아날로그 실험에서는 불가능한 규모로 디지털 실험을 실행할 수 있습니다.

직원에 대한 다양한 비용 지불과 참여자에 대한 지불의 두 가지 주요 요소가 있으며, 각각 다른 전략을 사용하여 0으로 유도 할 수 있습니다. 직원에 대한 지불은 연구 보조원이 참가자를 모집하고, 치료를 제공하며 결과를 측정하는 작업에서 유래합니다. 예를 들어 전기 사용에 관한 Schultz와 동료 (2007) 의 아날로그 필드 실험은 연구 보조원이 치료를 제공하고 전기 계량기 (그림 4.3)를 읽기 위해 각 가정으로 이동해야했습니다. 연구 보조원에 의한 이러한 모든 노력은 연구에 새로운 세대를 추가하는 것이 비용을 증가시킬 수 있음을 의미했습니다. 한편, Restivo와 van de Rijt (2012) 가 Wikipedia 편집자에게 수여하는 디지털 필드 실험에서 연구원은 실제로 추가 비용없이 참가자를 추가 할 수있었습니다. 다양한 관리 비용을 줄이기위한 일반적인 전략은 비용이 많이 드는 인적 작업을 컴퓨터 작업으로 대체하는 것입니다 (저렴한 비용). 대략적으로, 당신은 스스로에게 물어볼 수 있습니다 : 연구 팀의 모든 사람들이 잠자고있는 동안이 실험을 실행할 수 있습니까? 대답이 '예'라면 훌륭한 자동화 작업을 수행 한 것입니다.

가변 비용의 두 번째 주요 유형은 참가자에게 지불하는 것입니다. 일부 연구원은 참가자에게 필요한 지불액을 줄이기 위해 Amazon Mechanical Turk 및 기타 온라인 노동 시장을 사용했습니다. 그러나 가변 비용을 0으로 줄이려면 다른 접근 방법이 필요합니다. 오랫동안 연구자들은 너무 지루한 실험을 설계하여 사람들에게 비용을 지불해야 참여할 수있었습니다. 하지만 사람들이 원하는 실험을 만들 수 있다면 어떨까요? 이것은 멀리 들리는 것으로 들릴지 모르지만, 나는 내 자신의 작업에서 아래 예제를 줄 것이고, 표 4.4에 더 많은 예제가있다. 즐거운 실험을 계획하는이 아이디어는보다 즐거운 설문 조사를 설계하는 것에 관한 3 장의 테마와 대량 공동 작업의 디자인에 관한 5 장의 주제를 반영합니다. 따라서 사용자 경험이라고도 불리는 참여자의 즐거움은 디지털 시대의 연구 디자인에서 점점 더 중요한 부분이 될 것이라고 나는 생각한다.

가변 비용 데이터가 0 인 실험을 만들고 싶다면 모든 것이 완전 자동화되고 참가자가 지불 할 필요가 없음을 확인해야합니다. 이것이 가능한지를 보여주기 위해 문화 상품의 성공과 실패에 대한 논문 연구를 설명 할 것입니다.

저의 논문은 문화 상품의 성공이라는 혼란스러운 본질에 의해 동기 부여되었습니다. 히트 곡, 베스트 셀러 도서 및 블록버스터 영화는 평균보다 훨씬 성공적입니다. 이 때문에이 제품의 시장은 흔히 "승자를 압도하는"시장이라고합니다. 그러나 동시에 특정 노래, 책 또는 영화가 성공적으로 재생 될지 예측할 수 없습니다. 시나리오 작가 윌리엄 골드만 (1989) William Goldman (1989) 은 성공을 예측할 때 "아무도 모른다"라고 말함으로써 많은 학술 연구를 우아하게 요약했습니다. 승자를 쥐고있는 모든 시장의 예측 불가능 성은 제가 얼마나 많은 성공이 결과인지 궁금하게 만들었습니다 품질과 운이 얼마나 많은가. 아니면 약간 다르게 표현하면, 평행 세계를 만들어서 그것들을 모두 독자적으로 발전시킬 수 있다면, 같은 노래가 각 세계에서 인기가 있을까요? 그리고 그렇지 않다면 이러한 차이를 유발하는 메커니즘은 무엇일까요?

이 질문에 답하기 위해 Peter Peter Dodds, Duncan Watts (필자의 논문 고문), I-online 일련의 온라인 현장 실험을 수행했습니다. 특히, 우리는 사람들이 새로운 음악을 발견 할 수있는 MusicLab이라는 웹 사이트를 구축했으며, 일련의 실험을 위해 그것을 사용했습니다. 우리는 청소년 관심 웹 사이트 (그림 4.20)에 배너 광고를 실행하고 미디어에서 언급함으로써 참가자를 모집했습니다. 우리 웹 사이트에 도착한 참가자는 정보에 근거한 동의를 제공하고, 간단한 배경 설문지를 작성했으며 무작위로 독립적이고 사회적 영향을 미치는 두 가지 실험 조건 중 하나에 지정되었습니다. 독립적 인 조건에서, 참가자들은 밴드와 노래의 이름 만 주어지면서 듣고 자하는 노래를 결정했습니다. 노래를 듣는 동안 참가자는 노래를 다운로드 할 기회가 있었지만 (의무는 아님) 노래를 평가하도록 요청 받았다. 사회적 영향 상태에서 참가자는 이전 참가자가 각 노래를 몇 번 다운로드 했는지도 알 수 있다는 점을 제외하고는 동일한 경험을했습니다. 게다가 사회적 영향 상태에있는 참가자들은 독립적으로 진화 한 8 개의 평행 세계 중 하나에 무작위로 배정되었다 (그림 4.21). 이 디자인을 사용하여 두 가지 관련 실험을 실행했습니다. 첫 번째로, 우리는 정렬되지 않은 그리드에서 참가자들에게 노래를 발표했습니다. 그리드는 인기가 약한 신호였습니다. 두 번째 실험에서 우리는 순위 목록에있는 노래를 발표했는데, 이는 훨씬 더 강력한 인기 신호를 제공했습니다 (그림 4.22).

그림 4.20 : 동료와 내가 MusicLab 실험 참가자를 모집하는 데 사용한 배너 광고의 예 (Salganik, Dodds, and Watts 2006) . Salganik (2007) 허락을 Salganik (2007) 복제. 그림 2.12.

그림 4.21 : 뮤직 랩 실험을위한 실험 설계 (Salganik, Dodds, and Watts 2006) . 참가자들은 두 가지 조건 중 하나에 무작위로 배정되었습니다 : 독립 및 사회적 영향. 독립적 인 조건의 참가자는 다른 사람들이 한 일에 대한 정보없이 선택을했습니다. 사회적 영향 상태에있는 참가자는 8 개의 평행 세계 중 하나에 무작위로 배정되어 전 세계의 각 노래에 대해 이전 참가자의 다운로드로 측정 된 인기도를 볼 수 있었지만 아무런 정보도 볼 수 없었으며 심지어 다른 세계의 존재에 대해서도 알고 있습니다. Salganik, Dodds, and Watts (2006) , s1에서 발췌.

우리는 노래의 인기가 전 세계에서 다르다는 것을 발견했습니다. 이는 운이 성공에 중요한 역할을한다는 것을 의미합니다. 예를 들어, 한 세계에서 52Metro의 "Lockdown"노래는 48 곡 중 1 위를 차지했으며 다른 세계에서는 40 위를 차지했습니다. 이것은 똑같은 다른 노래와 경쟁하는 똑같은 노래 였지만, 한 나라에서는 운이 좋았고 다른 나라에서는 그렇지 않았습니다. 또한 두 실험의 결과를 비교해 보면 사회적 영향이 이러한 시장의 승자를 잡아 먹는 성격을 높여 주며 이는 기술의 중요성을 시사하는 것으로 나타났습니다. 그러나 세계를 (이 평행 세계 실험의 외부에서 할 수없는) 보았을 때, 우리는 사회적 영향이 실제로 행운의 중요성을 증가시키는 것을 발견했습니다. 또한, 놀랍게도 운이 가장 중요했던 부분이 가장 매력적인 곡이었습니다 (그림 4.23).

그림 4.22 : MusicLab 실험의 사회적 영향 조건의 스크린 샷 (Salganik, Dodds, and Watts 2006) . 실험 1의 사회적 영향 조건에서 노래는 이전 다운로드 횟수와 함께 16 \(\times\) 3 직사각형 그리드로 정렬 된 참가자에게 제시되었으며, 여기서 노래의 위치는 각각에 대해 임의로 할당되었습니다 참가자. 실험 2에서 사회적 영향 조건에 참여한 참가자는 다운로드 횟수가있는 노래를 현재 인기가 높은 순서로 한 열에 표시했습니다.

그림 4.23 : 항소와 성공 간의 관계를 보여주는 MusicLab 실험 결과 (Salganik, Dodds, and Watts 2006) . \(x\) 축은 독립적 인 세계에서의 노래의 시장 점유율이며, 노래의 호소를 측정하는 척도이며, \(y\) 축은 같은 노래의 시장 점유율입니다. 노래의 성공을 측정하는 8 가지 사회 영향 세계. 특히 참가자 1이 실험 1에서 실험 2 (그림 4.22)로 레이아웃을 변경 한 결과 참가자가 경험 한 사회적 영향력이 커짐에 따라 성공 가능성이 높아졌으며, 특히 호소력이 가장 높은 노래의 경우 예측이 어려워졌습니다. Salganik, Dodds, and Watts (2006) , Figure 3에서 발췌.

MusicLab은 설계 방식 때문에 본질적으로 가변적 인 비용으로 실행할 수있었습니다. 첫째, 모든 것이 완전히 자동화되어있어 내가 잠자고있을 때 실행할 수있었습니다. 둘째, 보상은 무료 음악 이었으므로 다양한 참가자 보상 비용이 없었습니다. 음악을 보상으로 사용한다는 것은 고정 비용과 가변 비용간에 때로는 상충 관계가 있음을 보여줍니다. 음악을 사용하면 고정 비용이 증가했습니다. 밴드의 허가를 얻고 음악에 대한 참가자의 반응에 대한 보고서를 준비하는 데 시간을 투자해야했기 때문입니다. 그러나이 경우 변동 비용을 줄이기 위해 고정 비용을 늘리는 것이 옳았습니다. 이것이 표준 실험실 실험보다 약 100 배 큰 실험을 할 수있었습니다.

또한, MusicLab 실험은 가변 비용이 0 일 필요는 없다는 것을 보여줍니다. 오히려 새로운 종류의 실험을 실행하는 수단이 될 수 있습니다. 우리는 모든 참가자를 표준 사회 영향 실험실 실험에 100 번 사용하지 않았습니다. 대신, 우리는 당신이 심리적 실험에서 사회 학적 연구로 전환하는 것으로 생각할 수있는 다른 것을했습니다 (Hedström 2006) . 개인의 의사 결정에 초점을 맞추기보다는 실험을 집단적 결과 인 인기에 집중 시켰습니다. 집합적인 결과로의 전환은 단일 데이터 포인트를 생성하기 위해 약 700 명의 참가자가 필요하다는 것을 의미했습니다 (각 병렬 세계에 700 명의 사람들이있었습니다). 그 규모는 실험의 비용 구조 때문에 가능했습니다. 일반적으로 연구자가 집단적 결과가 개별 결정에서 어떻게 발생하는지 연구하기를 원한다면 MusicLab과 같은 그룹 실험은 매우 흥미 롭습니다. 과거에는 논리적으로 어려웠지만 가변 비용 데이터가 0 일 가능성이 있기 때문에 이러한 어려움은 사라지고 있습니다.

가변 비용 데이터가 전혀없는 이점을 보여주는 것 외에도 MusicLab 실험은 높은 고정 비용이라는이 접근 방식에 대한 도전 과제를 제시합니다. 필자의 경우 필자는 Peter Hausel이라는 재능있는 웹 개발자와 약 6 개월 동안 함께 실험을 할 수있어서 매우 운이 좋았다. 내 고문 인 Duncan Watts가 이런 종류의 연구를 지원하기 위해 많은 보조금을 받았기 때문에 가능했습니다. 2004 년에 MusicLab을 구축 한 이래로 기술이 향상되었으므로 지금과 같은 실험을 훨씬 쉽게 만들 수 있습니다. 그러나 높은 고정비 전략은 실제로 그러한 비용을 어떻게 든 감당할 수있는 연구원에게만 가능합니다.

결론적으로 디지털 실험은 아날로그 실험보다 비용 구조가 크게 다를 수 있습니다. 정말로 큰 실험을 실행하려면 가능한 한 가변 비용을 줄이고 이상적으로는 0으로 줄여야합니다. 실험의 역학을 자동화하여 (예 : 인간 시간을 컴퓨터 시간으로 대체), 사람들이 원하는 실험을 설계하십시오. 이러한 기능으로 실험을 설계 할 수있는 연구원은 다음과 같은 새로운 종류의 실험을 실행할 수 있습니다. 과거에는 불가능했다. 그러나 가변 비용 실험을 전혀 만들지 않으면 새로운 윤리적 질문을 제기 할 수 있습니다. 주제에 대해 지금 다루겠습니다.