4.3 эксперименттер екі өлшемдері: зертханалық-далалық және аналогтық-цифрлық

Lab эксперименттер бақылауды ұсынады, далалық эксперименттер реализм ұсынамыз, және сандық далалық эксперименттер ауқымдағы бақылау және реализм біріктіреді.

Эксперименттер көптеген әр түрлі нысандары мен мөлшерін келеді. Бірақ, бұл айырмашылықтар қарамастан, зерттеушілер зертханалық эксперименттер және далалық эксперименттер арасындағы континуума бойымен эксперименттер ұйымдастыруға пайдалы тапты. Енді, алайда, сондай-ақ, зерттеушілер аналогтық және цифрлық эксперименттер эксперименттер арасындағы континуума бойымен эксперименттер ұйымдастыру қажет. Бұл екі өлшемді жобалау ғарыш сіз түрлі тәсілдерді күшті және әлсіз жақтарын түсіну және ең үлкен мүмкіндіктер (сурет 4.1) бағыттарын ұсынамыз көмектеседі.

4.1-сурет: эксперименттер үшін жобалық кеңістігін принциптік. Өткен жылы, эксперименттер зертханалық-далалық өлшем бойымен құбылып. Енді, олар сондай-ақ аналогты-сандық өлшем жөніндегі өзгереді. Менің ойымша, ең үлкен мүмкіндіктер алаңы сандық далалық эксперименттер болып табылады.

Өткен жылы, зерттеушілер эксперименттер ұйымдастырылған басты жолы зертханалық-далалық өлшем бойымен болды. Әлеуметтік ғылымдар эксперименттер көпшілігі бакалавриат студенттері Әрине несие үшін зертханада біртүрлі тапсырмаларды орындау зертханалық эксперименттер болып табылады. әлеуметтік мінез-құлық туралы өте нақты теориялар тексеру үшін арналған өте нақты емдеу құруға зерттеушілер береді, өйткені эксперимент бұл түрі психология зерттеулер басым. белгілі бір проблемалар үшін, алайда, бір нәрсе, мұндай ерекше параметріне осындай ерекше тапсырмаларды орындау, осындай ерекше адамдардың адами мінез-құлық туралы мықты тұжырым туралы аздап біртүрлі сезінеді. Бұл мәселелер далалық эксперименттер қарай қозғалыс әкелді. Далалық эксперименттер көп табиғи параметрлерінде, одан жалпы тапсырмаларды орындау, қатысушылардың көп өкілі топтарымен кездейсоқ бақылау эксперименттер күшті дизайнын біріктіреді.

Кейбір адамдар бәсекелес әдістері сияқты зертханалық және далалық тәжірибелер ойлаймын да, ол әр түрлі күшті және әлсіз жақтарын бар толықтыратын әдістері сияқты олардың ойлауға ең үздік болып табылады. Мысалы, Correll, Benard, and Paik (2007) көздерін табуға әрекет зертханалық эксперимент және далалық эксперимент ретінде пайдаланылатын «ана жаза». АҚШ-та, ана баласыз әйелдерге қарағанда аз ақша табу, тіпті ұқсас дағдылары ұқсас жұмыстарда жұмыс істейтін әйелдер салыстыру. Бұл үлгі үшін көптеген ықтимал түсініктемелер бар, және бір жұмыс берушілер аналарға дубеждением болып табылады. (Бір қызығы, керісінше, ата-бабаларымыздың үшін шынайы болып көрінеді: олар салыстырмалы баласыз ерлерге қарағанда көп табыс табуға бейім). зертханада бір және саласындағы бір: аналар қарсы ықтимал қайсысына бағалау мақсатында, Correll мен әріптестер екі эксперименттер жүгірді.

Біріншіден, зертханалық эксперимент Correll және әріптестер Калифорния негізделген стартап байланыс компаниясы өзінің жаңа East Coast маркетинг бөлімі әкеледі адамның еңбек іздеу жүргізу екенін, колледж магистранттары кім болды, әңгімелеп берді. Оқушылар компаниясы жалдау процесінде олардың көмек қалайтынын айтты, және олар бірнеше әлеуетті кандидаттардың түйіндемелерін қарау және осындай олардың барлау, жылулық және жұмысқа міндеттеме ретінде өлшемдері бірқатар кандидаттарды бағалау ұсынылды. олар өтініш берушіге және не олар бастапқы жалақы ретінде ұсынар еді жалдау ұсыныс еді Сонымен қатар, егер студент сұрақ қойылды. студенттерге Сөйтсем, алайда, түйіндеме арнайы бір нәрсе қоспағанда ұқсас болуға салынды: түйіндеме кейбір (а ата-аналар қауымдастығының қатысуын листинг бойынша) ана сигналы және кейбір жоқ. Correll студенттер аналарды жалдау ұсынамыз аз ықтималдықпен болды және оларға төмен бастапқы жалақысы ұсынды, бұл табылған. Әрі қарай, рейтингтер және жалдау байланысты шешімдер де статистикалық талдау арқылы, Correll ана кемшіліктері негізінен ана құзыреті және міндеттеме тұрғысынан төмен бағаланды түсіндіріледі деп тапты. Басқаша айтқанда, бұл Correll қасиеттер ана жағдайсыз ол арқылы тетігі болып табылады дейді. Осылайша, бұл зертханалық эксперимент Correll мен әріптестер себеп-салдарлық әсер өлшеу және осы әсері үшін ықтимал түсініктеме қамтамасыз етуге мүмкіндік берді.

Әрине, бір бәлкім толық уақытты жұмысынан ешқашан болған емес бірнеше жүз магистранттардың шешімдерінің негізінде бүкіл АҚШ еңбек нарығының туралы қорытындылар күмәнмен болуы, айтпағанның адам жалдады мүмкін. Сондықтан, Correll мен әріптестер, сондай-ақ қосымша далалық эксперимент өткізілді. зерттеушілер жалған жолдама және түйіндеме жіберу арқылы жарнамаланатын бос жүздеген жауап берді. магистранттарға көрсетілген материалдарға ұқсас, кейбір түйіндеме ана сигналы және кейбір жоқ. Correll мен әріптестер ана бірдей бағаланған баласыз әйелдерге қарағанда сұхбат үшін кері деп аталады алуға кем ықтимал деп табылды. Басқаша айтқанда, табиғи параметріне кейінгі шешімдерді қабылдау нақты жұмыс берушілер көп магистранттардың сияқты мінез. олар сол себепті осындай шешiмдер қабылдауға бе? Өкінішке орай, біз білмейміз. зерттеушілер кандидаттарды бағалау немесе олардың шешімдерін түсіндіруге берушілерді сұрауға алмады.

эксперименттер Бұл жұп, жалпы зертханалық және далалық эксперименттер туралы көп көрсетеді. Lab эксперименттер қатысушылар шешім қабылдау, олардың қоршаған ортаға жалпы бақылау жанында зерттеушілерді ұсынамыз. Сондықтан, мысалы, зертханалық эксперимент, Correll барлық түйіндеме тыныш оқылды қамтамасыз ету мүмкіндігіне ие болды; далалық эксперимент, резюме кейбіреулері тіпті оқыды болуы мүмкін. зертханалық параметрі қатысушылар олар оқыған жатқанын білеміз, өйткені, бұдан әрі,, зерттеушілер жиі қатысушылар өз шешімдерін қабылдау неге оларды түсінуге көмектеседі қосымша деректерді жинау мүмкіндігі бар. Мысалы, Correll түрлі өлшемдер бойынша кандидаттарды бағалау зертханалық эксперимент қатысушыларға сұрады. Процесс деректерді Мұндай зерттеушілер қатысушылар түйіндемелерін емдеуге қалай айырмашылықтарды артта механизмдерін түсінуге көмектесуі мүмкін.

Екінші жағынан, Мен жай ғана артықшылығы ретінде сипатталған бұл дәл сол сипаттамалары, сондай-ақ кейде кемшіліктері қарастырылады. далалық эксперименттер қалайды Зерттеушілер олар тығыз байқалады жатқанда зертханалық эксперименттер қатысушылар өте басқаша әрекет алар еді деп мәлімдейді. жүзді пайда ретінде емес, сондықтан, мысалы, зертханалық эксперимент қатысушылар зерттеулердің мақсатына сұраса және олардың мінез-өзгертті болуы мүмкін. Әрі қарай, далалық эксперименттер қалайды зерттеушілер түйіндеме шағын айырмашылықтар тек өте таза, стерильді зертханалық ортада ерекшелену мүмкін деп мәлімдейді мүмкін, және, осылайша, зертханалық эксперимент нақты жалдау шешімдер туралы ана әсер артық бағалауға болады. Негізінен Білімді Батыс студенттері, өнеркәсіптік, Бай және демократиялық елдер: Соңында, далалық көптеген эксперименттер бастамашылары Оғаш қатысушылар зертханалық эксперименттер тәуелділікті сынға (Henrich, Heine, and Norenzayan 2010) . Correll және әріптестерімен эксперименттер (2007) зертханалық-далалық үздіксіз екі шектен суреттейді. Осы екі шектен арасындағы мұндай зертхана ішіне емес студенттерді тарту немесе өрісіне бара бірақ әлі қатысушылар ерекше тапсырманы орындау бар тәсілдерін қоса алғанда гибридті конструкцияларын түрлі бар.

Аналогты-сандық: өткен бері бар зертханалық-далалық өлшем Сонымен қатар, сандық жасы зерттеушілер қазір эксперименттер әр түрлі болуы мүмкін, оның бойымен екінші ірі өлшемі бар екендігін білдіреді. таза зертханалық эксперименттер, таза далалық эксперименттер, және олардың арасындағы будандардың түрлі бар сияқты, таза аналогтық эксперименттер, таза сандық эксперименттер, мен будандардың түрлі бар. Бұл өлшем ресми анықтамасын ұсынуға қиын, бірақ пайдалы жұмыс анықтау толығымен сандық эксперименттер сандық инфрақұрылымды пайдалануды, қатысушыларды жалдауға кездейсоқ, емдеу, жеткізуге және нәтижелерін өлшеуге мүмкіндік эксперименттер болып табылады. Мысалы, Restivo және Ван де Rijt ның (2012) , бұл қадамдардың барлығы төрт сандық жүйелерін пайдаланылған, өйткені barnstars және Уикипедия зерттеу толық сандық эксперимент болды. Сол сияқты толық аналогтық эксперименттер осы төрт қадамдар кез келген сандық инфрақұрылымды пайдалана емес, эксперименттер болып табылады. психология классикалық көптеген эксперименттер аналогтық эксперименттер болып табылады. Осы екі шектен арасындағы төрт қадамдар үшін аналогты және сандық жүйелерді комбинациясын пайдалануға ішінара сандық эксперименттер бар.

Сыни, сандық эксперименттер іске қосу үшін мүмкіндіктер ғана онлайн емес. Зерттеушілер ем немесе шара нәтижелерді жеткізу мақсатында дене әлемде сандық құрылғыларды пайдалану арқылы ішінара сандық эксперименттер іске қосуға болады. Мысалы, зерттеушілер нәтижелерін өлшеуге салынған ортада емдеу немесе сенсорларды жеткізуге смартфондар пайдалана алар еді. Шын мәнінде, біз кейінірек осы тарауда көресіз ретінде зерттеушілер қазірдің өзінде әлеуметтік нормалар мен үй шаруашылықтарының 8,5 млн қатысуымен энергия тұтынудың туралы эксперименттер нәтижелерін өлшеуге үйге электр метр пайдаланды (Allcott 2015) . сандық құрылғылар барған салынған қоршаған ортаға біріктірілген айналды халық өмірі мен сенсорлар біріктірілген болып, физикалық әлемде ішінара сандық эксперименттер іске қосу үшін осы мүмкіндіктер күрт артады. Басқаша айтқанда, сандық эксперименттер ғана онлайн эксперименттер емес.

Сандық жүйелер зертханалық-далалық үздіксіз бойымен барлық жерде эксперименттер үшін жаңа мүмкіндіктер жасау. таза зертханалық эксперименттер, мысалы, зерттеушілер қатысушылардың мінез-жұқа өлшеу үшін сандық жүйелерін пайдалана аласыз; жақсартылған өлшеу осы түріне бір мысал көзқараспен жері дәл және үздіксіз шараларды қамтамасыз етеді Көз-қадағалау жабдықтар болып табылады. Сандық жасы, сондай-ақ онлайн зертханалық сияқты эксперименттер іске қосу үшін мүмкіндік жасайды. Мысалы, зерттеушілер тез онлайн эксперименттер (сурет 4.2) үшін қатысушыларды тартуға Amazon механикалық қаламынан түркі (MTurk) қабылдады. MTurk ақшаға сол тапсырмаларды орындау үшін тілеймін «қызметкерлерінің» аяқталды қажет міндеттер тұр «жұмыс» сәйкес келеді. Дәстүрлі еңбек нарықтарында қарағанда, алайда, әдетте, жұмылдырылған тапсырмалар ғана аяқтау үшін бірнеше минут қажет етеді және жұмыс беруші мен қызметкер арасында өзара іс-қимыл бүкіл виртуалды болып табылады. еркін, бұл, әрине, эксперименттер жекелеген түрлері үшін қолайлы, олар емес еді тапсырмаларды орындау үшін адамдарды дәстүрлі зертханалық-төлеу тәжірибелер MTurk ұқсайтын аспектілері Себебі. Шын мәнінде, MTurk қатысушылар-рекрутинг пулын басқару және төлеу үшін инфрақұрылымды құрды адам-мен зерттеушілер қатысушылардың әрқашан қол жетімді хауызға түсіретін түртіңіз деп инфрақұрылымын пайдаланғанымызды.

Сурет 4.2: Баяндамалар Amazon Механикалық Тюркпен (MTurk) деректерді пайдалана отырып, жарияланған (Bohannon 2016) . MTurk жəне басқа да онлайн еңбек нарықтары зерттеушілерге эксперименттер үшін қатысушыларды тартуға ыңғайлы жолын ұсынады.

Сандық эксперименттер далалық сияқты эксперименттер үшін одан да мүмкіндіктер жасайды. Сандық далалық эксперименттер (зертханалық эксперименттер сияқты) ықтимал тетіктерін және (далалық эксперименттер сияқты) табиғи ортада нақты шешімдер қабылдау астам түрлі қатысушыларды түсіну қатаң бақылау және процесс деректерді ұсына алады. бұрын эксперименттер жақсы сипаттамаларын осы үйлесімі Сонымен қатар, сандық далалық эксперименттер, сондай-ақ, аналогтық зертханалық және далалық тәжірибелерде қиын болды, үш мүмкіндіктерді ұсынады.

Біріншіден, ең аналогтық зертханалық және далалық эксперименттер қатысушылардың жүздеген бар, ал сандық далалық эксперименттер қатысушылардың миллиондаған болуы мүмкін. Кейбір сандық эксперименттер нөлдік айнымалы құн бойынша деректерді шығара алады, өйткені ауқымда Бұл өзгеріс болып табылады. зерттеушілер қатысушылар саны, әдетте, құнын ұлғайту емес, өсіп, эксперименттік инфрақұрылым құрдық бір рет, яғни. 100 немесе одан да көп есе қатысушылардың санын арттыру ғана сандық өзгерту болып табылады, ол эксперименттер (мысалы, емдеу гетерогенді) өзгеше заттарды білу үшін зерттеушілер береді, өйткені, ол сапалық өзгерісі болып табылады және толығымен түрлі эксперименттік конструкцияларды іске ( мысалы, үлкен тобы эксперименттер). Бұл нүкте Мен сандық эксперименттер жасау туралы кеңес ұсынады кезде мен тараудың соңында оған қайтып аласыз, сондықтан маңызды болып табылады.

Екіншіден, ең аналогтық зертханалық және далалық эксперименттер Түсініксіз виджеттерді ретінде қатысушыларды емдеуге, ал сандық далалық эксперименттер жиі зерттеудің жобалау және талдау сатыларында қатысушылар туралы анықтамалық ақпаратты пайдаланады. Олар толығымен өлшенген орталарда өтеді, өйткені алдын ала емдеу ақпарат деп аталады Бұл фондық ақпарат, сандық эксперимент жиі қол жетімді. Мысалы, Facebook кезінде зерттеуші магистранттармен стандартты зертханалық эксперимент жобалау зерттеуші қарағанда әлдеқайда алдын-ала емдеу ақпарат бар. Бұл алдын-ала емдеу ақпараттық Түсініксіз виджеттерді ретінде қатысушыларды емдеу шеңберінен шығып зерттеушілер мүмкіндік береді. Нақтырақ айтқанда, алдын-ала емдеу ақпарат бұғаттау ретінде тиімдірек эксперименттік осындай конструкцияларды-мүмкіндік береді (Higgins, Sävje, and Sekhon 2016) және қатысушылардың нысаналы (Eckles, Kizilcec, and Bakshy 2016) көп көреген талдау-осындай гетерогенді бағалау ретінде күйге ұшырайды емдеу әсерлерін (Athey and Imbens 2016a) және жақсартылған дәлдік үшін коварианта түзету (Bloniarz et al. 2016) .

Көптеген аналогтық зертханалық және далалық эксперименттер уақыт салыстырмалы қысылған мөлшерде емдеу және шара нәтижелерін жеткізеді, ал үшінші, кейбір сандық далалық эксперименттер уақыт ішінде берілуі мүмкін және әсерлер, сондай-ақ ұзақ уақыт бойы өлшенуі мүмкін емдеу тарту. Мысалы, Restivo және Ван де Rijt берушінің эксперимент 90 күн бойы күніне өлшенеді қорытындыларын бар, және тәжірибелердің бірі Мен туралы кейінірек айтып береміз тарауда (Ferraro, Miranda, and Price 2011) жоқ негізінен 3 жылда нәтижелерін қадағалап құны. Бұл үш мүмкіндіктер өлшемді, алдын-ала емдеу ақпарат және эксперименттер өлшеу жүйелерін әрдайым бойынша жоғарғы іске қосылғанда бойлық емдеу және нәтижесі ең көп тараған деректер-бар (әрқашан бойынша өлшеу жүйелері туралы толығырақ 2-тарау қараңыз).

Сандық далалық эксперименттер көптеген мүмкіндіктер ұсынады, олар сондай-ақ аналогтық зертханада және далалық эксперименттер де кейбір әлсіз жақтарын бөліседі. Мысалы, эксперименттер өткенді зерделеу үшін пайдаланылуы мүмкін емес, және олар тек басқаруға болады емдеу әсерін бағалауға болады. Эксперименттер саясатын жүргізу үшін сөзсіз пайдалы, бірақ сондай-ақ, олар ұсына алады нақты нұсқаулар, өйткені мұндай қоршаған ортаны тәуелділік сияқты асқынулар, комплаенс проблемалары және тепе-теңдік әсерлердің бірнеше шектелген (Banerjee and Duflo 2009; Deaton 2010) . Соңында, сандық далалық эксперименттер далалық эксперимент арқылы жасалған этикалық алаңдаушылық үлкейту. далалық тәжірибелер Жақтастары білінбей және кездейсоқ адамдардың миллиондаған жасалған жанама шешімдер араласуға, олардың қабілетін байқаудамыз. Бұл мүмкіндіктер белгілі бір ғылыми артықшылықтар ұсынады, бірақ олар сондай-ақ (зерттеушілер жаппай шкала бойынша «зертханалық егеуқұйрықтардың» сияқты адамдарды емдеу-ақ бұл туралы не ойлайсыз) далалық тәжірибелер этикалық күрделі жасауға болады. (Restivo және ван дер Rijt тым көп barnstars берсе, мысалы, Уикипедияның марапат жүйесін бұзатын алаңдаушылық), бұдан әрі, өйткені олардың шкала қатысушыларға ықтимал қоздырғыштарынан, сандық далалық эксперименттер, қосымша, сондай-ақ, әлеуметтік жүйелерді жұмыс бұзылуы алаңдаушылық көтере алады .