4.3 երկու չափումներում փորձերի: Lab-դաշտային եւ անալոգային, թվային

Lab փորձարկումները առաջարկում վերահսկողությունը, դաշտային փորձարկումները առաջարկում ռեալիզմի, եւ թվային դաշտային փորձեր համատեղել վերահսկողության եւ ռեալիզմի մասշտաբով:

Փորձարկումները գալիս են տարբեր ձեւավորում եւ չափերի. Սակայն, չնայած այս տարբերություններին, հետազոտողները գտել, որ այն օգտակար է կազմակերպել փորձարկումներ միասին մի continuum միջեւ լաբորատոր փորձերի եւ դաշտային փորձերի: Այժմ, սակայն, հետազոտողները պետք է նաեւ կազմակերպել փորձարկումներ երկայնքով continuum միջեւ անալոգային փորձերի եւ թվային փորձերի: Այս երկու ծավալային Դիզայն տարածք կօգնի ձեզ հասկանալ, թե ուժեղ եւ թույլ կողմերը տարբեր մոտեցումների եւ առաջարկել ոլորտները մեծագույն հնարավորությունից (Գծապատկեր 4.1).

Գծապատկեր 4.1: սխեմատիկ դիզայնի տարածքի փորձերի: Անցյալում, փորձարկումները բազմազան երկայնքով Lab դաշտային հարթություն. Այժմ նրանք նաեւ տարբեր լինել, որ անալոգային թվային հարթություն. Իմ կարծիքով, տարածքը մեծագույն հնարավորությունից թվային դաշտային փորձարկումները:

Անցյալում, հիմնական ճանապարհը, որ հետազոտողները կազմակերպվել փորձեր էր երկայնքով Lab դաշտային հարթություն. Մեծամասնությունը փորձերի սոցիալական գիտությունների են լաբորատոր փորձեր, որտեղ կուրսերի ուսանողները կատարել տարօրինակ խնդիրներ է լաբորատորիայում, իհարկե վարկի. Այս տեսակի փորձարկմամբ գերիշխում հետազոտություն հոգեբանության, քանի որ այն հնարավորություն է տալիս հետազոտողներին ստեղծել շատ կոնկրետ բուժում նախագծված է փորձարկել շատ կոնկրետ տեսությունները սոցիալական վարքագծի. Որոշակի խնդիրներ կան, սակայն, ինչ-որ բան զգում, մի քիչ տարօրինակ է նկարելուց ուժեղ եզրակացություններ մարդկային վարքագծի նման անսովոր մարդկանց իրականացնող այնպիսի անսովոր խնդիրները նման անսովոր ընդլայնված. Այս մտահոգությունները հանգեցրել է շարժմանը դեպի դաշտային փորձերի: Դաշտային փորձարկումները համատեղել ուժեղ դիզայնը randomized վերահսկողության փորձերի հետ ավելի ներկայացուցչական խմբերի մասնակիցների կատարմամբ ավելի ընդհանուր խնդիրները, ավելի բնական պարամետրերը:

Չնայած նրան, որ որոշ մարդիկ կարծում են, լաբորատոր եւ դաշտային փորձերի, ինչպես նաեւ մրցակցում մեթոդները, դա լավ է մտածել, նրանց որպես լրացուցիչ մեթոդներ տարբեր ուժեղ եւ թույլ կողմերը: Օրինակ, Correll, Benard, and Paik (2007) , որն օգտագործվում է թե սրահից գիտափորձը եւ դաշտային փորձ է `փորձելով գտնել աղբյուրները« Մայրության տուգանքի. «Միացյալ Նահանգներում, մայրեր վաստակում ավելի քիչ գումար, քան անզավակ կանանց, նույնիսկ այն ժամանակ, երբ համեմատելով կանայք նմանատիպ հմտություններ աշխատող նմանատիպ աշխատատեղեր. Կան բազմաթիվ հավանական բացատրությունները այս օրինակին, եւ մեկը այն է, որ գործատուները նկատմամբ անարդար են մայրերին: (Հետաքրքիր է, որ հակառակ, կարծես թե ճիշտ է հայրերի նրանք հակված են վաստակում է ավելի քան համադրելի անզավակ տղամարդկանց). Որպեսզի գնահատելու հնարավոր կողմնակալություն դեմ մայրերի, Correll եւ գործընկերները վազեց երկու փորձեր մեկը լաբորատորիայում եւ մեկը ոլորտում:

Նախ, մի լաբորատոր փորձարկմամբ Correll եւ գործընկերները պատմեց մասնակիցներին, ովքեր էին քոլեջի ուսանողներին, որ Կալիֆորնիայի վրա հիմնված սկսնակ Communications ընկերությունը վարում աշխատանքային որոնման համար անձի հանգեցնել իր նոր East Coast մարկետինգի բաժին: Ուսանողները հայտնել են, որ ընկերությունը ցանկանում է իր օգնություն ընդունելու գործընթացում, եւ նրանք խնդրել են վերանայել ռեզյումե մի քանի պոտենցիալ թեկնածուների եւ գնահատում այն ​​թեկնածուներին, մի շարք հարթություններում, ինչպիսիք են իրենց հետախուզության, ջերմությամբ ու նվիրվածությամբ աշխատելու: Բացի այդ, ուսանողները խնդրել են, եթե նրանք խորհուրդ են տալիս վարձում է հայտատուին եւ ինչ նրանք խորհուրդ են տալիս `որպես մեկնարկային աշխատավարձով: Unbeknownst է ուսանողներին, սակայն, ռեզումեներ էին, մասնավորապես, կառուցվել է նման, բացի մեկ բան: որոշ ռեզյումեների ազդանշան մայրությունը (թվարկելով ներգրավվածությունը ծնող-ուսուցիչ ասոցիացիա) եւ ոմանք դա չեն արել: Correll գտել է, որ ուսանողները քիչ հավանական է խորհուրդ են տալիս վարձում մայրերին եւ առաջարկել նրանց ցածր մեկնարկային աշխատավարձը: Բացի այդ, միջոցով վիճակագրական վերլուծության, այնպես էլ վարկանիշների եւ ընդունման հետ կապված որոշումների, Correll գտել է, որ մայրերի թերությունները հիմնականում բացատրվում է այն հանգամանքով, որ մայրերն էին գնահատել ստորին առումով իրավասության եւ նվիրվածությամբ: Այլ կերպ ասած, Correll պնդում է, որ այդ հատկություններ են մեխանիզմ, որի միջոցով մայրերը անբարենպաստ: Այսպիսով, այս Lab փորձարարություն թույլատրվում Correll եւ գործընկերներին չափել պատճառահետեւանքային ազդեցություն եւ ապահովել հնարավոր բացատրություն այդ ուժի:

Իհարկե, կարելի է լինել, թերահավատորեն եզրակացություններ մասին ողջ ԱՄՆ-ի աշխատաշուկայում հիման վրա որոշումների մի քանի հարյուր կուրսի ովքեր, հավանաբար, երբեք չի ունեցել լրիվ դրույքով աշխատանք, չխոսելով վարձու մարդկանց: Հետեւաբար, Correll եւ գործընկերները նույնպես իրականացրել է կոմպլեմենտար դաշտային գիտափորձը. Հետազոտողները արձագանքել հարյուրավոր գովազդվող աշխատատեղերի բացումներ ուղարկելով կեղծ կափարիչը նամակներ եւ ռեզյումեներ: Նմանատիպ նյութերի ցուցադրած է կուրսի, որոշ ռեզումեներ ազդանշան Մայրության եւ ոմանք դա չեն արել: Correll եւ գործընկերները պարզել են, որ մայրերը ավելի քիչ հավանական է ստանալ կոչ է արել ետ հարցազրույցների քան հավասարապես որակյալ անզավակ կանանց. Այլ կերպ ասած, իրական գործատուները making հետեւանքային որոշումները բնական ընդլայնված իրեն պահում է շատ նման կուրսի: Արդյոք նրանք կատարել նմանատիպ որոշումներ կայացնել նույն պատճառով. Ցավոք սրտի, մենք չգիտենք: Հետազոտողները չէին կարողանում է հարցնել գործատուներին գնահատում թեկնածուներին կամ բացատրել են որոշումներ ընդունել:

Այս զույգը փորձերի մասին շատ բացահայտում լաբորատոր եւ դաշտային փորձերի ընդհանրապես. Lab փորձարկումները առաջարկում հետազոտողների մոտ տոտալ վերահսկողության շրջակա միջավայրի, որի մասնակիցները որոշումներ կայացնող. Այնպես որ, օրինակ, լաբորատոր փորձարկմամբ, Correll կարողացել է ապահովել, որ բոլոր ռեզյումեները են կարդացել հանգիստ ընդլայնված; ի դաշտային փորձի որոշ ռեզյումեների կարող է նույնիսկ եղել կարդացել: Բացի այդ, քանի որ մասնակիցները լաբորատոր ընդլայնված գիտեն, որ իրենք են սովորել, հետազոտողները հաճախ են կարողանում է հավաքել լրացուցիչ տվյալներ, որոնք կարող են օգնել նրանց հասկանալ, թե ինչու մասնակիցները կատարում են իրենց որոշումները: Օրինակ, Correll մասնակիցներին խնդրել են լաբորատոր փորձարկմամբ գնահատում թեկնածուների տարբեր հարթություններում: Այս տեսակ գործընթացի տվյալների կարող է օգնել հետազոտողները հասկանալ այն մեխանիզմները ետեւում տարբերությունները, ինչպես մասնակիցներն վերաբերվում վերականգնվում է:

Սակայն, մյուս կողմից, այդ ճիշտ նույն հատկանիշները, որոնք ես նկարագրում է որպես առավելությունների նույնպես երբեմն համարվում թերությունները: Հետազոտողները, ովքեր նախընտրում դաշտային փորձարկումներ պնդում են, որ մասնակիցները լաբորատոր փորձերի կարող է գործել շատ տարբեր է, երբ նրանք են սերտորեն նկատվում: Օրինակ, լաբորատորիայում փորձ մասնակիցները կարող guessed նպատակին հետազոտության եւ փոփոխվել իրենց վարքագիծը, այնպես, ինչպես չեն հայտնվել կողմնակալ: Բացի այդ, հետազոտողները, ովքեր նախընտրում դաշտային փորձարկումներ կարող են պնդել, որ փոքր տարբերությունները Ռեզյումեների կարող է միայն առանձնանում է շատ մաքուր, ստերիլ լաբորատոր միջավայրում, եւ դրանով իսկ լաբորատոր փորձարկումը կլինի ավելի գնահատի ազդեցությունը մայրության անշարժ ընդունման որոշումների վրա: Վերջապես, շատ կողմնակիցները դաշտը փորձերի քննադատում են լաբորատոր փորձեր կախվածությունը Weird մասնակիցներ հիմնականում ուսանողներ են Արեւմտյան, կրթված, արդյունաբերական, հարուստ եւ ժողովրդավարական երկրներում (Henrich, Heine, and Norenzayan 2010) : Փորձարկումները ըստ Correll եւ գործընկերների (2007) Ցույց է տալիս, երկու ծայրահեղությունների վրա Lab դաշտային continuum. Միջեւ այս երկու ծայրահեղությունների կան մի շարք հիբրիդային նմուշների, այդ թվում մոտեցումների, ինչպիսիք են բերելու ոչ ուսանողներին մեջ լաբորատորիայում կամ պատրաստվում են դաշտում, բայց դեռ մասնակիցները կատարել անսովոր խնդիր.

Ի լրումն լաբորատորիայում դաշտային հարթություն, որը գոյություն է ունեցել անցյալում, թվային տարիքը նշանակում է, որ հետազոտողները այժմ ունեք երկրորդ խոշոր հարթություն, որի հետ միասին փորձեր կարող են տարբեր լինել: անալոգային թվային: Ճիշտ այնպես, ինչպես որ կան մաքուր լաբորատոր փորձեր, մաքուր դաշտային փորձարկումները, եւ մի շարք hybrids միջեւ, կան մաքուր անալոգային փորձեր, մաքուր թվային փորձեր, եւ մի շարք hybrids. Դա շատ բարդ է առաջարկել կլասից այս հարթության, բայց օգտակար աշխատանքային սահմանումը այն է, որ լիովին թվային փորձեր են փորձարկումները, որոնք օգտվել թվային ենթակառուցվածքների հավաքագրել մասնակիցներին, randomize, հանդես բուժում, եւ չափել արդյունքները: Օրինակ, Restivo եւ վան դե Rijt ի (2012) ուսումնասիրությունը barnstars եւ Վիքիպեդիան էր լիովին թվային էքսպերիմենտ, քանի որ այն օգտագործվում է թվային համակարգերի բոլոր չորս այդ քայլերի: Նմանապես լիովին անալոգային փորձեր են փորձեր, որոնք չեն օգտվել թվային ենթակառուցվածքների համար որեւէ մեկը այդ չորս քայլերը. Շատերը դասական փորձերի հոգեբանության են անալոգային փորձեր: Միջեւ այս երկու ծայրահեղությունների կան մասնակիորեն թվային փորձարկումները, որոնք օգտագործում են համադրություն անալոգային եւ թվային համակարգերի համար չորս քայլերի:

Քննադատորեն, որ հնարավորություններ առաջադրվել թվային փորձեր են ոչ միայն օնլայն. Հետազոտողները կարող է առաջադրվել մասնակիորեն թվային փորձեր օգտագործելով թվային սարքեր ֆիզիկական աշխարհում, որպեսզի մատուցել բուժում կամ չափել արդյունքները: Օրինակ, հետազոտողները կարող է օգտագործել խելացի հեռախոսները մատուցել բուժում կամ սենսորների է կառուցված միջավայրի չափել արդյունքները: Ի դեպ, քանի որ մենք տեսնում ենք, ավելի ուշ այս գլխում, հետազոտողները արդեն օգտագործվել է տուն, էլեկտրակայաններ մետր է չափել արդյունքները փորձերի շուրջ սոցիալական նորմերի եւ էներգիայի սպառման ենթադրող 8,5 մլն տնային տնտեսությունների (Allcott 2015) : Քանի որ թվային սարքեր դառնում է ավելի ու ավելի ինտեգրվել մարդկանց կյանքի եւ սենսորները դառնալ ինտեգրվել կառուցված միջավայրում, այդ հնարավորությունները պետք է առաջադրվել մասնակիորեն թվային փորձեր է ֆիզիկական աշխարհում կտրուկ կավելանա: Այլ կերպ ասած, թվային փորձեր են ոչ միայն օնլայն փորձարկումները:

Թվային համակարգեր ստեղծել նոր հնարավորություններ փորձերի ամենուր երկայնքով լաբորատորիայում դաշտային continuum. Մաքուր լաբորատոր փորձերի, օրինակ, հետազոտողները կարող են օգտվել թվային համակարգեր finer չափման մասնակիցների վարքագծի. մեկ օրինակ այս տեսակի կատարելագործված չափման աչքի հետեւել սարքավորումներ, որոնք ապահովում է ճշգրիտ եւ շարունակական միջոցառումներ հայացքը գտնվելու վայրը. Թվային տարիք ստեղծում է նաեւ հնարավորություն է առաջադրվել լաբորատոր նման Փորձարկումները օնլայն. Օրինակ, հետազոտողները արագորեն որդեգրել Amazon Mechanical Turk (MTurk) հավաքագրել մասնակիցներին առցանց փորձերի (Նկար 4.2). MTurk կհամապատասխանեն «Գործատուներն« ովքեր խնդիրները, որոնք պետք է ավարտվի «աշխատողների», որոնք ցանկանում են լրացնել այդ խնդիրները փողի համար: Ի տարբերություն ավանդական աշխատանքային շուկաներում, սակայն, խնդիրները ներգրավված սովորաբար միայն պահանջում է մի քանի րոպե է լրացնել եւ ամբողջ փոխգործակցությունը միջեւ գործատուի եւ աշխատողի է վիրտուալ: Քանի որ MTurk mimics ասպեկտները ավանդական լաբորատոր փորձերի վարձատրվող մարդկանց ավարտելու խնդիրները, որ իրենք չեն անել անվճար, դա, բնականաբար, պիտանի է որոշակի տեսակի փորձերի: Ըստ էության, MTurk ստեղծել է ենթակառուցվածքը կառավարման ավազան մասնակիցների-հավաքագրելու եւ վճարելով մարդիկ, եւ հետազոտողներ են օգտվել այդ ենթակառուցվածքի թակել մեջ միշտ առկա լողավազանում մասնակիցների:

Նկար 4.2: Տպագրվող օգտագործելով տվյալների Ամազոն մեխանիկական թուրքի (MTurk) (Bohannon 2016) : MTurk եւ այլ առցանց աշխատանքային շուկաները առաջարկում հետազոտողների մի հարմար միջոց է հավաքագրել մասնակիցներին փորձերի.

Թվային փորձարկումները ստեղծելու, նույնիսկ ավելի հնարավորություններ դաշտը նման փորձերի. Թվային դաշտային փորձարկումները կարող է առաջարկել ամուր վերահսկողության եւ գործընթացը տվյալները հասկանալ, թե հնարավոր մեխանիզմները (օրինակ լաբորատոր փորձերի) եւ ավելի բազմազան մասնակիցներին դարձնելով իրական որոշումներ բնական միջավայրում (ինչպես դաշտային փորձերի): Ի լրումն այս համակցությամբ լավ հատկանիշներով նախորդ փորձերի, թվային դաշտային փորձարկումները նաեւ առաջարկել է երեք հնարավորությունները, որոնք դժվար է անալոգային լաբորատոր եւ դաշտային փորձերի.

Նախ, իսկ մեծ մասը անալոգային լաբորատորիայի եւ դաշտային փորձեր ունեն հարյուրավոր մասնակիցների, թվային դաշտային փորձարկումները կարող են ունենալ միլիոնավոր մասնակիցների: Այս փոփոխությունը մասշտաբով, քանի որ որոշ թվային փորձարկումները կարող են արտադրել տվյալներ զրոյական փոփոխական գնով: Այսինքն, երբ հետազոտողները ստեղծել են փորձնական ենթակառուցվածքը, ավելացնելով մասնակիցների թիվը սովորաբար չի մեծացնել ծախսերը: Բարձրացում մասնակիցների թիվը մի գործոն 100 կամ ավելի է ոչ միայն քանակական փոփոխություն, դա որակական փոփոխություն, քանի որ այն հնարավորություն է տալիս հետազոտողներին է սովորել տարբեր բաներ փորձերի (օրինակ, heterogeneity բուժման հետեւանքների) եւ վազում բոլորովին տարբեր փորձարարական նմուշների ( օրինակ, խոշոր խմբի փորձարկումները): Այս Բանն այն է, այնքան կարեւոր է, որ ես պետք է վերադառնալ այն դեպի գլխի վերջում, երբ ես առաջարկում խորհուրդներ ստեղծման մասին թվային փորձեր:

Երկրորդ, իսկ մեծ մասը անալոգային լաբորատորիայի եւ դաշտային փորձեր բուժել մասնակիցներին, ինչպես աննշմարելի ֆայլեր, թվային դաշտային փորձարկումները հաճախ օգտագործել Ընդհանուր տեղեկություններ մասնակիցների մասին նախագծման եւ վերլուծության փուլերում հետազոտության. Այս ֆոնի վրա տեղեկատվությունը, որը կոչվում է նախընտրական բուժման տեղեկատվությունը, հաճախ առկա է թվային փորձերի, քանի որ դրանք տեղի են ունենում լիովին չափված միջավայրում: Օրինակ, մի գիտաշխատող Facebook ունի շատ ավելի նախընտրական բուժման տեղեկություններ, քան մի հետազոտող նախագծման ստանդարտ լաբորատոր փորձ կուրսի: Այս նախընտրական բուժում տեղեկատվությունը հնարավորություն է տալիս հետազոտողներին տեղափոխել դուրս բուժման մասնակիցների աննշմարելի ֆայլեր. Ավելի կոնկրետ, նախընտրական բուժում տեղեկատվությունը հնարավորություն է տալիս ավելի արդյունավետ փորձարարական նմուշների, ինչպես օրինակ արգելափակման (Higgins, Sävje, and Sekhon 2016) Եւ նպատակային հավաքագրման մասնակիցների (Eckles, Kizilcec, and Bakshy 2016) -Իսկ Ավելի խորաթափանց վերլուծության, օրինակ, գնահատման ունը բուժման հետեւանքների (Athey and Imbens 2016a) եւ covariate ճշգրտման համար բարելավված ճշգրտությամբ (Bloniarz et al. 2016) :

Երրորդ, մինչդեռ շատ անալոգային լաբորատորիայի եւ դաշտային փորձեր առաքել բուժում եւ չափել արդյունքները համեմատաբար սեղմված չափով ժամանակ, որոշ թվային դաշտային փորձարկումները ներգրավել բուժում է, որ կարող է առաքվել ժամանակի ընթացքում, եւ հետեւանքները կարելի է նաեւ չափել ժամանակի ընթացքում: Օրինակ, Restivo եւ Վան դե Rijt գիտափորձի ունի արդյունքը չափվում օրական 90 օրվա ընթացքում, եւ մեկը փորձերի կասեմ ձեզ մոտ ավելի ուշ գլխի (Ferraro, Miranda, and Price 2011) հետքերը արդյունքները ավելի քան 3 տարվա ընթացքում հիմնականում որեւէ արժեքը: Այս երեք հնարավորությունները չափ, նախընտրական բուժում տեղեկատվական, եւ երկայնական բուժման եւ արդյունքների տվյալների առավել տարածված, երբ փորձեր են առաջադրվել գագաթին մշտապես չափման համակարգերի (տես Գլուխ 2 ավելի շատ մշտապես չափման համակարգեր):

Մինչ թվային դաշտային փորձարկումները առաջարկում է բազմաթիվ հնարավորություններ, նրանք նաեւ կիսվել որոշ թերությունների հետ, այնպես էլ անալոգային լաբորատորիայում եւ դաշտային փորձերի: Օրինակ, փորձարկումները չեն կարող օգտագործվել է ուսումնասիրել անցյալը, եւ նրանք կարող են միայն գնահատել հետեւանքները բուժում, որոնք կարող են օգտագործվել: Բացի այդ, թեեւ փորձեր, անկասկած, օգտակար է առաջնորդել քաղաքականությունը, ճշգրիտ ուղղորդումը նրանք կարող են առաջարկել է որոշ չափով սահմանափակ է, քանի որ բարդությունների, ինչպիսիք են շրջակա միջավայրի կախվածության, համապատասխանության խնդիրներ, ու հավասարակշռության հետեւանքների (Banerjee and Duflo 2009; Deaton 2010) : Վերջապես, թվային դաշտային փորձարկումները կհզորացնի բարոյական մտահոգությունները կողմից ստեղծված դաշտային փորձերի: Կողմնակիցներ դաշտային փորձերի թմբկահարմանը նրանց կարողությունը անմեղ ու պատահական միջամտել հետեւանքային որոշումների միլիոնավոր մարդկանց: Այս հատկանիշները առաջարկում որոշակի գիտական ​​առավելություններ, սակայն նրանք կարող են նաեւ կատարել դաշտային փորձարկումները էթիկապես համալիրը (կարծում եմ, որ դրա մասին, քանի որ հետազոտողները բուժումը նման մարդկանց "lab առնետների» վրա զանգվածային մասշտաբով): Բացի այդ, ի լրումն հնարավոր վնասներից մասնակիցներին, թվային դաշտային փորձարկումները, քանի որ իրենց մասշտաբով, կարող է նաեւ բարձրացնել մտահոգություններ խափանումից աշխատելու սոցիալական համակարգերի (օրինակ, մտահոգություններ disrupting Wikipedia վարձատրութիւն համակարգը, եթե Restivo եւ վան դեր Rijt տվեց չափազանց շատ barnstars) ,