4.3 երկու չափումներում փորձերի: Lab-դաշտային եւ անալոգային, թվային

Lab փորձարկումները առաջարկում վերահսկողությունը, դաշտային փորձարկումները առաջարկում ռեալիզմի, եւ թվային դաշտային փորձեր համատեղել վերահսկողության եւ ռեալիզմի մասշտաբով:

Փորձերը գալիս են տարբեր ձեւերով եւ չափերով: Նախկինում հետազոտողները գտել են, որ փորձը կազմակերպել է լաբորատոր փորձերի եւ դաշտային փորձերի միջեւ մշտական ​​շարունակություն: Այժմ, սակայն, հետազոտողները պետք է նաեւ կազմակերպեն փորձեր `երկկողմանի անալիզի եւ թվային փորձերի միջեւ : Այս երկդիմավոր նախագծման տարածքը կօգնի ձեզ հասկանալ տարբեր մոտեցումների ուժեղ եւ թույլ կողմերը եւ ընդգծել ամենամեծ հնարավորությունների ոլորտները (նկար 4.1):

Նկար 4.1. Փորձերի նախագծման տարածական սխեման: Նախկինում փորձանմուշները տարբերվում էին լաբորատոր դաշտի երկայնքով: Այժմ նրանք նույնպես տարբերվում են անալոգային թվային հարթության վրա: Այս երկդիմավոր դիզայնի տարածքը պատկերագրված է չորս փորձարկումներով, որոնք ես նկարագրում եմ այս գլխում: Իմ կարծիքով, մեծագույն հնարավորությունների շրջանակը թվային դաշտային փորձեր է:

Մի չափս, որի հետ կարելի է կազմակերպել փորձեր, լաբորատոր դաշտի չափը: Սոցիալական գիտությունների մեջ շատ փորձեր են լաբորատոր փորձեր, որտեղ բակալավրիատ ուսանողները տարօրինակ խնդիրներ են տալիս լաբորատորիայում, իհարկե, վարկի համար: Այս տեսակի փորձը գերակշռում է հոգեբանության հետազոտությունը, քանի որ այն թույլ է տալիս հետազոտողներին ստեղծել բարձր վերահսկվող պարամետրեր `ճշգրիտ մեկուսացնելն ու փորձարկել սոցիալական վարքի մասին կոնկրետ տեսությունները: Այնուամենայնիվ որոշակի խնդիրների համար մի քիչ տարօրինակ է զգում այնպիսի անսովոր մարդկանց կողմից նման անսովոր խնդիրները կատարող նման անսովոր միջավայրում մարդկանց վարքի մասին ամուր եզրակացություններ անելը: Այս մտահոգությունները հանգեցրել են դաշտային փորձերի շարժմանը: Դանդաղ փորձարկումները համատեղում են ռադոնիզացված հսկողության փորձերի ուժեղ նախագծումը, ավելի բնական կարգավորումներով ավելի հաճախակի գործողություններ կատարող մասնակիցների ավելի ներկայացնող խմբերի հետ:

Թեպետ ոմանք մտածում են, թե ինչպես են փորձարկումները ներդնում լաբորատոր եւ դաշտային փորձեր, լավագույնն է դրանք մտածել որպես լրացնող, տարբեր ուժեղ եւ թույլ կողմեր: Օրինակ, Correll, Benard, and Paik (2007) օգտագործել են թե 'լաբորատոր փորձ եւ դաշտային փորձ `« մայրության տույժի »աղբյուրները գտնելը: Միացյալ Նահանգներում մայրերը ավելի քիչ գումար վաստակում են, քան անչափահաս կանայք, նույնիսկ նման աշխատատեղերում աշխատող նման հմտություններ ունեցող կանանց համեմատելը: Կան բազմաթիվ հնարավոր բացատրություններ այս օրինակների համար, որոնցից մեկն այն է, որ գործատուները կողմնակալ են մայրերին: (Հետաքրքիր է, հակառակը, հավանաբար, հայրերի համար ճիշտ է, նրանք հակված են ավելի շատ գումար վաստակել, քան համեմատելի մանկահասակ տղամարդկանց): Մայրերի դեմ հնարավոր կողմնորոշումները գնահատելու համար Correll- ը եւ գործընկերները փորձարկեցին երկու փորձ, մեկը լաբորատորիայում եւ մեկում:

Նախ, լաբորատոր փորձով նրանք պատմեցին մասնակիցներին, ովքեր քոլեջի շրջանավարտներ էին, որ մի ընկերություն զբաղվում էր զբաղվածության որոնման նպատակով `ղեկավարելու իր նոր Արեւելյան ափի մարքեթինգի բաժինը: Աշակերտներին ասացին, որ ընկերությունն ուզում է օգնություն ստանալ աշխատանքի ընդունման գործընթացում, եւ նրանց խնդրել են քննարկել մի քանի պոտենցիալ թեկնածուների վերանայումները եւ թեկնածուներին գնահատել մի շարք չափանիշներով, ինչպիսիք են `իրենց հետախուզությունը, ջերմությունը եւ աշխատելու պարտավորությունը: Հետագայում ուսանողներին հարցրեցին, թե արդյոք նրանք կխնդրեն դիմումատուի վարձել եւ ինչ են առաջարկում որպես աշխատավարձ: Ուսանողներին չհասկանալով, սակայն, ռեզյումեները հատուկ ձեւավորվել են, բացառությամբ մեկի. Նրանցից ոմանք ազդանշան են արձակել մայրությանը (ցուցակագրման ներգրավվածությունը ծնող-ուսուցիչների ասոցիացիայում), ոմանք էլ `ոչ: Correll- ը եւ գործընկերները պարզեցին, որ աշակերտները պակաս հավանական է, որ առաջարկեն մայրերին վարձել, եւ նրանք առաջարկում են ավելի ցածր աշխատավարձ: Հետագայում, ինչպես նաեւ վարկանիշների եւ աշխատանքի ընդունման հետ կապված որոշումների վիճակագրական վերլուծության միջոցով, Correll- ը եւ գործընկերները պարզեցին, որ մայրերի թերությունները հիմնականում բացատրվում են այն փաստով, որ դրանք գնահատվել են ավելի ցածր իրավասության եւ պարտավորության առումով: Այսպիսով, այս լաբորատոր փորձը թույլ տվեց Correll- ին եւ գործընկերներին գնահատել պատճառական ազդեցություն եւ հնարավոր բացատրություն տալ դրա համար:

Իհարկե, կարելի է թերահավատորեն վերաբերվել եզրակացություններ անել ամբողջ Միացյալ Նահանգների աշխատաշուկայի շուկայի վրա `հիմնված մի քանի հարյուր մագիստրատուրայի որոշումների վրա, որոնք, հավանաբար, երբեք չեն ունեցել լիարժեք աշխատանք: Հետեւաբար, Correll- ը եւ գործընկերները նույնպես կատարել են լրացուցիչ դաշտային փորձեր: Նրանք արձագանքեցին հարյուրավոր գովազդվող աշխատատեղերի բացմանը `կեղծ ծածկագրերով եւ վերսկսմամբ: Մագիստրատուրա ներկայացված նյութերի նման, որոշ վերսկսվում է ազդանշանային մայրություն, ոմանք էլ չեն էլի: Correll- ը եւ գործընկերները պարզեցին, որ մայրերը ավելի քիչ հավանական է, որ հարցազրույցներ կուղարկվեն, քան հավասարապես անչափահաս կանայք: Այլ կերպ ասած, իրական գործատուները, բնականաբար, որոշակի որոշումներ կայացնելով, բնականաբար, վարում էին բակալավրիների նման: Նույն պատճառով էլ նման որոշումներ կայացան: Ցավոք, մենք չգիտենք: Հետազոտողները չեն կարողանում դիմել գործատուներին `գնահատելու թեկնածուներին կամ բացատրում իրենց որոշումները:

Այս զույգ փորձերը բացահայտում են լաբորատոր եւ դաշտային փորձերի մասին: Լաբորատոր փորձերը առաջարկում են հետազոտողներին մոտ շրջակա միջավայրի ընդհանուր վերահսկողությունը, որի մասնակիցները որոշումներ են կայացնում: Այսպիսով, օրինակ, լաբորատոր փորձարկումում, Correll- ը եւ գործընկերները կարողացան ապահովել, որ բոլոր ռեզյումեները կարդացվել են հանգիստ պայմաններում. դաշտային փորձարկումում, ռեզյումեի որոշ մասը չէր կարող նույնիսկ կարդացվել: Հետագայում, քանի որ լաբորատորիայում մասնակիցները գիտեն, որ ուսումնասիրվում են, հետազոտողները հաճախ կարողանում են հավաքել լրացուցիչ տվյալներ, որոնք կարող են բացատրել, թե ինչու են մասնակիցները որոշում կայացնում: Օրինակ, Correll- ը եւ գործընկերները լաբորատոր փորձից մասնակիցներին խնդրեցին գնահատել թեկնածուներին տարբեր հարթություններում: Այսպիսի գործընթացի տվյալները կարող են օգնել հետազոտողներին հասկանալ, թե ինչպես են մասնակիցները վերաբերվում վերարտադրությունը:

Մյուս կողմից, այս նույն հատկանիշները, որոնք ես պարզապես նկարագրել եմ որպես առավելություններ, նույնպես երբեմն համարվում են թերություններ: Հետազոտողները, ովքեր նախընտրում են դաշտային փորձերը, պնդում են, որ լաբորատոր փորձերի մասնակիցները կարող են շատ տարբեր կերպ վարվել, քանի որ գիտեն, որ դրանք ուսումնասիրվում են: Օրինակ, լաբորատորիայում փորձարկողները կարող էին գուշակել հետազոտության նպատակն ու փոխել իրենց պահվածքը, որպեսզի չլինեին կողմնակալություն: Հետագայում, դաշտային փորձերի նախընտրած հետազոտողները կարող են պնդել, որ ռեզյումեների փոքր տարբերությունները կարող են առանձնացնել միայն շատ մաքուր, ստերիլ լաբորատոր միջավայրում, եւ այդպիսով լաբորատոր փորձը գերագնահատում է մայրության ազդեցությունը իրական վարձակալության որոշումների վրա: Ի վերջո, դաշտային փորձերի շատ կողմնակիցներ քննադատում են ՎԵՄԻԴ մասնակիցների լաբորատոր փորձերը `հիմնականում արեւմտյան, կրթված, արդյունաբերված, հարուստ եւ ժողովրդավարական երկրներից (Henrich, Heine, and Norenzayan 2010a) : Correll- ի եւ գործընկերների փորձերը (2007) Ցույց են տալիս լաբորատոր դաշտի շարունակականության երկու ծայրահեղությունը: Այս երկու ծայրահեղությունների միջեւ կա նաեւ հիբրիդային տարբեր նմուշներ, ներառյալ մոտեցումները, ինչպիսիք են ոչ ուսանողներին լաբորատորիայում ներգրավելը կամ դաշտի անցնելը, բայց դեռեւս մասնակիցները կատարում են անսովոր խնդիր:

Բացի լաբորատորիայից, որը գոյություն ունի անցյալում, թվային տարիքը նշանակում է, որ հետազոտողները այժմ ունենում են երկրորդ հիմնական հարթություն, որի փորձերը կարող են տարբեր լինել `անալոգային-թվային: Ճիշտ ինչպես կա մաքուր լաբորատոր փորձեր, մաքուր դաշտային փորձարկումներ եւ մի շարք հիբրիդներ, առկա են մաքուր անալոգային փորձեր, մաքուր թվային փորձարկումներ եւ բազմազան հիբրիդներ: Դժվար է ներկայացնել այս չափորոշիչի պաշտոնական սահմանումը, սակայն օգտակար աշխատանքային սահմանումը այն է, որ լիարժեք թվային փորձարկումները փորձարկումներ են, որոնք օգտագործում են թվային ենթակառուցվածքներ, մասնակիցների հավաքագրման, ռեաբիլիզացիայի, մատուցվող բուժման եւ արդյունքների գնահատման համար: Օրինակ, Restivo եւ van de Rijt- ի (2012) Բարմենների եւ Վիքիպեդիայի ուսումնասիրությունը լիարժեք թվային փորձ էր, քանի որ այն թվային համակարգեր օգտագործեց այս բոլոր չորսի համար: Նմանապես, ամբողջությամբ անալոգային փորձարկումները չօգտագործել թվային ենթակառուցվածքը այս չորս քայլերից որեւէ մեկի համար: Հոգեբանության դասական փորձերի մեծ մասը լիովին անալոգային փորձեր են: Այս երկու ծայրահեղությունների միջեւ առկա են թվային թվային փորձեր, որոնք օգտագործում են անալոգային եւ թվային համակարգերի համադրություն:

Երբ որոշ մարդիկ մտածում են թվային փորձերի մասին, անմիջապես մտածում են առցանց փորձերի մասին: Սա ցավալի է, քանի որ թվային փորձերի իրականացման հնարավորությունները պարզապես առցանց չեն: Հետազոտողները կարող են մասամբ թվային փորձարկումներ իրականացնել ֆիզիկական աշխարհում թվային սարքերի միջոցով, բուժման կամ արդյունքների հասնելու համար: Օրինակ, հետազոտողները կարող են սմարթֆոններ օգտագործել, որոնք կառուցված միջավայրում բուժման կամ սենսորների մատակարարման համար արդյունքների գնահատման համար: Իրականում, ինչպես մենք կտեսնենք ավելի ուշ այս գլխում, հետազոտողները արդեն օգտագործել են տնային էլեկտրաէներգիայի հաշվիչները `8.5 միլիոն տնային տնտեսությունների (Allcott 2015) էներգախնայողության փորձերի արդյունքների համար: Քանի որ թվային սարքերը դառնում են ավելի ինտեգրված մարդկանց կյանքի եւ սենսորների մեջ ինտեգրված կառուցված միջավայրում, ֆիզիկական աշխարհում մասամբ թվային փորձարկումներ իրականացնելու այդ հնարավորությունները կտրուկ կավելանան: Այլ կերպ ասած, թվային փորձարկումները ոչ միայն օնլայն փորձեր են:

Թվային համակարգերը ստեղծում են նոր հնարավորություններ փորձերի համար ամենուրեք լաբորատոր դաշտի շարունակականության շրջանում: Մաքուր լաբորատոր փորձերի մեջ, օրինակ, հետազոտողները կարող են թվային համակարգեր օգտագործել մասնակիցների վարքագծի ավելի լավ չափման համար, այս տեսակի բարելավված չափման մեկ օրինակ է աչքի հետեւող սարքավորում, որը ապահովում է տեսողության վայրի ճշգրիտ եւ շարունակական միջոցառումները: Թվային տարիքը նաեւ ստեղծում է առցանց լաբորատորիային փորձարկումների հնարավորություն: Օրինակ, հետազոտողները արագորեն ընդունում են Amazon Mechanical Turk- ը (MTurk) մասնակիցներին առցանց փորձերի համար (նկար 4.2): MTurk- ը համապատասխանում է «գործատուներին», որոնք ունեն խնդիրներ, որոնք պետք է ավարտվեն «աշխատողների» հետ, ովքեր ցանկանում են կատարել այդ խնդիրները փողի համար: Ի տարբերություն ավանդական աշխատաշուկայի շուկաների, սակայն, ընդգրկված խնդիրները սովորաբար պահանջում են ընդամենը մի քանի րոպե ավարտել, եւ գործատուի եւ աշխատողի միջեւ բոլոր փոխհարաբերությունները առցանց են: Քանի MTurk- ը մանրակրկիտ կերպով սովորեցնում է ավանդական լաբորատոր փորձերի ասպեկտները `մարդկանց վճարելով ամբողջական խնդիրները, որոնք նրանք չեն անում ազատ, բնականաբար պիտանի են որոշակի տեսակի փորձերի համար: Ընդհակառակը, MTurk- ը ստեղծել է ենթակառուցվածքներ մասնակիցների լողավազանի կառավարման համար, հավաքագրելով եւ վճարելով մարդկանց, եւ հետազոտողները օգտվել են այդ ենթակառուցվածքից `ներգրավելով մասնակիցների ցանկացած պահի:

Նկար 4.2. Հրապարակված նյութեր, Amazon Mechanical Turk- ից ստացված տվյալները (MTurk): MTurk- ը եւ այլ առցանց աշխատանքային շուկաները հետազոտողներին առաջարկում են փորձի համար մասնակիցներին հավաքելու հարմար ձեւ: Հարմարեցված Bohannon (2016) :

Թվային համակարգերը դաշտերի նման փորձերի համար ավելի շատ հնարավորություններ են ստեղծում: Մասնավորապես, նրանք հնարավորություն են տալիս հետազոտողներին համատեղել ամուր վերահսկողության եւ գործընթացի տվյալները, որոնք կապված են լաբորատոր փորձերի հետ, ավելի բազմազան մասնակիցների հետ եւ ավելի բնական պարամետրեր, որոնք կապված են լաբորատոր փորձերի հետ: Բացի այդ, թվային դաշտի փորձերը նաեւ առաջարկում են երեք հնարավորություններ, որոնք հակված են անալոգային փորձերի:

Առաջին, մինչդեռ շատ անալոգային լաբորատոր եւ դաշտային փորձարկումներ ունեն հարյուրավոր մասնակիցներ, թվային դաշտի փորձերը կարող են ունենալ միլիոնավոր մասնակիցներ: Այս փոփոխությունը մասշտաբով է, քանի որ որոշ թվային փորձարկումներ կարող են տվյալներ արտադրել զրոյական փոփոխական գնով: Այսինքն, երբ հետազոտողները ստեղծել են փորձարարական ենթակառուցվածք, աճող մասնակիցների քանակը սովորաբար չի մեծացնում ծախսերը: 100 կամ ավելի գործոնով մասնակիցների թիվը ավելացնելը պարզապես քանակական փոփոխություն չէ: դա որակական փոփոխություն է, քանի որ այն հնարավորություն է տալիս հետազոտողներին փորձել տարբեր բաներ փորձերի միջոցով (օրինակ, բուժման ազդեցությունների տարբերությունը) եւ ամբողջովին տարբեր փորձարարական նմուշներ իրականացնել (օրինակ `մեծ խմբի փորձեր): Այս կետը շատ կարեւոր է, ես կվերադառնամ այն ​​դեպի գլուխը վերջ, երբ առաջարկում եմ խորհուրդներ թվային փորձերի ստեղծման վերաբերյալ:

Երկրորդը, այնուամենայնիվ, անալոգային լաբորատորիաների եւ դաշտային փորձերի մեծ մասը մասնակիցներին վերաբերվում է որպես աննպաստելի ֆայլեր, թվային դաշտային փորձերը հաճախ օգտագործում են հետազոտության նախագծման եւ վերլուծության փուլերի մասնակիցների մասին ֆոնային տվյալներ: Այս ֆոնային տեղեկատվությունը, որը կոչվում է նախնական բուժման տեղեկատվություն , հաճախ մատչելի է թվային փորձարկումների ժամանակ, քանի որ դրանք աշխատում են մշտապես գործող չափման համակարգերի վերեւում (տես գլուխ 2): Օրինակ, Ֆեյսբուքի գիտաշխատողը շատ ավելի նախնական բուժման տեղեկատվություն ունի իր թվային դաշտային փորձի մեջ մարդկանց մասին, քան համալսարանական հետազոտողը ունի իր անալոգային դաշտի փորձի մասին մարդկանց մասին: Այս նախնական բուժումը հնարավորություն է տալիս ավելի արդյունավետ փորձարարական նմուշներ, ինչպիսիք են արգելափակումը (Higgins, Sävje, and Sekhon 2016) եւ մասնակիցների նպատակային հավաքագրումը (Eckles, Kizilcec, and Bakshy 2016) - ավելի խորը վերլուծություն, ինչպես օրինակ, բուժման հետեւանքների բազմազանության գնահատումը (Athey and Imbens 2016a) եւ բարելավված ճշգրտման համար (Bloniarz et al. 2016) ճշգրտում (Bloniarz et al. 2016) :

Երրորդ, մինչդեռ շատ անալոգային լաբորատոր եւ դաշտային փորձարկումներ մատուցում են բուժում եւ արդյունքների համեմատաբար սեղմված ժամանակում, որոշ թվային դաշտային փորձարկումներ տեղի են ունենում շատ ավելի երկար ժամանակահատվածներում: Օրինակ, Restivo- ը եւ վան դե Ռիտտի փորձը 90 օրվա ընթացքում գնահատել են արդյունքը, եւ փորձարկումներից մեկը ձեզ հետ կպատմեմ հետագայում (Ferraro, Miranda, and Price 2011) Գլուխը երեք տարի հետեւելուց, հիմնականում ոչ արժեքը: Այս երեք հնարավորությունները, չափը, նախնական բուժման տեղեկատվությունը եւ երկարատեւ բուժումը եւ արդյունքային տվյալները, առավել հաճախ առաջանում են, երբ փորձերը կատարվում են միշտ չափման համակարգերի վերեւում (տես `գլուխ 2, մշտապես չափման համակարգերի համար):

Թեեւ թվային դաշտի փորձերը շատ հնարավորություններ են առաջարկում, նրանք էլ են որոշակի թույլ կողմերը կիսում ինչպես անալոգային լաբորատորիաների, այնպես էլ անալոգային դաշտի փորձերի հետ: Օրինակ, փորձերը չեն կարող օգտագործվել անցյալի ուսումնասիրության համար, եւ նրանք կարող են միայն գնահատել բուժման հետեւանքները, որոնք կարող են շահարկվել: Թեեւ փորձերը, անշուշտ, օգտակար են քաղաքականության ուղղությամբ, այնպիսի հստակ ուղեցույց, որը նրանք կարող են առաջարկել, որոշ չափով սահմանափակվում են այնպիսի բարդությունների պատճառով, ինչպիսիք են բնապահպանական կախվածությունը, համապատասխանության խնդիրները եւ հավասարակշռման ազդեցությունները (Banerjee and Duflo 2009; Deaton 2010) : Թվային դաշտային փորձերը նաեւ մեծացնում են դաշտային փորձերի կողմից ստեղծված էթիկական մտահոգությունները, այն թեման, որը ես կանդրադառնամ ավելի ուշ այս գլխում եւ 6-րդ գլուխում: