4.3 эксперименттер екі өлшемдері: зертханалық-далалық және аналогтық-цифрлық

Lab эксперименттер бақылауды ұсынады, далалық эксперименттер реализм ұсынамыз, және сандық далалық эксперименттер ауқымдағы бақылау және реализм біріктіреді.

Эксперименттер әртүрлі формада және мөлшерде келеді. Бұрын зерттеушілер лабораториялық эксперименттер мен далалық эксперименттер арасындағы үзіліссіз тәжірибе ұйымдастыруды табысты анықтады. Алайда, қазір зерттеушілер эксперименттерді аналогтық эксперименттер мен цифрлық эксперименттер арасында екінші континуум бойынша ұйымдастыру керек. Бұл екі өлшемді конструкторлық кеңістік әртүрлі тәсілдердің күшті және әлсіз тұстарын түсінуге және үлкен мүмкіндіктердің бағыттарын айқындауға көмектеседі (4.1-сурет).

Сурет 4.1: эксперименттер үшін жобалық кеңістіктің схемасы. Бұрынырақта эксперименттер зертханалық өріс өлшемі бойынша өзгерді. Енді олар да аналогтық-сандық өлшем бойынша өзгереді. Бұл екі өлшемді дизайнерлік кеңістікті осы тарауда сипаттайтын төрт эксперимент арқылы көркемдейді. Менің ойымша, ең үлкен мүмкіндік ауданы - цифрлық далалық эксперименттер.

Эксперименттерді ұйымдастыруға болатын бір өлшем - зертханалық өріс өлшемі. Әлеуметтік ғылымдарда көптеген эксперименттер зертханалық эксперименттер болып табылады, онда бакалавриат студенттері курстық несие бойынша зертханада елеулі тапсырмаларды орындайды. Бұл тәжірибе психологиядағы зерттеулерге басымдық береді, себебі зерттеушілерге әлеуметтік мінез-құлық туралы нақты теориялардың нақты оқшаулануына және сынақтануына арналған жоғары басқарылатын параметрлерді жасауға мүмкіндік береді. Дегенмен, белгілі бір қиындықтар үшін, ерекше ерекше жағдайларда осындай ерекше міндеттерді орындайтын ерекше адамдардан адам мінез-құлқына қатысты қатаң тұжырымдар жасау туралы бірер нәрсе елестетеді. Бұл алаңдаушылық далалық эксперименттерге қозғалысқа әкелді. Өрісті эксперименттер рандомизацияланған бақылау эксперименттерінің күшті дизайнын біріктіреді, ол табиғи орталарда көп кездесетін тапсырмаларды орындайтын қатысушылардың неғұрлым өкілдік топтары болады.

Кейбір адамдар зертханалық-далалық эксперименттерді бәсекелес әдістер деп санаса да, оларды әр түрлі күшті және әлсіз жақтары бар қосымша ретінде қарастыруға болады. Мысалы, Correll, Benard, and Paik (2007) «аналық жазалау» көздерін табуға тырысқан кезде зертханалық эксперимент және өріс экспериментін пайдаланды. Құрама Штаттарда аналар баласыз әйелдерге қарағанда аз ақша табады. ұқсас жұмыс орындарында жұмыс істейтін ұқсас дағдылармен әйелдерді салыстыру. Осы үлгі бойынша көптеген түсініктемелер бар, олардың біреуі жұмыс берушілердің аналарға қарсы болып табылады. (Бір қызығы, әке-шешелерге қарағанда, керісінше, әдеттегідей баласыз адамдардан артық табыс табуға болады). Аналарға ықтимал бұрмалауды бағалау үшін Коррелл мен әріптестер екі тәжірибені өткізді: біреуі зертханада және біреуінде.

Біріншіден, зертханалық эксперимент барысында колледж магистранттарына қатысушылар компанияға жаңа Шығыс-жағалау маркетинг бөлімін басқаруға жұмыс іздеп жүргенін айтты. Студенттерге компания жалдау процесінде көмек сұрағанын айтады және оларға бірнеше ықтимал үміткерлердің түйіндемелерін қайта қарау және кандидаттарға олардың ақыл-ойы, жылыдығы және жұмысқа деген ұмтылысы секілді бірқатар өлшемдерге баға беру сұралды. Бұдан басқа, студенттерге өтініш берушіні жалдауға ұсыныс берер-бермейтіні туралы және олардың бастапқы жалақысы ретінде ұсынылатыны туралы сұрақ қойылды. Студенттерге белгісіз, резюме бір нәрсені қоспағанда, арнайы жасалған: олардың кейбіреулері ана болу туралы (ата-аналар-мұғалімдер қауымдастығына қатысуы арқылы) және кейбіреулері болмады. Коррелл мен әріптестердің айтуынша, оқушылар аналарды жалдауды ұсынбаған және оларға төменгі жалақы ұсынған. Сонымен қатар, рейтингтер мен жалдау туралы шешімдердің статистикалық талдауы арқылы Коррелл мен әріптестер аналардың кемшіліктері олардың құзыреттілігі мен міндеттемелері бойынша төмен бағаланғандығымен түсіндірілді. Осылайша, осы зертханалық тәжірибе Корреллге және әріптестерге себеп-салдарлық әсерді өлшеуге және бұл әсерді түсіндіруге мүмкіндік берді.

Әрине, АҚШ-тың бүкіл еңбек нарығы туралы қорытынды жасауға қатысты күмәндануы мүмкін, бірақ жалдамалы жұмысқа ешқашан қатыса алмайтын, жүздеген күндізгі бөлімде жұмыс істейтін бірнеше жүздеген магистранттардың шешімдері. Сондықтан Коррелл және әріптестер қосымша өріс экспериментін өткізді. Олар жасанды жалған хатпен және түйіндемелермен жарнамаланған жүздеген бос жұмыс орындарына жауап берді. Магистранттарға көрсетілетін материалдарға ұқсас, кейбіреулері ана болу туралы сигнал беруді жалғастырады, ал кейбіреулері де жоқ. Коррелл мен әріптестердің айтуынша, аналар балалардың тең дәрежеде білімі жоқ балаларға қарағанда әңгімелесуден бас тартуға мүмкіндіктері аз. Басқаша айтқанда, нақты жұмыс берушілер табиғатта шешуші шешімдер қабылдаған магистранттарға ұқсайды. Сол себепті бірдей шешім қабылдады ма? Өкінішке орай, біз білмейміз. Зерттеушілер жұмыс берушілерге кандидаттарға баға беруді немесе олардың шешімдерін түсіндіруді сұрай алмады.

Бұл жұп эксперименттер зертханалық және далалық эксперименттер туралы көп нәрсе біледі. Зертхананың эксперименттері зерттеушілерге қоршаған ортаға жақын бақылауды ұсынады, онда қатысушылар шешім қабылдайды. Мысалға, мысалы, зертханалық тәжірибеде Correll және әріптестер барлық резюмелердің тыныш жағдайда оқылғанын қамтамасыз етті; далалық экспериментте кейбір резюмелер тіпті оқылмаған болуы мүмкін. Бұдан басқа, зертханада қатысушылардың зерттеліп жатқандығын білетіндіктен, зерттеушілер жиі қатысушылардың шешімдерін неге қабылдайтынын түсіндіруге көмектесетін қосымша деректер жинай алады. Мысалы, Коррелл және әріптестер лабораторлық экспериментке қатысушыларға әртүрлі өлшемдер бойынша кандидаттарға баға беруді сұрады. Процестердің бұл түрі зерттеушілерге резюме қалай қатысатындығымен ерекшеленетін тетіктерді түсінуге көмектесуі мүмкін.

Екінші жағынан, мен дәл осы артықшылықтар ретінде сипатталған дәл осындай сипаттамалар кейде кемшіліктер деп саналады. Дала эксперименттерін таңдаған зерттеушілер, зертханалық эксперименттерге қатысушылардың өздері оқып жатқандарын білетіндіктен, әртүрлі әрекет етуі мүмкін екендігін дәлелдейді. Мысалға, зертханалық эксперимент барысында қатысушылар зерттеудің мақсатын болжап, өздерінің мінез-құлқына өзгеріс енгізбеуі мүмкін еді. Сонымен қатар, далалық эксперименттерді таңдаған зерттеушілер түйіндемедегі шағын айырмашылықтар өте таза, стерильді зертханалық ортада ғана ерекшеленуі мүмкін, сондықтан зертханалық эксперимент ана болудың нақты жалдау шешімдеріне әсерін асыра бағалайды. Ақыр соңында, далалық эксперименттердің көптеген қатысушылары WEIRD қатысушыларына тәуелсіз зертханалық тәжірибелерді сынайды: негізінен Батыс, Білімді, Индустриялық, Байытылған және Демократиялық елдердің студенттері (Henrich, Heine, and Norenzayan 2010a) . Correll және оның әріптестері (2007) эксперименттері зертханалық өрістегі екі экстремалды суреттейді. Бұл екі шектен тыс әр түрлі гибридтік конструкциялар бар, оның ішінде оқушыларды зертханаға жібермеу немесе далаға шығу сияқты тәсілдер, бірақ әлі де қатысушылар ерекше тапсырманы орындайды.

Өткен ғасырда қолданылған зертханалық өлшемнен басқа, сандық ғасыр зерттеушілер енді екінші маңызды өлшемге ие, бұл эксперименттер әртүрлі болуы мүмкін: аналогты-сандық. Таза зертханалық эксперименттер, таза далалық эксперименттер және араларында әртүрлі гибридтер бар сияқты, таза аналогтық эксперименттер, таза цифрлық эксперименттер және түрлі будандар бар. Бұл өлшемді ресми түрде анықтау қиын, бірақ пайдалы жұмыс анықтамасы толық сандық эксперименттер - қатысушыларды тарту, рандомизациялау, емдеу және нәтижелерді өлшеу үшін цифрлық инфрақұрылымды пайдаланатын эксперименттер. Мысалы, Restivo және van de Rijt (2012) барнстары мен Википедияны зерттеу толық сандық эксперимент болды, себебі ол осы төрт қадамның сандық жүйелерін қолданды. Сол сияқты, толық аналогтық эксперименттер осы төрт қадамның кез-келгені үшін сандық инфрақұрылымды қолданбайды. Психологиядағы классикалық эксперименттердің көпшілігі толық ұқсас эксперименттер. Осы екі экстремумның арасында аналогтық және цифрлық жүйелердің комбинациясын қолданатын ішінара цифрлы эксперименттер бар.

Кейбіреулер сандық эксперименттер туралы ойланғанда, олар онлайн-эксперименттерді бірден ойлайды. Бұл бақытсыз, өйткені сандық эксперименттерді іске қосу мүмкіндігі тек қана онлайн режимінде емес. Зерттеушілер физикалық әлемдегі сандық құралдарды емдеу немесе нәтижелерді өлшеу үшін қолдану арқылы ішінара цифрлы эксперименттер жүргізе алады. Мысалы, зерттеушілер нәтижелерді өлшеу үшін құрастырылған ортада емдеу немесе сенсорларды жеткізу үшін смартфондарды пайдалана алады. Шындығында, осы тарауда кейінірек көретініміздей, зерттеушілер 8,5 миллион үй шаруашылығымен (Allcott 2015) энергияны тұтыну туралы эксперименттердің нәтижелерін өлшеу үшін үйдегі электр есептегіштерін пайдаланды. Цифрлық құрылғылар адамдардың өміріне барынша интеграцияланған және сенсорлар салынған ортаға біріктірілетіндіктен, физикалық әлемде ішінара цифрлық эксперименттер жүргізу мүмкіндіктері күрт артады. Басқаша айтқанда, сандық эксперименттер онлайн-эксперимент емес.

Сандық жүйе зертханалық далалық бойындағы барлық жерлерде эксперименттер үшін жаңа мүмкіндіктер жасайды. Таза зертханалық эксперименттерде, мысалы, зерттеушілер қатысушылардың мінез-құлқының сапасын өлшеу үшін сандық жүйелерді пайдалана алады; Осындай жақсартылған өлшеулердің бір мысалы - көзді қадағалау, көзбен шолудың дәл және үздіксіз шараларын қамтамасыз ететін жабдық. Сандық ғасыр да лабораториялық эксперименттерді желіде іске қосу мүмкіндіктерін жасайды. Мысалға, ғалымдар ғаламтор эксперименттеріне қатысушыларды тарту үшін Amazon Mechanical Turk (MTurk) бағдарламасын тез қабылдады. MTurk осы тапсырмаларды ақшаға айналдырғысы келетін «жұмысшылармен» аяқталуы керек тапсырмалары бар «жұмыс берушілер» дегенге сәйкес келеді. Дәстүрлі еңбек нарығынан айырмашылығы, әдетте, тапсырмалардың орындалуы бірнеше минутты талап етеді, ал жұмыс беруші мен жұмысшы арасындағы өзара әрекеттесудің барлығы онлайн режимінде. MTurk дәстүрлі зертханалық эксперименттердің аспектілерін ұстанатындықтан, адамдарды босатпайтын тапсырмаларды орындау үшін төлейді - бұл белгілі бір эксперименттер түріне сай келеді. Шындығында, MTurk қатысушыларды пулды басқаруға арналған инфрақұрылымды құрды - адамдарды жинау және төлеу - зерттеушілер бұл инфрақұрылымның артықшылығын пайдаланып, әрдайым қатысушылардың пулына қол жеткізді.

4.2-сурет: Amazon Mechanical Turk (MTurk) деректерін пайдаланып жарияланған мақалалар. MTurk және басқа онлайн-еңбек нарығы зерттеушілерге тәжірибе қатысушыларын тартудың ыңғайлы әдісін ұсынады. Bohannon (2016) бейімделген.

Сандық жүйелер далалық эксперименттер үшін одан да көп мүмкіндіктер жасайды. Атап айтқанда, олар зертханалық эксперименттерге байланысты әртүрлі қатысушылармен және табиғи жағдайлармен зертханалық эксперименттермен байланысты тығыз басқару және өңдеу деректерін біріктіруге мүмкіндік береді. Бұдан басқа, цифрлық далалық эксперименттер сонымен қатар аналогтық эксперименттерде қиындықтарға тап болған үш мүмкіндік ұсынады.

Біріншіден, зертханалық және далалық эксперименттердің көпшілігінде жүздеген қатысушылар бар, ал цифрлық далалық эксперименттерде миллиондаған қатысушылар болуы мүмкін. Бұл масштабтағы өзгеріс кейбір сандық эксперименттер деректерді нөлдік айнымалы құны бойынша шығаруға болатындығына байланысты. Яғни, зерттеушілер эксперименталды инфрақұрылымды құрғаннан кейін, қатысушылар санының көбеюі, әдетте, өзіндік құнды арттырмайды. Қатысушылардың санын 100 және одан да көп факторлармен көбейту тек сандық өзгеріс емес; бұл сапалы өзгеріс, өйткені ол зерттеушілерге әртүрлі эксперименттерден (мысалы, емдеу эффектінің біркелкілігі) әртүрлі заттарды үйренуге және әртүрлі эксперименталды конструкцияларды (мысалы, үлкен топ эксперименттерін) іске асыруға мүмкіндік береді. Бұл мәселе соншалықты маңызды, мен цифрлық эксперименттер жасау туралы кеңестерді ұсынған кезде, осы тараудың соңына ораламын.

Екіншіден, зертханалық және далалық эксперименттердің көпшілігі қатысушыларға бөлінбейтін виджеттер ретінде қарайды, ал цифрлық далалық эксперименттер зерттеушілердің дизайны мен талдау кезеңдерінде қатысушылар туралы ақпараттарды жиі пайдаланады. Алдын ала өңдеу туралы ақпарат деп аталатын осы фондық ақпарат, әдеттегі сандық эксперименттерде қол жетімді, себебі олар әрқашан өлшеу жүйелерінің үстінен іске қосылады (2-тарауды қараңыз). Мысалы, Facebook-тегі зерттеуші цифрлық өріс экспериментіндегі адамдар туралы алдын-ала емдеу туралы мәліметтерді әлдеқайда көбірек зерттейді, ал университет зерттеушісі аналогтық далалық тәжірибедегі адамдарға қатысты. Бұл алдын-ала емдеу ең тиімді эксперименталды конструкцияларды (мысалы, (Higgins, Sävje, and Sekhon 2016) және мақсатты түрде қатысушыларды (Eckles, Kizilcec, and Bakshy 2016) әсерлерді бағалаудың әртүрлілігі (Athey and Imbens 2016a) және жақсартылған нақтылықты жақсартуға арналған (Bloniarz et al. 2016) түзету (Bloniarz et al. 2016) .

Үшіншіден, көптеген аналогты зертханалық және далалық эксперименттер емделуді жүзеге асырады және салыстырмалы түрде қысылған уақыт бойынша нәтижелерді өлшейді, ал кейбір цифрлық далалық эксперименттер әлдеқайда ұзақ уақытқа созылады. Мысалы, Restivo және van de Rijt эксперименттері күнделікті 90 күн бойы өлшенді және мен сіздерге кейінірек (Ferraro, Miranda, and Price 2011) бөлімдерінде туралы айтып беретін эксперименттердің бірі үш жыл ішінде нәтижелерді қадағалады, негізінен жоқ құны. Бұл үш мүмкіндік өлшемі, алдын ала емдеу туралы ақпарат, бойлық емдеу және нәтиже туралы деректер әдетте әрқашан өлшеу жүйелерінің үстінен жүргізілетін эксперименттер болған кезде пайда болады (әрдайым өлшеу жүйелеріне арналған 2-тарауды қараңыз).

Сандық өріс эксперименттері көптеген мүмкіндіктерді ұсынғанымен, олар сондай-ақ аналогтық зертханалық және аналогтық далалық эксперименттермен бірге кейбір әлсіз жақтарымен бөліседі. Мысалы, эксперименттер өткенді зерттеу үшін қолданыла алмайды және олар манипуляциялауға болатын емнің әсерлерін ғана бағалай алады. Сондай-ақ, эксперименттер саясатты басшылыққа алуға пайдалы болғанымен, қоршаған ортаға тәуелділік, сәйкестілік проблемалары және тепе-теңдік әсері сияқты қиындықтардан (Banerjee and Duflo 2009; Deaton 2010) байланысты қиындықтарға байланысты бірнеше ұсыныс жасай алады. Сандық өріс эксперименттері далалық эксперименттер жасаған этикалық мәселелерді де күшейтеді - осы тараудың соңында және 6-тарауда айтатын тақырып.