4.3 Két méretei kísérletek: lab-mező és analóg-digitális
Lab kísérletek hez vezérlés, szántóföldi kísérletekben hez realizmus, és a digitális területen kísérletek egyesítik ellenőrzési és realizmus léptékben.
A kísérletek sokféle formában és méretben jönnek létre. A múltban a kutatók hasznosnak találtak kísérleteket a laboratóriumi kísérletek és a helyszíni kísérletek közötti folytonosság mentén. Most azonban a kutatóknak kísérleteket kell szervezniük egy analóg kísérlet és egy digitális kísérlet között . Ez a kétdimenziós tervezési terület segít megérteni a különböző megközelítések erősségeit és gyengeségeit, és kiemelni a legnagyobb lehetőségeket (4.1. Ábra).
4.1. Ábra: A tervezési terület vázlata a kísérletekhez. A múltban a kísérletek a laboratóriumi dimenzió mentén változtak. Mostantól az analóg-digitális dimenzió is változik. Ezt a kétdimenziós tervezési területet négy, ebben a fejezetben leírt kísérlet illusztrálja. Véleményem szerint a legnagyobb lehetőség a digitális mező-kísérlet.
Egy olyan dimenzió, amelyen kísérleteket lehet szervezni, a laboratóriumi dimenzió. Számos kísérlet a társadalomtudományokban laboratóriumi kísérletek, ahol a hallgatók különös feladatokat végeznek egy laboratóriumi tanfolyamon. Ez a fajta kísérlet dominál a pszichológia kutatásában, mivel lehetővé teszi a kutatók számára, hogy erősen ellenőrzött beállításokat hozzanak létre, hogy pontosan elkülönítsék és teszteljék a társadalmi viselkedéssel kapcsolatos konkrét elméleteket. Bizonyos problémákra azonban valami különösnek érzi magát, ha az ilyen szokatlan embereket ilyen szokatlan feladatokat ellátó szokatlan emberekkel kapcsolatban erõteljes következtetéseket von le az emberi viselkedésrõl. Ezek az aggályok a helyszíni kísérletek felé történő elmozduláshoz vezettek. A helyszíni kísérletek kombinálják a véletlenszerű kontrollkísérletek erős kialakítását a reprezentatívabb résztvevők csoportjaival, akik gyakrabban végeznek feladatokat több természeti környezetben.
Bár egyesek a versenytárs módszerekről gondolkodnak a laboratóriumi és a helyszíni kísérletekről, a legjobb, ha egymást kiegészítik, különböző erősségekkel és gyengeségekkel. Például Correll, Benard, and Paik (2007) egyaránt laboratóriumi kísérletet és kísérleti kísérletet használtak az "anyasági büntetés" forrásainak megtalálására. Az Egyesült Államokban az anyák kevesebb pénzt keresnek, mint a gyermektelen nők, még akkor is, ha összehasonlítva a hasonló készségekkel dolgozó hasonló képességű nőket. Sokféle magyarázata van ennek a mintanak, amelyek közül az egyik az, hogy a munkáltatók az anyák ellen elfogultak. (Érdekes módon az ellenkezője úgy tűnik, hogy igaz az apáknál: inkább az összehasonlítható gyermektelen férfiakhoz keresnek.) Az anyákkal szembeni esetleges elfogultság felmérése érdekében Correll és munkatársai két kísérletet végeztek: egy a laborban és egy a területen.
Először egy laboratóriumi kísérletben azt mondták a résztvevőknek, akik főiskolai egyetemi hallgatók, hogy egy vállalat egy keresési munkát végzett egy személynek, aki vezette az új kelet-partiai marketing osztályát. A hallgatók azt mondták, hogy a vállalat a felvételi folyamatban segítséget kért, és felkérték őket, hogy vizsgálják meg több potenciális jelölt folytatását, és értékeljék a jelölteket számos dimenzióban, például hírszerzésüket, melegségüket és a munka iránti elkötelezettségüket. Ezenkívül megkérdezték a hallgatókat, hogy ajánlják-e a pályázó felvételét, és mit javasolnak kiinduló fizetésként. A diákok tudta nélkül azonban az önéletrajzokat kifejezetten úgy alakították ki, hogy hasonlóak legyenek, kivéve egy dolgot: néhányan jelezték az anyaságot (bevonva a szülő-tanár társulásba való bevonást), és néhányan nem. Correll és munkatársai azt találták, hogy a diákok kevésbé hajlandóak ajánlani az anyák felvételét, és felajánlottak nekik alacsonyabb kezdő fizetést. Továbbá mind a minősítések, mind a bérbeadási döntések statisztikai elemzésével Correll és munkatársai azt találták, hogy az anyák hátrányait nagyrészt azzal magyarázták, hogy a kompetenciák és az elkötelezettség tekintetében alacsonyabbak voltak. Így ez a laboratóriumi kísérlet lehetővé tette Correll és kollégáinak, hogy mérjék az oksági hatást, és megadják ennek a magyarázatnak a lehetséges magyarázatát.
Természetesen szkeptikus lehet az egész amerikai munkaerőpiacra vonatkozó következtetések levonására néhány száz egyetemi hallgató döntései alapján, akik valószínűleg soha nem rendelkeztek teljes munkaidős állással, nem beszélve arról, hogy valaki felbérelt volna. Ezért Correll és munkatársai kiegészítõ kísérletet is végeztek. Több száz hirdetett álláshirdetésre válaszoltak hamis levélekkel és folytatódtak. Az egyetemistáknak bemutatott anyagokhoz hasonlóan egyesek folytatják a jelzett anyaságot, és néhányan nem. Correll és munkatársai azt találták, hogy az anyák kevésbé hajlamosak az interjúkra visszahívni, mint az egyenlően képzett, gyermektelen nőket. Más szavakkal, a valódi munkáltatók, akik következetes döntéseket hoztak egy természetes környezetben, hasonlóan viselkedtek az egyetemistákhoz hasonlóan. Hasonló döntéseket hoztak ugyanazon okból? Sajnos nem tudjuk. A kutatók nem tudták megkérni a munkáltatókat, hogy értékeljék a jelölteket, vagy magyarázzák meg döntéseiket.
Ez a pár kísérlet sok mindent mutat a laboratóriumi és a térbeli kísérletekről. A laboratóriumi kísérletek felajánlják a kutatók számára, hogy teljes mértékben ellenőrizzék a környezetet, amelyben a résztvevők döntéseket hoznak. Így például a laboratóriumi kísérletben Correll és munkatársai képesek voltak biztosítani, hogy az összes ismétlődést csendes környezetben olvassák; a szántóföldi kísérletben talán még nem is olvashatták a folytatásokat. Továbbá, mivel a laboratóriumi résztvevők tudják, hogy tanulmányozzák őket, a kutatók gyakran képesek további adatokat gyűjteni, amelyek segíthetnek megmagyarázni, hogy miért döntenek a résztvevők. Például Correll és munkatársai megkérdezték a résztvevőket a laboratóriumi kísérletben, hogy különböző dimenziókban értékeljék a jelölteket. Ez a fajta folyamatadat segítheti a kutatókat abban, hogy megértsék azokat a mechanizmusokat, amelyek a résztvevők közötti különbségek mögött állnak.
Másrészt ugyanazokat a tulajdonságokat, amelyeket eddig leírtam előnyöknek, néha hátrányosnak is tekinthetők. A helyszíni kísérleteket preferáló kutatók azzal érvelnek, hogy a laboratóriumi kísérletek résztvevői nagyon eltérő módon tudnának eljárni, mert tudják, hogy tanulmányozzák őket. Például a laboratóriumi kísérletben a résztvevők talán kitalálhatják a kutatás célját és megváltoztathatják magatartásukat, hogy ne tűnjenek elfogultnak. Továbbá a szántóföldi kísérleteket preferáló kutatók azzal érvelnének, hogy a kismértékű eltérések az önéletrajzokban csak egy nagyon tiszta, steril laboratóriumi környezetben jelennek meg, így a laboratóriumi kísérlet túlbecsüli az anyaság hatását a valódi felvételi döntésekre. Végül a terepi kísérletek sok előadója bírálja a laboratóriumi kísérleteket a WEIRD-résztvevőkre támaszkodva: főként a nyugati, oktatott, iparosodott, gazdag és demokratikus országokból származó diákokat (Henrich, Heine, and Norenzayan 2010a) . Correll és munkatársai (2007) kísérletei a labor-mező kontinuum két szélsőségét illusztrálják. E két szélsőség között számos hibrid terv is létezik, beleértve olyan megközelítéseket is, mint a nem-diákok laborba történő bevitele vagy a mezőbe lépni, de a résztvevők még mindig szokatlan feladatot végeznek.
A múltban létező laboratóriumi dimenzió mellett a digitális korszak azt jelenti, hogy a kutatóknak jelenleg van egy második nagy dimenziója, amelyen a kísérletek változhatnak: analóg-digitális. Csakúgy, mint tiszta laboratóriumi kísérletek, tiszta mező kísérletek és különböző hibridek között van tiszta analóg kísérletek, tiszta digitális kísérletek és különböző hibridek. A dimenzió formális definíciója nehézkes, de hasznos munkameghatározás, hogy a teljesen digitális kísérletek olyan kísérletek, amelyek felhasználják a digitális infrastruktúrát a résztvevők toborzására, randomizálására, kezelésre és az eredmények mérésére. Például Restivo és van de Rijt (2012) tanulmánya a barnstarsról és a Wikipédiáról teljesen digitális kísérlet volt, mivel mind a négy lépésnél digitális rendszereket használt. Hasonlóképpen, a teljesen analóg kísérletek nem használják a digitális infrastruktúrát a négy lépésben. A klasszikus pszichológiai kísérletek közül sok teljesen analóg kísérlet. E két szélsőség között vannak olyan digitális kísérletek, amelyek analóg és digitális rendszerek kombinációját használják.
Amikor egyesek a digitális kísérletekre gondolnak, azonnal gondolkodnak az online kísérletekről. Ez sajnálatos, mert a digitális kísérletek futtatásának lehetőségei nem csak onlineek. A kutatók részben digitális kísérleteket végezhetnek digitális eszközök használatával a fizikai világban a kezelések vagy az eredmények mérése érdekében. Például a kutatók intelligens telefonokat használhatnak a kezelések vagy érzékelők szállítására az épített környezetben az eredmények mérésére. Valójában - amint később lásd ebben a fejezetben - a kutatók már használtak otthoni teljesítménymérőket az energiafogyasztással kapcsolatos kísérletek eredményeinek mérésére, amelyekbe 8.5 millió háztartás tartozik (Allcott 2015) . Ahogy a digitális eszközök egyre inkább integrálódnak az emberek életébe, és az érzékelők integrálódnak az épített környezetbe, drámai módon megnőnek ezek a lehetőségek a fizikai világban részben digitális kísérletek végrehajtására. Más szóval, a digitális kísérletek nem csak online kísérletek.
A digitális rendszerek új lehetőségeket teremtenek a laboratóriumi kontinuum mentén mindenütt. A tiszta laboratóriumi kísérletekben például a kutatók digitális rendszereket használhatnak a résztvevők viselkedésének finomabb mérésére; Az ilyen típusú javított mérések egyik példája a szem-nyomkövető berendezés, amely pontos és folyamatos mérési helyzetet biztosít. A digitális kor lehetővé teszi a laboratóriumi kísérletek online működtetését is. Például a kutatók gyorsan elfogadták az Amazon Mechanical Turkt (MTurk), hogy részt vegyenek az online kísérletek résztvevőinek (4.2. Ábra). A MTurk megegyezik a "munkáltatókkal", akik olyan feladatokat látnak el, akiket a "munkások" -val kell ellátni, akik ezeket a feladatokat pénzért kívánják teljesíteni. A hagyományos munkaerőpiaccal ellentétben azonban az elvégzendő feladatok általában csak néhány percet igényelnek, és a munkaadók és a munkavállalók közötti interakció mindenütt online. Mivel a MTurk utánozza a hagyományos laboratóriumi kísérletek szempontjait - az emberek fizetése olyan feladatok elvégzésére, amelyeket nem szabad szabadon végezni - természetesen alkalmas bizonyos típusú kísérletekhez. Lényegében a MTurk létrehozta az infrastruktúrát a résztvevők számának kezelésére - az alkalmazottak toborzására és kifizetésére -, és a kutatók kihasználták ezt az infrastruktúrát, hogy elérhessék a résztvevők mindig rendelkezésre álló csoportját.
4.2 ábra: Papírok az Amazon Mechanical Turk (MTurk) adatainak felhasználásával. A MTurk és más online munkaerőpiacok a kutatók számára kényelmes módszert kínálnak arra, hogy résztvevőket vegyenek fel kísérletekre. Alkalmazva a Bohannon (2016) .
A digitális rendszerek még nagyobb lehetőségeket teremtenek a szántóföldi kísérletekhez. Különösen lehetővé teszik a kutatók számára, hogy kombinálják a szigorú ellenőrzési és folyamatadatokat, amelyek laboratóriumi kísérletekhez kapcsolódnak a sokszínűbb résztvevők és a természettudományi kísérletekhez kapcsolódó természetes beállításokkal. Ráadásul a digitális térbeli kísérletek három olyan lehetőséget kínálnak, amelyek analóg kísérletekben nehézségekbe ütköztek.
Először is, míg a legtöbb analóg laboratóriumi és kísérleti munka több száz résztvevővel rendelkezik, a digitális mező-kísérletek több millió résztvevővel rendelkezhetnek. Ez a skála változás azért van, mert egyes digitális kísérletek nullára változtatható költséggel tudnak adatokat készíteni. Ez azt jelenti, hogy miután a kutatók kísérleti infrastruktúrát hoztak létre, a résztvevők számának növelése általában nem növeli a költségeket. A résztvevők számának 100-as vagy annál nagyobb mértékű növelése nem csupán mennyiségi változás; ez minőségi változás, mivel lehetővé teszi a kutatók számára, hogy különböző dolgokat tanuljanak meg a kísérletekből (pl. a kezelési hatások heterogenitása), és teljesen más kísérleti terveket hajtsanak végre (pl. nagycsoportos kísérletek). Ez a pont annyira fontos, hogy visszajövök a fejezet vége felé, amikor tanácsot adok a digitális kísérletek megteremtéséről.
Másodszor, miközben a legtöbb analóg laboratóriumi és helyszíni kísérlet a résztvevőket megkülönböztethetetlen kütyükként kezeli, a digitális mezőnyben végzett kísérletek gyakran használnak háttérinformációt a résztvevőkről a kutatás tervezési és elemzési szakaszában. Ez a háttérinformáció, amelyet előkezelési információknak neveznek, gyakran elérhető a digitális kísérletekben, mert a folyamatosan működő mérési rendszerek tetején futnak (lásd a 2. fejezetet). Például egy Facebook kutatónak sokkal több előkezelési információja van a digitális terepi kísérletben résztvevőkről, mint egy egyetemi kutató az analóg kísérletében szereplő emberekről. Ez az előkezelés lehetővé teszi a hatékonyabb kísérleti tervek - mint például a blokkolás (Higgins, Sävje, and Sekhon 2016) és a résztvevők célzott toborzása (Eckles, Kizilcec, and Bakshy 2016) - és a részletesebb betekintést - például a kezelési hatások heterogenitásának becslését (Athey and Imbens 2016a) és a (Athey and Imbens 2016a) korrekciója a jobb pontosság érdekében (Bloniarz et al. 2016) .
Harmadszor, míg sok analóg laboratóriumi és helyszíni kísérlet viszonylag tömörített idő alatt kezeléseket és mérési eredményeket eredményez, néhány digitális mező-kísérlet sokkal hosszabb időtartamon keresztül történik. Például Restivo és van de Rijt kísérlete 90 napon keresztül naponta mérte az eredményt, és az egyik kísérlet, amit később elmondok a fejezetben (Ferraro, Miranda, and Price 2011) három év alatt nyomon követte az eredményeket. költség. Ez a három lehetőség nagysága, az előkezelésre vonatkozó információk, valamint a longitudinális kezelési és kimeneti adatok - leggyakrabban a kísérleteket a folyamatosan működő mérési rendszerek tetején állítják elő (lásd a 2. fejezetet a folyamatosan működő mérőrendszerekről).
Míg a digitális terepi kísérletek sok lehetőséget kínálnak, az analóg laboratóriumi és analóg térbeli kísérletekkel kapcsolatban is vannak gyengeségek. Például a kísérleteket nem lehet felhasználni a múlt tanulmányozására, és csak a manipulálható kezelések hatását becsülik meg. Továbbá, bár a kísérletek kétségtelenül hasznosak a szakpolitika irányításához, az általa ajánlott pontos útmutatás némileg korlátozott, például a környezeti függőség, a megfeleléssel kapcsolatos problémák és az egyensúlyi hatások miatt (Banerjee and Duflo 2009; Deaton 2010) . A digitális terepi kísérletek szintén nagyra értékelik a terepi kísérletek által létrehozott etikai aggodalmakat - egy olyan témát, amelyet a későbbiekben a fejezetben és a 6. fejezetben ismertetem.
