4.4 peržengiant paprastų eksperimentų

Peržvelkime paprastus eksperimentus. Turtingiems eksperimentams naudingos trys sąvokos: galiojimas, gydymo efektų heterogeniškumas ir mechanizmai.

Tyrėjai, kurie yra nauji eksperimentai, dažnai sutelkia dėmesį į labai specifinį, siaurą klausimą: ar šis gydymas "dirba"? Pavyzdžiui, ar savanoris paskambina kviečiant balsuoti? Ar svetainės mygtuko keitimas iš mėlynos spalvos į žalią padidina paspaudimų rodiklį? Deja, prarasti frazę apie tai, kas "dirba", neleidžia suprasti, kad siaurąja prasme eksperimentai tikrai neleidžia jums žinoti, ar gydymas "veikia" apskritai. Priešingai, siaurai sutelkti eksperimentai atsako į daug konkretesnį klausimą: koks yra vidutinis šio konkretaus gydymo poveikis šiuo konkrečiu šios grupės gyventojų šiuo metu įgyvendinimu? Aš vadinu eksperimentus, kurie sutelkti dėmesį į šį siaurą klausimą - paprastus eksperimentus .

Paprasti eksperimentai gali suteikti vertingos informacijos, bet jie nesugeba atsakyti į daugelį svarbių ir įdomių klausimų, pavyzdžiui, ar yra žmonių, kuriems gydymas turėjo didesnį ar mažesnį poveikį; ar yra kitas veiksmingesnis gydymas? ir ar šis eksperimentas susijęs su platesnėmis socialinėmis teorijomis.

Norint parodyti, kiek verta pereiti per paprastus eksperimentus, pažiūrėkime P. Wesley Schultz ir jo kolegų analoginį lauko eksperimentą apie socialinių normų ir energijos vartojimo santykį (Schultz et al. 2007) . Schultz ir jo kolegos iškėlė "300" namuose "San Marcos", Kalifornijoje, durų rankšluosčius, ir šie "doorhangers" pateikė įvairius pranešimus, skirtus energijos taupymui skatinti. Tuomet Schultz ir jo kolegos išmatavo šių pranešimų poveikį elektros energijos suvartojimui tiek po savaitės, tiek po trijų savaičių; Detalesnį eksperimentinio dizaino aprašymą žr. 4.3 paveiksle.

4.3 pav. Schultz et al. (2007) Eksperimentinio dizaino schemos Schultz et al. (2007) . Lauko eksperimentas susijęs su penkių kartų per aštuonias savaites peržiūrą apie 300 namų ūkių San Marcose, Kalifornijoje. Kiekvieno apsilankymo metu tyrėjai rankiniu būdu skaitė iš namo galios matuoklio. Dviejuose apsilankymuose jie kiekviename namuose atidarė durų rankenas, pateikdami tam tikrą informaciją apie namų ūkio energijos naudojimą. Tyrimo klausimas buvo, kaip šių pranešimų turinys turės įtakos energijos naudojimui.

Eksperimentas turėjo dvi sąlygas. Pirma, namų ūkiai gavo bendrų energijos taupymo patarimų (pvz., Naudokite ventiliatorių vietoj oro kondicionierių) ir informaciją apie jų energijos sunaudojimą, palyginti su vidutiniu energijos vartojimu jų kaimynystėje. Schultz ir jo kolegos pavadino tai apibūdinančia normatyvine būkle, nes informacija apie energijos vartojimą kaimynystėje teikė informaciją apie tipišką elgesį (ty aprašomąją normą). Kai Schultzas ir jo kolegos žvelgdavo į energijos vartojimą šioje grupėje, gydymas pasirodė neveiksmingas tiek trumpuoju, tiek ilguoju laikotarpiu; kitaip tariant, atrodo, kad gydymas "neveikia" (4.4 pav.).

Laimei, Schultz ir jo kolegos nesusitarė dėl šios supaprastintos analizės. Prieš pradedant eksperimentą, jie motyvavo, kad sunkūs elektros energijos vartotojai, kurie yra didesni už vidutinį, gali sumažinti jų vartojimą ir kad lengvieji elektros vartotojai, kurie yra mažesni už vidurkį, iš tiesų gali padidinti savo vartojimą. Kai jie pažvelgė į duomenis, tai būtent jie ir rasta (4.4 pav.). Taigi, tai, kas atrodė kaip gydymas, kuris neturėjo jokios įtakos, iš tiesų buvo gydymas, turintis dvi kompensacines pasekmes. Šis neproduktyvus šviesos naudotojų skaičius yra bumerango efekto pavyzdys, kai gydymas gali turėti priešingą poveikį, nei buvo numatyta.

4.4 pav. Schultz et al. (2007) Rezultatai Schultz et al. (2007) . Skydas (a) rodo, kad apibūdinamojo normavimo gydymas yra apskaičiuotas beveik vidutinis gydymo efektas. Tačiau skydelis (b) rodo, kad šis vidutinis gydymo efektas iš tikrųjų susideda iš dviejų kompensuojamųjų efektų. Sunkiems vartotojams gydymas sumažėjo, o lengviems vartotojams gydymas padidėjo. Galiausiai skydelis (c) rodo, kad antras gydymas, kuris apibūdino ir uždraustų normas, turėjo maždaug tokį patį poveikį dideliems vartotojams, bet sušvelnino bumerango poveikį lengviems vartotojams. Pritaikytas iš Schultz et al. (2007) .

Kartu su pirmąja būkle, Schultz ir jo kolegos taip pat patyrė antrąją būklę. Antrajai būklei priklausantys namų ūkiai gavo tokius pat metodus kaip energijos taupymo patarimai ir informacija apie jų namų ūkio energijos vartojimą, palyginti su jų apylinkių vidurkiu, - su vienu nedideliu papildymu: žmonėms, kurių suvartojimas yra mažesnis už vidutinį, mokslininkai pridūrė: ) ir žmonėms, kurių suvartojimas yra didesnis nei vidutiniškai, jie pridėjo: (.) ​​Šie šypseneliai buvo sukurti taip, kad tyrinėtojas būtų vadinamas uždraudimo normomis . Įtariamos normos reiškia supratimą apie tai, kas paprastai yra patvirtinta (ir nepatvirtinta), o apibūdinančios normos yra susijusios su supratimu apie kas paprastai daroma (Reno, Cialdini, and Kallgren 1993) .

Pridėję šį mažą šypsenėlę, mokslininkai dramatiškai sumažino bumerango efektą (4.4 pav.). Taigi, atlikdami šį vieną paprastą pakeitimą - pokytį, kuris buvo motyvuotas abstrakčia socialine psichologine teorija (Cialdini, Kallgren, and Reno 1991) Tyrėjai sugebėjo paversti programą, kuri, atrodo, neveikia, ir tuo pačiu metu jie galėjo prisidėti prie bendro supratimo apie tai, kaip socialinės normos įtakoja žmogaus elgesį.

Tačiau šiuo metu galite pastebėti, kad šis eksperimentas yra šiek tiek kitoks. Konkrečiai, eksperimentas su Schultz ir jo kolegomis iš tiesų neturi kontrolinės grupės tuo pačiu būdu, kaip atliekami atsitiktinių imčių kontroliuojami eksperimentai. Šio dizaino ir "Restivo" bei "van de Rijt" modelio palyginimas parodo dviejų pagrindinių eksperimentinių dizainų skirtumus. Tarp subjektų dizaino , pavyzdžiui, "Restivo" ir "van de Rijt" modelių , yra gydymo grupė ir kontrolinė grupė. Kita vertus, subjektų dizaino metu dalyvių elgesys lyginamas prieš ir po gydymo (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Tiriamojo eksperimento metu kiekvienas dalyvis veikia kaip savo kontrolės grupė. Tarp subjektų dizaino stiprumas yra tai, kad jie užtikrina apsaugą nuo klaidų (kaip aprašyta anksčiau), o eksperimentų tarp subjektų stiprumas padidina įvertinimų tikslumą. Galiausiai, norint paskatinti idėją, kuri ateis vėliau, kai aš siūlau patarti, kaip kurti skaitmeninius eksperimentus, "mixed design_combines" sukuria patobulintą objektų dizaino tikslumą ir apsaugą nuo tarpusavio objektų dizaino sumaišymo (4.5 pav.).

4.5 paveikslas. Trys eksperimentiniai projektai. Standartiniai atsitiktinių imčių kontroliuojami eksperimentai taikomi tarpusavio subjektų dizainams. Tarpdisciplininio dizaino pavyzdys yra Restivo ir van de Rijto (2012) Eksperimentas dėl "Barnstars" ir įnašų į Vikipediją: mokslininkai atsitiktinai suskirstė dalyvius į gydymo ir kontrolinės grupės, gydymo grupės nariams suteikė "Barnstar" ir palygino rezultatus dvi grupės. Antrasis dizaino dizainas yra subjektų dizainas. Du eksperimentai, atlikti Schultz ir jo kolegų (2007) Tyrime dėl socialinių normų ir energijos vartojimo, iliustruoja subjektų dizainą: mokslininkai palygino dalyvių naudojimą elektros energijoje prieš ir po gydymo. Tarpdalykiniai dizainai turi geresnę statistinę tikslumą, tačiau jie gali (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) (pvz., Pasikeitus orui tarp pirminio apdorojimo ir gydymo laikotarpių) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Tarpdalykiniai dizainai taip pat kartais vadinami pakartotinėmis priemonėmis. Galiausiai, mišrus dizainas sujungia patobulintą objektų dizaino preciziškumą ir apsaugą nuo skirtingų dalykų dizaino sugadinimo. Mišriame projekte mokslininkas palygina gydymo ir kontrolinių grupių žmonių pasikeitimą. Kai mokslininkai jau turi informacijos apie išankstinį gydymą, kaip tai daroma daugelyje skaitmeninių eksperimentų, dažniausiai mišrus dizainas yra geresnis už tarpusavio dizaino projektus, nes dėl jų pagerėja įvertinimų tikslumas.

Apskritai, Schultz ir jo kolegų (2007) Atlikto tyrimo projektas ir rezultatai rodo, kad verta daugiau nei paprastų eksperimentų. Laimei, jums nereikia būti kūrybingu genijumi, kad galėtumėte kurti tokius eksperimentus. Socialiniai mokslininkai sukūrė tris sąvokas, kurios padės jums sugrupuoti į turtingesnius eksperimentus: (1) galiojimą, (2) gydymo efektų heterogeniškumą ir (3) mechanizmus. Tai reiškia, kad jei laikysitės šių trijų idėjų, kai kuriate eksperimentą, natūraliai sukursite įdomiausią ir naudingesnį eksperimentą. Siekiant iliustruoti šias tris veiklos koncepcijas, apibūdinsiu keletą papildomų skaitmeninio lauko eksperimentų, kurie buvo pagrįsti elegantišku dizainu ir įdomiais Schultz ir jo kolegų (2007) . Kaip matysite, atlikdami kruopštesnį projektavimą, įgyvendinimą, analizę ir aiškinimą, taip pat galite pereiti prie paprastų eksperimentų.