4.4 Irrottautuminen yksinkertaisia kokeita
Siirrymme yksinkertaisten kokeiden ulkopuolelle. Kolme konseptia ovat hyödyllisiä rikkaille kokeille: pätevyyden, hoidon vaikutusten heterogeenisyyden ja mekanismit.
Tutkijoille, jotka ovat uusia kokeiluissa, keskitytään usein hyvin tarkkaan, kapeaan kysymykseen: Onko tämä hoito "töissä"? Esimerkiksi vapaaehtoisten puhelinsoitto kannustaa jokuään äänestämään? Muuttaako verkkosivuston painikkeen vaihtamista sinisestä vihreään napsautussuhdetta? Valitettavasti löysä sanonta siitä, mitä "toimii" hämärtää sen, että harvoin keskitetyt kokeet eivät oikeastaan kerro, onko hoito "toimii" yleisessä mielessä. Pikemminkin tarkkaan keskittyneet kokeet vastaa- vat paljon konkreettisempaan kysymykseen: mikä on tämän erityiskäsittelyn keskimääräinen vaikutus tähän erityiseen toteutukseen tällä osallistujaryhmällä tällä hetkellä? Minä kutsuisin kokeita, jotka keskittyvät tähän kapeaan kysymykseen yksinkertaisista kokeiluista .
Yksinkertaiset kokeet voivat antaa arvokasta tietoa, mutta he eivät pysty vastaamaan moniin tärkeisiin ja mielenkiintoisiin kysymyksiin, kuten onko olemassa joitakin ihmisiä, joille hoito oli suurempi tai pienempi; onko olemassa toinen hoito, joka olisi tehokkaampaa; ja onko tämä kokeilu laajempia yhteiskunnallisia teorioita.
Jotta voitaisiin osoittaa, että arvo siirtyy yksinkertaisten kokeiden ulkopuolelle, tarkastellaan P. Wesley Schultzin ja kollegoiden analogista kenttätutkimusta sosiaalisten normien ja energiankulutuksen välisestä suhteesta (Schultz et al. 2007) . Schultz ja kollegat ripustivat ovenvarusteita 300 kotitaloudessa San Marcosissa Kaliforniassa, ja nämä ovipuhelimet toimittivat eri viestit, jotka on suunniteltu edistämään energiansäästöä. Sitten Schultz ja kollegat mitasivat näiden sanomien vaikutuksen sähkönkulutukseen viikon ja kolmen viikon kuluttua; katso kuvio 4.3 tarkempaan kuvaukseen kokeellisesta suunnittelusta.
Kuvio 4.3: Kaaviokuva kokeellisesta suunnittelusta Schultz et al. (2007) . Kenttätesti kävi noin 300 kotitaloutta San Marcosissa Kaliforniassa viisi kertaa kahdeksan viikon aikana. Jokaisella vierailulla tutkijat käsittelivät manuaalisesti talon tehomittaria. Kahdessa käyntien yhteydessä he pitivät jokaiselle talolle ovihuovat, jotka antoivat tietoa kotitalouksien energiankäytöstä. Tutkimuskysymys oli, kuinka näiden viestien sisältö vaikuttaisi energiankäyttöön.
Koe oli kaksi ehtoa. Ensimmäisessä vaiheessa kotitaloudet saivat yleisiä energiansäästövihjeitä (esim. Käyttävät puhaltimia ilmastointilaitteiden sijasta) ja tietoa energiankulutuksestaan keskimääräiseen energiankulutukseen lähiympäristössä. Schultz ja kollegat kutsuivat tätä kuvailevaksi normatiiviseksi edellytykseksi, koska naapuruston energiankäyttöä koskevat tiedot antoivat tietoa tyypillisestä käyttäytymisestä (eli kuvaavasta normista). Kun Schultz ja kollegat tutkivat tuloksena olevaa energiankäyttöä tässä ryhmässä, hoidolla ei näyttänyt olevan vaikutusta lyhyellä tai pitkällä aikavälillä; toisin sanoen hoito ei näyttänyt "toimivan" (kuva 4.4).
Onneksi Schultz ja kollegat eivät tyytyneet tähän yksinkertaiseen analyysiin. Ennen kuin kokeilu alkoi, he ajattelivat, että sähkönkuluttajat, jotka ovat keskimääräistä suurempia, saattavat vähentää kulutustaan ja että sähkönkäyttäjät, jotka ovat alle keskiarvot, saattavat todella lisätä kulutustaan. Kun he katselivat tietoja, juuri he löysivät (kuva 4.4). Sellainen hoito, jolla ei ollut mitään vaikutusta, oli tosiasiallisesti hoito, jolla oli kaksi kompensoivaa vaikutusta. Tämä haitallinen kasvu kevyiden käyttäjien keskuudessa on esimerkki boomerangivaikutuksesta , jossa hoidolla voi olla päinvastainen vaikutus kuin aiotulla tavalla.
Kuva 4.4: Schultz et al. (2007) . Paneeli (a) osoittaa, että kuvailevassa normaalikäsittelyssä on arvioitu keskimääräinen hoitovaikutus. Kuitenkin paneeli (b) osoittaa, että tämä keskimääräinen hoitovaikutus koostuu todellisuudessa kahdesta kompensoivasta vaikutuksesta. Raskaille käyttäjille hoito vähensi käyttöä, mutta kevyille käyttäjille hoito lisäsi käyttöä. Lopuksi paneeli (c) osoittaa, että toisella käsittelyllä, jossa käytettiin kuvailevia ja kieltäviä normeja, oli suurin piirtein sama vaikutus raskaisiin käyttäjiin, mutta lievennettiin bumerangivaikutusta kevyille käyttäjille. Mukautettu Schultz et al. (2007) .
Samanaikaisesti ensimmäisen edellytyksen kanssa Schultz ja hänen kollegansa käyttivät myös toisen ehdon. Toisessa kunnossa kotitaloudet saivat täsmälleen samat yleishyödylliset energiaa säästävät vinkit ja tiedot kotitalouksien energiankulutuksesta lähiympäristönsä keskiarvoon verrattuna, pienellä lisäyksellä: ihmisille, joilla on keskimääräinen kulutus, tutkijat lisäsivät: ) ja ihmisille, joilla on keskimääräinen kulutus, he lisäsivät: (Nämä hymiöt on suunniteltu käynnistämään, mitä tutkijat kutsuivat kieltomääräyksiksi . mitä tehdään yleisesti (Reno, Cialdini, and Kallgren 1993) .
Lisäämällä tämä pieni hymiö tutkijat vähensivät dramaattisesti bumerangivaikutusta (kuva 4.4). Näin tekemällä tämä yksinkertainen muutos - muutos, jota motivoi abstrakti sosiaalipsykologinen teoria (Cialdini, Kallgren, and Reno 1991) - tutkijat pystyivät kääntämään ohjelman, joka ei näyttänyt toimivan sellaisena, ja samalla he pystyivät myötävaikuttamaan yleiseen käsitykseen siitä, miten sosiaaliset normit vaikuttavat ihmiskäyttäytymiseen.
Tässä vaiheessa saatat huomata, että jotain on hieman erilainen tästä kokeesta. Erityisesti Schultzin ja hänen kollegoidensa kokeilla ei todellakaan ole kontrolliryhmää samalla tavoin kuin satunnaistetut kontrolloidut kokeet. Vertailun tämän mallin ja Restivon ja van de Rijtin välillä havainnollistaa kahden suuren kokeellisen mallin välisiä eroja. Muutamien aihepiirien mallit , kuten Restivo ja van de Rijt, on hoitoryhmä ja kontrolliryhmä. (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) suunnittelussa toisaalta verrataan osallistujien käyttäytymistä ennen hoitoa ja sen jälkeen (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Kenttäkokeessa on kuin kukin osallistuja toimii omana kontrolliryhmänään. Suhteiden välinen vahvuus on, että ne tarjoavat suojaa sekoittimilta (kuten olen aikaisemmin kuvattu), kun taas sisäisten aiheiden kokeiden voimakkuus on lisääntynyt estimaattien tarkkuus. Lopuksi, ennakoimaan ideaa, joka tulee myöhemmin, kun tarjoan neuvoja digitaalisten kokeiden suunnittelusta, sekoitettu suunnittelu -suunnitelmassa parannetaan tarkkuutta aihepiireittäin suunnitelluissa kuvioissa ja suojataan eri aihepiirien mallien sekoittumista (kuvio 4.5).
Kuva 4.5: Kolme kokeellista mallia. Satunnaistetut satunnaistetut kontrolloidut kokeet käyttävät toisistaan aihepiirejä . Esimerkki aiheiden välisestä mallista on Restivo ja van de Rijtin (2012) kokeilu barnstars-sivuilla ja Wikipediasta: tutkijat satunnaisesti jakautivat osanottajia hoito- ja kontrolliryhmille, antoivat hoitoryhmälle osanottajille barnstarin ja vertailivat tuloksia kaksi ryhmää. Toinen tyyppinen muotoilu on aihepiirikohtainen muotoilu. Schultzin ja kollegoiden (2007) tutkimuksessa sosiaalisista normeista ja energiankäytöstä käyvät ilmi aihepiirikohtainen suunnittelu: tutkijat vertailivat osallistujien sähkönkäyttöä ennen hoidon vastaanottamista ja sen jälkeen. Aihepiirikohtaiset mallit tarjoavat paremman tilastollisen tarkkuuden, mutta ne ovat avoimia mahdollisille sekoittimille (esim (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) sääolosuhteiden ja hoitojaksojen välillä) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Aihepiiriin kuuluvia aiheita kutsutaan toisinaan toistuviksi toimenpiteiksi. Lopuksi sekamuotoiset mallit yhdistävät sisäisten aihepiirien suunnittelun parantuneen tarkkuuden ja suojaa eri aihepiirustussuunnitelmien välillä. Sekarakenteessa tutkija vertaa hoito- ja kontrolliryhmän ihmisten tulosten muutosta. Kun tutkijoilla on jo ennalta käsiteltäviä tietoja, kuten useissa digitaalisissa kokeissa, sekamuotoilut ovat yleensä mieluummin eri aihepiirien välillä, koska ne johtavat arvioiden parempaan tarkkuuteen.
Kaiken kaikkiaan Schultzin ja hänen kollegansa (2007) tekemän tutkimuksen suunnittelu ja tulokset osoittavat, että arvo ylittää yksinkertaiset kokeilut. Onneksi sinun ei tarvitse olla luova nero suunnitella tällaisia kokeiluja. Yhteiskuntatieteilijät ovat kehittäneet kolme käsitteistöä, jotka ohjaavat sinua kohti rikkaampia kokeita: (1) pätevyys, (2) hoidon vaikutusten heterogeenisuus ja (3) mekanismit. Eli jos pidät nämä kolme ideaa mielessä, kun suunnittelet kokeilua, luo luonnollisesti mielenkiintoisempi ja hyödyllisempi kokeilu. Näiden kolmen käsitteen havainnollistamiseksi kuvataan joitain seurantaa osittain digitaalisia kenttäkokeita, jotka perustuvat Schultzin ja työtovereiden tyylikkääseen muotoiluun ja jännittäviin tuloksiin (2007) . Kuten näette, huolellisemman suunnittelun, toteutuksen, analyysin ja tulkinnan avulla voit myös siirtyä yksinkertaisten kokeiden ulkopuolelle.
