4.4 Posun za hranice jednoduchých experimentov

Presuňme sa za jednoduché pokusy. Pre bohaté experimenty sú užitočné tri pojmy: platnosť, heterogenita účinkov liečby a mechanizmy.

Výskumníci, ktorí sú experimentovaní noví, sa často zameriavajú na veľmi špecifickú, úzku otázku: Spravuje táto liečba "prácu"? Napríklad, telefonát od dobrovoľníka povzbudzuje niekoho, kto volí? Zmena stránky webových stránok z modrej na zelenú zvýši mieru prekliknutia? Bohužiaľ, voľné frázy o tom, čo "funguje", zakrýva skutočnosť, že úzko zamerané experimenty v skutočnosti nehovoria, či liečba "funguje" vo všeobecnom zmysle. Skôr úzko zamerané experimenty odpovedajú na oveľa konkrétnejšiu otázku: Aký je priemerný účinok tohto konkrétneho zaobchádzania s touto konkrétnou implementáciou pre túto populáciu účastníkov v tejto dobe? Zavolám experimenty, ktoré sa zameriavajú na túto úzku otázku jednoduché experimenty .

Jednoduché experimenty môžu poskytnúť cenné informácie, ale nedokážu odpovedať na mnohé otázky, ktoré sú dôležité a zaujímavé, ako napríklad to, či existujú niektorí ľudia, pre ktorých liečba mala väčší alebo menší účinok; či existuje iné zaobchádzanie, ktoré by bolo efektívnejšie; a či tento experiment súvisí so širšími sociálnymi teóriami.

Aby sme preukázali hodnotu prechodu od jednoduchých experimentov, uvažujme o analógovom terénnom experimente P. Wesleya Schultza a kolegov o vzťahu medzi sociálnymi normami a spotrebou energie (Schultz et al. 2007) . Schultz a jeho kolegovia viseli na 300 domácnostiach v San Marcos v Kalifornii a títo dverí mu poskytli rôzne správy určené na podporu úspor energie. Potom Schultz a kolegovia merali účinok týchto správ na spotrebu elektrickej energie, a to po jednom týždni a po troch týždňoch; podrobnejší opis experimentálnej konštrukcie nájdete na obrázku 4.3.

Obrázok 4.3: Schéma experimentálneho návrhu od Schultz et al. (2007) . Terénny experiment zahŕňal návštevu približne 300 domácností v meste San Marcos v Kalifornii päťkrát počas osemtýždňového obdobia. Pri každej návšteve sa vedci manuálne odčítavali od elektromera domu. Pri dvoch návštevách umiestnili na každý dom nejaké informácie o spotrebe energie domácnosti. Otázkou výskumu bolo, ako by obsah týchto správ ovplyvnil spotrebu energie.

Experiment mal dve podmienky. V prvom rade domácnosti dostali všeobecné tipy na úsporu energie (napr. Použite fanúšikov namiesto klimatizačných zariadení) a informácie o ich spotrebe energie v porovnaní s priemernou spotrebou energie v ich susedstve. Schultz a jeho kolegovia nazvali tento popisný normatívny stav, pretože informácie o využívaní energie v susedstve poskytovali informácie o typickom správaní (tj popisnej norme). Keď Schultz a kolegovia skúmali výslednú spotrebu energie v tejto skupine, zdá sa, že liečba nemá žiadny účinok, či už krátkodobo alebo dlhodobo; inými slovami, liečba sa zdá, že "nefunguje" (obrázok 4.4).

Našťastie sa Schultz a kolegovia neuspokojili s touto zjednodušenou analýzou. Pred začatím experimentu sa domnievali, že ťaží užívatelia elektriny - ľudia nad priemerom - by mohli znížiť svoju spotrebu a že ľahké užívatelia elektrickej energie - ľudia, ktorí sú menej ako priemer - by mohli skutočne zvýšiť svoju spotrebu. Keď sa na údaje pozreli, presne to, čo našli (obrázok 4.4). To, čo vyzeralo ako liečba, ktorá nemala žiadny účinok, bola skutočne liečba, ktorá mala dva vyrovnávacie účinky. Toto kontraproduktívne zvýšenie medzi ľahkými používateľmi je príkladom bumerangového efektu , kde liečba môže mať opačný účinok od toho, čo bolo zamýšľané.

Obrázok 4.4: Výsledky od Schultz et al. (2007) . Panel (a) ukazuje, že popisná normálna úprava má odhadovaný nulový priemerný účinok liečby. Avšak panel (b) ukazuje, že tento priemerný účinok liečby sa skutočne skladá z dvoch kompenzujúcich účinkov. Pre ťažkých používateľov liečba znižovala ich využitie, ale pre ľahkých používateľov liečba zvýšila ich využitie. Nakoniec panel (c) ukazuje, že druhá liečba, ktorá používala popisné a príkazové normy, mala zhruba rovnaký účinok na ťažkých používateľov, ale zmiernil bumerangový efekt na ľahkých používateľov. Adaptované od Schultz et al. (2007) .

Simultánne k prvej podmienke, Schultz a kolegovia tiež bežali druhú podmienku. Domácnosti v druhej podmienke dostali presne rovnaký typ ošetrenia - všeobecné tipy na úsporu energie a informácie o spotrebe energie v domácnostiach v porovnaní s priemerom ich okolia - s jedným malým prírastkom: pre ľudí s nižšou spotrebou výskumníci pridali: ) a pre ľudí s nadpriemernou spotrebou pridali :( Tieto smajlíky boli navrhnuté tak, aby spustili to, čo výskumníci nazývali príkaznými normami.Príbežné normy sa vzťahujú na vnímanie toho, čo je bežne schválené (a neschválené), zatiaľ čo popisné normy sa vzťahujú na vnímanie čo sa bežne robí (Reno, Cialdini, and Kallgren 1993) .

Pridaním tohto malého emotikonu výskumníci dramaticky znížili efekt bumerangu (obrázok 4.4). Preto tým, že urobila túto jednoduchú zmenu - zmenu, ktorá bola motivovaná abstraktnou sociálnou psychologickou teóriou (Cialdini, Kallgren, and Reno 1991) - výskumníci dokázali zmeniť program, ktorý sa nezdalo do toho, a súčasne dokázali prispieť k všeobecnému pochopeniu toho, ako sociálne normy ovplyvňujú ľudské správanie.

V tomto okamihu si však možno všimnete, že sa niečo odlišuje od tohto experimentu. Konkrétne experiment Schultza a kolegov nemá v skutočnosti kontrolnú skupinu rovnakým spôsobom, ako to robia randomizované kontrolované experimenty. Porovnanie medzi týmto dizajnom a rezimom Restivo a van de Rijt ilustruje rozdiely medzi dvoma hlavnými experimentálnymi návrhmi. V dizajnoch medzi jednotlivými subjektami , ako sú napríklad modely Restivo a van de Rijt, existuje skupina na liečenie a kontrolná skupina. V projektoch v rámci jednotlivých subjektov sa porovnáva správanie účastníkov pred a po liečbe (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . V rámci experimentu v rámci subjektu je každý účastník ako vlastná kontrolná skupina. Pevnosť návrhov medzi jednotlivými subjektmi spočíva v tom, že poskytujú ochranu proti zmäteným látkam (ako som už opísal), zatiaľ čo intenzita pokusov medzi ľuďmi je vyššia presnosť odhadov. A nakoniec, aby som predpovedal myšlienku, ktorá sa objaví neskôr, keď ponúknem poradenstvo pri navrhovaní digitálnych experimentov, zmiešaný design_combines zlepšuje presnosť dizajnov vo vnútri objektov a ochranu proti zameneniu dizajnov medzi jednotlivcami (obrázok 4.5).

Obrázok 4.5: Tri experimentálne návrhy. Štandardné randomizované kontrolované experimenty používajú návrhy medzi jednotlivými subjektami . Príkladom návrhu medzi jednotlivými objektmi sú experimenty Restivo a van de Rijt (2012) o barnstars a príspevky na Wikipédiu: výskumníci náhodne rozdelili účastníkov do skupín liečby a kontroly, poskytli účastníkom liečenej skupiny barnstar a porovnali výsledky pre dve skupiny. Druhý typ dizajnu je dizajn v rámci predmetov . Dva experimenty v štúdii Schultza a kolegov (2007) o sociálnych normách a spotrebe energie ilustrujú návrh v rámci predmetov: výskumníci porovnali využívanie elektriny účastníkov pred a po liečbe. Projekty v rámci jednotlivých subjektov ponúkajú vyššiu štatistickú presnosť, ale sú otvorené možným zmätkom (napr. Zmeny počasia medzi obdobím pred liečbou a liečbou) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Vnútropodnikové návrhy sa niekedy nazývajú návrhy opakovaných opatrení. Napokon, zmiešané vzory spájajú zvýšenú presnosť dizajnov vnútropodnikov a ochranu proti zmierneniu návrhov medzi sebou. V zmiešanom projekte výskumník porovnáva zmenu výsledkov pre ľudí v liečených a kontrolných skupinách. Keď výskumníci už majú informácie o predbežnej liečbe, ako je tomu v prípade mnohých digitálnych experimentov, zmiešané vzory sú vo všeobecnosti uprednostňované vzhľadom na návrhy medzi jednotlivými subjektmi, pretože majú za následok vyššiu presnosť odhadov.

Návrh a výsledky štúdie, ktorú vypracovali Schultz a kolegovia (2007) celkovo ukazujú hodnotu prechodu od jednoduchých experimentov. Našťastie nemusíte byť kreatívnym géniom pri navrhovaní takýchto experimentov. Sociálni vedci vyvinuli tri pojmy, ktoré vás dovedú k bohatším pokusom: (1) platnosť, (2) heterogenita účinkov liečby a (3) mechanizmy. Ak máte na pamäti tieto tri myšlienky počas navrhovania experimentu, prirodzene vytvoríte zaujímavý a užitočnejší experiment. Na ilustráciu týchto troch koncepcií v akcii popíšem niekoľko následných čiastočne digitálnych experimentov, ktoré vychádzali z elegantného dizajnu a vzrušujúcich výsledkov Schultza a kolegov (2007) . Ako uvidíte, pomocou starostlivejšej koncepcie, implementácie, analýzy a interpretácie môžete aj vy prekonať jednoduché experimenty.