4.4 Posun za hranice jednoduchých experimentů

Pojďme dál za jednoduché experimenty. Pro bohaté experimenty jsou užitečné tři pojmy: platnost, heterogenita léčebných účinků a mechanismy.

Výzkumní pracovníci, kteří jsou experimentální noví, se často zaměřují na velmi specifickou a úzkou otázku: "Léčí tato léčba"? Například telefonní hovor od dobrovolníka povzbuzuje někoho k hlasování? Změní tlačítko webových stránek z modré na zelenou zvýšit míru prokliku? Bohužel volné formulování o tom, co "funguje", zakrývá skutečnost, že úzce zaměřené experimenty neříkají, že léčba "funguje" ve všeobecném smyslu. Spíše úzce zaměřené experimenty odpovídají na mnohem konkrétnější otázku: Jaký je průměrný účinek tohoto konkrétního zacházení s touto konkrétní implementací pro tuto populaci účastníků v této době? Zavolám experimenty, které se zaměřují na tuto úzkou otázku jednoduché experimenty .

Jednoduché experimenty mohou poskytnout cenné informace, ale neodpovídají na mnoho důležitých a zajímavých otázek, jako je to, zda existují někteří lidé, pro které má léčba větší nebo menší účinek; zda existuje další léčba, která by byla účinnější; a zda se tento experiment týká širších sociálních teorií.

Abychom ukázali hodnotu přesunu nad rámec jednoduchých experimentů, uvažujme o analogickém terénním experimentu P. Wesleya Schultze a kolegů o vztahu sociálních norem a spotřeby energie (Schultz et al. 2007) . Schultz a jeho kolegové viseli na 300 domácnostech v San Marcos v Kalifornii, a tito doorhangers dodali různé zprávy navržené tak, aby podporovaly úsporu energie. Schultz a kolegové pak změřili vliv těchto zpráv na spotřebu elektřiny, a to jak po jednom týdnu, tak po třech týdnech; viz obrázek 4.3 pro podrobnější popis experimentálního návrhu.

Obrázek 4.3: Schéma experimentálního návrhu od Schultz et al. (2007) . Terénní experiment zahrnoval návštěvu přibližně 300 domácností v San Marcos v Kalifornii pětkrát během osmi týdnů. Při každé návštěvě učitelé ručně vzali čtení z měřiče výkonu domu. Během dvou návštěv postavili na každý dům dveře a poskytovaly informace o spotřebě energie domácnosti. Otázka výzkumu spočívala v tom, jak by obsah těchto zpráv ovlivňoval využití energie.

Experiment měl dvě podmínky. V prvé řadě domácnosti obdržely obecné tipy na úsporu energie (např. Používají ventilátory místo klimatizačních zařízení) a informace o jejich spotřebě energie ve srovnání s průměrnou spotřebou energie v jejich okolí. Schultz a kolegové nazývali tento popisný normativní stav, protože informace o spotřebě energie v okolí poskytovaly informace o typickém chování (tj. Popisné normě). Když se Schultz a kolegové podívali na výslednou spotřebu energie v této skupině, zdálo se, že léčba nemá žádný účinek, ať už krátkodobě nebo dlouhodobě; jinými slovy, léčba se nezdá "pracovat" (obrázek 4.4).

Naštěstí se Schultz a kolegové neuspokojili tuto zjednodušující analýzu. Před zahájením experimentu se domnívali, že těžké uživatele elektřiny - lidí nad průměrnou mírou - by mohly snížit svou spotřebu a že lehčí uživatelé elektřiny - lidé pod úrovní průměru - by skutečně mohli zvýšit svou spotřebu. Když se podívali na data, přesně to našli (obrázek 4.4). To, co vypadalo jako léčba, která neměla žádný účinek, byla ve skutečnosti léčba, která měla dva vyrovnávací účinky. Tento kontraproduktivní nárůst mezi světelnými uživateli je příkladem bumerangového efektu , kdy léčba může mít opačný účinek než to, co bylo zamýšleno.

Obrázek 4.4: Výsledky od Schultz et al. (2007) . Panel (a) ukazuje, že popisná normová úprava má odhadovaný nulový průměrný účinek. Tabulka (b) však ukazuje, že tento průměrný účinek léčby je ve skutečnosti složen ze dvou vyrovnávacích účinků. Pro těžké uživatele léčba snížila užívání, ale pro lehké uživatele, léčba zvýšila jejich využití. Konečně, panel (c) ukazuje, že druhá léčba, která používala popisné a soudní normy, měla zhruba stejný účinek na těžké uživatele, ale zmírnila bumerangový efekt na uživatele. Adaptováno od Schultz et al. (2007) .

Simultánně k první podmínce, Schultz a kolegové také běžel druhou podmínku. Domácnosti ve druhém stavu obdržely přesně stejný způsob ošetření - obecné tipy na úsporu energie a informace o spotřebě energie v domácnosti ve srovnání s průměrem jejich okolí - s jedním malým přírůstkem: pro lidi s podprůměrnou spotřebou výzkumníci přidali: ) a pro lidi s nadprůměrnou spotřebou přidali :( Tyto emotikony byly navrženy tak, aby vyvolaly to, co vědci nazývají příkazy k porušení . "Protidrojové normy se týkají vnímání toho, co je obecně schváleno (a nesouhlaseno), zatímco deskriptivní normy odkazují na vnímání co se obvykle dělá (Reno, Cialdini, and Kallgren 1993) .

Přidáním tohoto drobného emotikonu výzkumníci výrazně snížili účinek bumerangu (obrázek 4.4). Takže tím, že se jednalo o jednu jednoduchou změnu - změnu motivovanou abstraktní sociální psychologickou teorií (Cialdini, Kallgren, and Reno 1991) - vědci dokázali obrátit program, který zřejmě nefungoval do toho, a současně byli schopni přispět k obecnému pochopení toho, jak sociální normy ovlivňují lidské chování.

V tomto okamžiku však můžete zaznamenat, že něco je o tomto experimentu trochu jiné. Zejména experiment Schultze a kolegů nemá ve skutečnosti kontrolní skupinu stejným způsobem, jakým provádí randomizované kontrolované experimenty. Porovnání tohoto designu s konstrukcí Restivo a van de Rijt ilustruje rozdíly mezi dvěma hlavními experimentálními návrhy. U konstrukcí mezi jednotlivými subjekty , jako je například model Restivo a van de Rijt, existují léčebné skupiny a kontrolní skupina. V (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) uvnitř subjektů se porovnává chování účastníků před a po léčbě (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . V experimentu uvnitř subjektu je to, jako by každý účastník jednal jako svou vlastní kontrolní skupinu. Síla návrhů mezi jednotlivými subjekty spočívá v tom, že poskytují ochranu před záměnami (jak jsem popsal dříve), zatímco síla experimentů uvnitř subjektů zvyšuje přesnost odhadů. Konečně, abychom předpověděli myšlenku, která přijde později, když nabídnu radu ohledně navrhování digitálních experimentů, zmíněný design_combines zlepšuje přesnost návrhů uvnitř subjektů a ochranu proti záměně návrhů mezi jednotlivými subjekty (obrázek 4.5).

Obrázek 4.5: Tři experimentální návrhy. Standardní randomizované kontrolované experimenty používají návrhy mezi jednotlivými subjekty . Příkladem návrhu mezi jednotlivými subjekty jsou experimenty Restivo a van de Rijt (2012) o barnstarech a příspěvky na Wikipedii: výzkumníci náhodně rozdělili účastníky na léčebné a kontrolní skupiny, poskytli účastníkům léčebné skupiny barnstaru a srovnávali výsledky pro dvě skupiny. Druhý typ konstrukce je návrh v rámci předmětů . Dva experimenty ve studii Schultze a kolegů (2007) o sociálních normách a spotřebě energie ilustrují návrh v rámci předmětů: výzkumníci porovnali využití elektřiny účastníků před a po léčbě. Projekty uvnitř objektů nabízejí lepší statistickou přesnost, jsou však otevřené možným zmatením (např. Změny počasí mezi předběžnou a léčebnou dobou) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Návrhy uvnitř subjektů se někdy nazývají také návrhy opakovaných opatření. Konečně, smíšené návrhy kombinují vylepšenou přesnost návrhů uvnitř subjektů a ochranu proti záměně návrhů mezi jednotlivými subjekty. Ve smíšené konstrukci srovnává badatel srovnání změny výsledků u osob léčených a kontrolních skupin. Pokud mají vědci již předběžnou léčbu, jak je tomu v případě mnoha digitálních experimentů, smíšené návrhy jsou obecně upřednostňovány vzory mezi jednotlivými subjekty, protože vedou k vyšší přesnosti odhadů.

Celkově návrh a výsledky studie provedené Schultzem a kolegy (2007) ukazují hodnotu přesahu jednoduchých experimentů. Naštěstí nemusíte být kreativní génius, který by navrhoval takové experimenty. Sociální vědci vyvinuli tři pojmy, které vás dovedou k bohatějším experimentům: (1) platnost, (2) heterogenita účinků léčby a (3) mechanismy. To znamená, že pokud si myslíte, že tyto tři myšlenky zůstávají v úvahu při navrhování experimentu, přirozeně vytvoříte zajímavější a užitečnější experiment. Pro ilustraci těchto tří konceptů v akci budu popisovat řadu následných částečně digitálních terénních experimentů, které vycházejí z elegantního designu a vzrušujících výsledků Schultze a kolegů (2007) . Jak uvidíte, přes pečlivější konstrukci, implementaci, analýzu a interpretaci se i vy můžete přesunout za jednoduché experimenty.