4.4 Túllépve az egyszerű kísérletek

Térjünk túl az egyszerű kísérleteken. Három fogalom hasznos a gazdag kísérletekben: érvényesség, a kezelés hatásainak heterogenitása és mechanizmusok.

A kísérleti új kutatók gyakran nagyon specifikus, szűk kérdésre összpontosítanak: vajon ez a kezelés "működik-e"? Például egy önkéntes telefonhívása arra ösztönzi valakit, hogy szavazzon? A kéktől a zöldig terjedő weboldal gombja növeli a kattintási arányt? Sajnálatos módon, a "munkák" szétszórt megfogalmazása elhomályosítja azt a tényt, hogy a keskeny koncentrált kísérletek nem igazán mondják el, hogy a kezelés általánosan "működik-e". A kevésbé koncentrált kísérletek sokkal konkrétabb kérdést válaszolnak meg: Mekkora a konkrét kezelés eme konkrét megvalósításának átlagos hatása a résztvevők ebben a korcsoportjában? Olyan kísérleteket fogok hívni, amelyek a szűk kérdésre összpontosítanak egyszerű kísérleteket .

Az egyszerű kísérletek értékes információkat szolgáltathatnak, de nem sok olyan kérdést válaszolnak meg, amelyek fontosak és érdekesek: például vannak olyan emberek, akiknél a kezelés nagyobb vagy kisebb hatást fejtett ki; hogy létezik-e egy másik, hatékonyabb kezelés; és hogy ez a kísérlet szélesebb társadalmi elméletekre vonatkozik-e.

Annak érdekében, hogy bemutassuk az egyszerű kísérleteken túlmutató értékeket, vegyük fontolóra P. Wesley Schultz és munkatársaink analóg kísérletét a társadalmi normák és az energiafogyasztás kapcsolatáról (Schultz et al. 2007) . Schultz és munkatársai 300 háztartásban lógtak ajtószalaggal San Marcos-ban, Kalifornia, és ezek a ajtózárak különböző üzeneteket bocsátottak az energiatakarékosság ösztönzésére. Ezután Schultz és munkatársai egy héten és három hét elteltével mérték ezeknek az üzeneteknek a hatását a villamosenergia-fogyasztásra; lásd a 4.3. ábrát a kísérleti kialakítás részletesebb leírásához.

4.3. Ábra: A kísérlet tervrajza Schultz et al. (2007) . A kísérlet során körülbelül nyolcvan háztartási időtartamra öt alkalommal, körülbelül kétszáz háztartást látogattak meg San Marcos-ban, Kaliforniában. Minden látogatáskor a kutatók manuálisan elolvasták a ház teljesítménymérőjét. A látogatások közül ketten mindegyik házban ajtónyomokat helyeztek el, amelyek tájékoztatást nyújtottak a háztartás energiafelhasználásáról. A kutatási kérdés az volt, hogy az üzenetek tartalma mennyire befolyásolja az energiafelhasználást.

A kísérletnek két feltétele volt. Az első esetben a háztartások általános energiamegtakarítási tippeket kaptak (pl. Klímaberendezések helyett a ventilátorok használata), valamint az energiafelhasználásukkal kapcsolatos információkat, összehasonlítva a környék átlagos energiafelhasználásával. Schultz és kollégái ezt a leíró normatív feltételt nevezték, mert a környéken az energiafelhasználásról szóló információk információt nyújtottak a tipikus viselkedésről (azaz leíró jellegről). Amikor Schultz és munkatársai megvizsgálták a kapott energiafelhasználást ebben a csoportban, a kezelésnek sem rövid, sem hosszú távon nem volt hatása; vagyis a kezelés nem úgy tűnik, hogy "működik" (4.4. ábra).

Szerencsére Schultz és kollégái nem rendezték meg ezt az egyszerűsített elemzést. A kísérlet megkezdése előtt arra a következtetésre jutottak, hogy a villamosenergia-fogyasztók átlagos fogyasztói - az átlagosnál magasabbak - csökkenthetik fogyasztásaikat, és hogy a villamosenergia-fogyasztók - az átlag alattiak - könnyű fogyasztók növelhetik fogyasztásukat. Amikor megnézték az adatokat, pontosan ezt találták (4.4. Ábra). Így aztán egy olyan kezelésnek, amely nem volt hatással, valójában olyan kezelés volt, amely két kompenzáló hatással bír. Ez a kontraproduktív növekedés a könnyű használók körében egy bumeráng hatásának egy példája, ahol a kezelésnek ellentétes hatása lehet a kívánt céltól.

4.4. Ábra: Schultz et al. (2007) . Az a) panel azt mutatja, hogy a leíró normál kezelésnek van egy becsült nulla átlagkezelési hatása. A (b) panel azonban azt mutatja, hogy ez az átlagos kezelés hatása valójában két kompenzáló hatásból áll. A nehéz használók esetében a kezelés csökkentette a felhasználást, de a könnyű használók esetében a kezelés fokozta a felhasználást. Végül a (c) panel azt mutatja, hogy a második kezelés, amely leíró és megtiltó normákat alkalmazott, nagyjából ugyanolyan hatást gyakorolt ​​a nehéz felhasználókra, de enyhítette a bumeráng hatását a könnyű felhasználókra. Alkalmazott Schultz et al. (2007) .

Az első feltétel mellett Schultz és munkatársai egy második feltételt is tartottak. A második állapotban lévő háztartások ugyanolyan általános kezelési javaslatokat és információkat kaptak háztartásuk energiafelhasználásáról, mint a szomszédságuk átlagához képest - egy apró hozzáadással: az átlagos fogyasztás alatt a kutatók a következőket adták hozzá: ), és az emberek átlag feletti fogyasztás hozzá egy :(. Ezek a hangulatjelek arra tervezték, hogy kiváltó, amit a kutatók az úgynevezett Kamara normákat. Méltányos szabványok utalnak felfogás, amit általában engedélyezett (és elutasított), míg a leíró szabványok utalnak szemléletének ami általában történik (Reno, Cialdini, and Kallgren 1993) .

Ehhez egy kis hangulat hozzáadásával a kutatók drasztikusan csökkentették a bumeráng hatását (4.4. Ábra). Így azáltal, hogy ezt az egyszerű változást - a változást, amelyet egy absztrakt szociálpszichológiai elmélet motivál (Cialdini, Kallgren, and Reno 1991) - a kutatók olyan programot alakíthattak ki, amely nem úgy működött, és ezzel párhuzamosan képesek voltak hozzájárulni annak megértéséhez, hogy a társadalmi normák hogyan befolyásolják az emberi viselkedést.

Ezen a ponton azonban előfordulhat, hogy valami kicsit más a kísérletben. Különösen a Schultz és a kollégák kísérlete nem igazán rendelkezik kontroll csoporttal, ugyanúgy, mint a randomizált, kontrollált kísérletek. A design és a Restivo és a van de Rijt közötti összehasonlítás szemlélteti a két nagy kísérleti terv közötti különbségeket. Az olyan témák között , mint például a Restivo és a van de Rijt, van egy kezelési csoport és egy kontrollcsoport. Az egyeden belül tervez, másrészt, a viselkedése résztvevők összehasonlítjuk előtt és a kezelés után (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Egy tárgyon belüli kísérleten úgy tűnik, mintha minden résztvevő saját kontrollcsoportként működne. Az alanyok tervezeteinek ereje az, hogy védelmet nyújtanak a zavaró tényezők ellen (amint azt már korábban ismertettem), míg a szubjektum-kísérletek ereje növeli a becslések pontosságát. Végül, egy olyan elképzelés megfogalmazására, amely később jön majd el, amikor tanácsot adok a digitális kísérletek megtervezéséről, a kevert design_combines a szubjektumon belüli tervek jobb pontosságát és a témák közötti különbségek elleni védelmet (4.5. Ábra).

4.5. Ábra: Három kísérleti terv. A standard véletlen besorolásos, ellenőrzött kísérletekben az alanyok tervezetei alkalmazhatók. Példa a témák között: Restivo és van de Rijt (2012) kísérlet a barnstarsról és a Wikipédiában való közreműködésre: a kutatók véletlenszerűen osztották fel a résztvevőket a kezelési és kontrollcsoportokba, a baráti körben résztvevőket a kezelési csoportban két csoport. A második típusú design a tématerületen belül van . A Schultz és a kollégák (2007) tanulmánya a társadalmi normákról és az energiafelhasználásról két témát mutat be: a kutatók összehasonlították a résztvevők villamosenergia-felhasználását a kezelés megkezdése előtt és után. A szubjektumon belüli tervek jobb statisztikai pontosságot kínálnak, de nyitottak az esetleges zavaró tényezőkre (például az idő előtti és a kezelési idő közötti időbeli változásokra) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . A témakörökön belül a terveket néha ismételt intézkedéseknek nevezik. Végül a vegyes tervek ötvözik az egyén által tervezett minták javított pontosságát és a témák közötti összetévesztés elleni védelmet. Egy vegyes tervben egy kutató összehasonlítja a kezelési és kontrollcsoportokban az emberek kimenetelének változását. Ha a kutatók már rendelkeznek az előkezeléssel kapcsolatos információkkal, mint sok digitális kísérlet esetében, akkor a kevert minták általában előnyösek a témakörök között, mert a becslések pontosabb becslését eredményezik.

Összességében a Schultz és munkatársai (2007) tanulmányának tervei és eredményei azt mutatják, hogy az egyszerű kísérleteken túlmutatnak. Szerencsére nem kell kreatív géniusznak lenni ahhoz, hogy ilyen kísérleteket tervezhessen. A társadalomtudósok három olyan koncepciót fejlesztettek ki, amelyek a gazdagabb kísérletek felé vezetnek: (1) az érvényesség, (2) a kezelés hatásainak heterogenitása, és (3) a mechanizmusok. Vagyis, ha ezeket a három ötletet szem előtt tartva tervezed a kísérletedet, természetesen egy érdekesebb és hasznosabb kísérletet fogsz létrehozni. Ennek a három koncepciónak a bemutatására számos további nyomon követési, részben digitális térbeli kísérletet ismertetek, amelyek a Schultz és munkatársai elegáns formatervezésére és izgalmas eredményére épültek (2007) . Amint látni fogod, a gondosabb tervezéssel, végrehajtással, elemzéssel és értelmezéssel Ön is túlmutat az egyszerű kísérleteken.