4.4 Надминувањето едноставни експерименти

Ајде да одиме подалеку од едноставни експерименти. Три концепти се корисни за богатите експерименти: валидност, хетерогеност на ефектите од третманот и механизми.

Истражувачите кои се нови за експерименти често се фокусираат на многу специфично, тесно прашање: Дали овој третман "работи"? На пример, дали телефонскиот повик од волонтерот охрабрува некој да гласа? Дали менувањето на копчето за веб-страници од сина до зелена ја зголемува кликањето преку кликање? За жал, лабавите фрази за она што "работи" го заматува фактот дека тесно фокусираните експерименти навистина не ви кажуваат дали третманот "работи" во општа смисла. Наместо тоа, тесно фокусираните експерименти одговараат на многу поспецифично прашање: Кој е просечниот ефект на овој специфичен третман со оваа конкретна имплементација за оваа популација на учесници во тоа време? Ќе ги повикам експериментите кои се фокусираат на ова тесно прашање со едноставни експерименти .

Едноставните експерименти можат да обезбедат вредни информации, но не успеваат да одговорат на многу прашања кои се важни и интересни, како на пример дали има некои луѓе за кои третманот имаше поголем или помал ефект; дали постои друг третман кој би бил поефективен; и дали овој експеримент се однесува на пошироки општествени теории.

За да ја покажеме вредноста на движењето надвор од едноставните експерименти, да го разгледаме аналниот експеримент од П. Весли Шулц и колегите за односот меѓу општествените норми и потрошувачката на енергија (Schultz et al. 2007) . Шулц и колегите обесени вратарите на 300 домаќинства во Сан Маркос, Калифорнија, и овие вратарите пренесуваа различни пораки дизајнирани да ја поттикнат зачувувањето енергија. Потоа, Шулц и неговите колеги го мереле ефектот на овие пораки врз потрошувачката на електрична енергија, и по една недела и по три недели; види слика 4.3 за подетален опис на експерименталниот дизајн.

Слика 4.3: Шема на експерименталниот дизајн од Schultz et al. (2007) . На терен експеримент вклучени посета на околу 300 домаќинства во Сан Маркос, Калифорнија пет пати во текот на осум недели. На секоја посета, истражувачите рачно земаа читање од мерењето на моќта на куќата. На две од посетите, тие ги поставуваа вратите на секоја куќа, обезбедувајќи информации за потрошувачката на енергија во домаќинството. Прашањето за истражување беше како содржината на овие пораки би влијаела врз употребата на енергија.

Експериментот имаше два услови. Во првата, домаќинствата добија совети за заштеда на енергијата (на пример, да користат вентилатори наместо климатизери) и информации за нивната употреба на енергија во споредба со просечната потрошувачка на енергија во нивното соседство. Шулц и неговите колеги ја нарекоа описна нормативна состојба, бидејќи информациите за користењето на енергијата во соседството обезбедија информации за типичното однесување (т.е. описна норма). Кога Шулц и неговите колеги гледаа како резултат на користењето на енергијата во оваа група, третманот се чини дека нема ефект, краткорочно или долгорочно; со други зборови, третманот не чини да функционира (слика 4.4).

За среќа, Шулц и неговите колеги не се согласиле за оваа симплистичка анализа. Пред да започне експериментот, тие размислуваа дека тешките корисници на електрична енергија над средната вредност би можеле да ја намалат нивната потрошувачка и дека лесните корисници на електрична енергија, помали од просечната, би можеле да ја зголемат нивната потрошувачка. Кога ги погледнаа податоците, тоа е токму она што го нашле (слика 4.4). Така, она што изгледаше како третман кој немаше ефект беше всушност третман кој имаше два неутрални ефекти. Ова контрапродуктивно зголемување кај корисниците на светлина е пример за ефект на бумеранг , каде третманот може да има спротивен ефект од она што беше наменето.

Слика 4.4: Резултати од Schultz et al. (2007) . Панелот (а) покажува дека третманот за дескриптивна норма има проценет нула просечен ефект на третман. Сепак, панелот (б) покажува дека овој просечен третман ефект всушност е составен од два неутрални ефекти. За тешки корисници, третманот ја намали употребата, но за лесни корисници, третманот ја зголеми употребата. Конечно, панелот (в) покажува дека вториот третман, кој користел описни и навредливи норми, имаше приближно ист ефект врз тешките корисници, но го ублажил ефектот на бумеранг кај корисниците на светлина. Адаптирано од Schultz et al. (2007) .

Истовремено со првата состојба, Шулц и неговите колеги, исто така, го поминаа вториот услов. Домаќинствата во втората состојба добија ист ист третман-совети за заштеда на енергија и информации за користењето на енергија во домаќинството во споредба со просекот за нивното соседство - со еден мал додаток: за луѓе со пониска просечна потрошувачка, истражувачите додадоа: ) и за луѓе со натпросечна потрошувачка, тие додадоа :( Овие емотикони беа дизајнирани да предизвикаат она што истражувачите ги нарекоа норми за наредба . Инјективните норми се однесуваат на перцепциите на она што најчесто е одобрено (и неодобрено), додека описни норми се однесуваат на перцепциите на она што најчесто се прави (Reno, Cialdini, and Kallgren 1993) .

Со додавањето на овој мал емотив, истражувачите драматично го намалија ефектот на бумерангот (слика 4.4). Така, правејќи ја оваа едноставна промена - промена која беше мотивирана од апстрактна социјална психолошка теорија (Cialdini, Kallgren, and Reno 1991) - истражувачите успеаја да претворат програма која не изгледаше како да функционира во оној што работеше, и, истовремено, тие можеа да придонесат за општо разбирање за тоа како општествените норми влијаат врз човековото однесување.

Но, во овој момент, може да забележите дека нешто е малку поинакво во врска со овој експеримент. Особено, експериментот на Шулц и колегите, всушност, немаат контролна група на ист начин како што прават рандомизираните контролирани експерименти. Споредбата помеѓу овој дизајн и онаа на Restivo и van de Rijt ги илустрира разликите помеѓу двата главни експериментални дизајни. Во дизајните меѓу субјекти , како што се оние на Restivo и van de Rijt, постои група за третирање и контролна група. Во дизајните во рамките на предметите , од друга страна, однесувањето на учесниците се споредува пред и по третманот (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Во експеримент во рамките на субјектот е како секој учесник да дејствува како своја контролна група. Јачината на дизајните меѓу субјектите е дека тие обезбедуваат заштита од конфронтатори (како што опишав претходно), додека силата на експериментите во рамките на субјектите е зголемена прецизност на проценките. Конечно, за да ја нагласам идејата што ќе дојде подоцна кога ќе ви понудам совети за дизајнирање на дигитални експерименти, _ смешен дизајн го комбинира подобрената прецизност на дизајните во рамките на предметите и заштитата од збунетост на дизајните меѓу предметите (слика 4.5).

Слика 4.5: Три експериментални дизајни. Стандардните рандомизирани контролирани експерименти користат дизајни меѓу предметите . Еден пример за дизајнот помеѓу субјектите е Restivo и van de Rijt's (2012) експеримент на барнарците и придонеси за Википедија: истражувачите случајно ги поделија учесниците во лекувањето и контролните групи, им дадоа на учесниците во групата за третман Барнстар и ги споредија резултатите за две групи. Вториот тип на дизајн е дизајн во рамките на субјектите . Двата експерименти во студијата на Шулц и неговите колеги (2007) за општествените норми и користењето на енергијата ја илустрираат дизајнот во рамките на предметите: истражувачите ја споредија употребата на електрична енергија на учесниците пред и по добивањето на третманот. Дизајнерите во рамките на предметите нудат подобрена статистичка прецизност, но тие се отворени за можни конфузни (на пример, промени во времето помеѓу периодот пред третманот и третманот) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Дизајнерите во рамките на предметите исто така се нарекуваат повторени мерки. Конечно, мешаните дизајни ја комбинираат подобрената прецизност на дизајните во рамките на субјектите и заштитата од конфузија на дизајните меѓу предметите. Во мешан дизајн, истражувачот ја споредува промената на резултатите кај луѓето во групите за лекување и контрола. Кога истражувачите веќе имаат информации за предтретман, како што е случај и во многу дигитални експерименти, мешаните дизајни обично се претпочитаат за дизајн на меѓу-предмети, бидејќи тие резултираат во подобрена прецизност на проценките.

Генерално, дизајнот и резултатите од студијата на Шулц и неговите колеги (2007) покажуваат вредноста на движењето надвор од едноставните експерименти. За среќа, не треба да бидете креативен гениј за дизајнирање вакви експерименти. Социјалните научници развија три концепти кои ќе ве водат кон побогати експерименти: (1) валидност, (2) хетерогеност на ефектите од третманот, и (3) механизми. Тоа е, ако ги држите овие три идеи на ум додека го дизајнирате вашиот експеримент, природно ќе создадете поинтересен и корисен експеримент. Со цел да ги илустрирам овие три концепти во акција, јас ќе опишам голем број на последователни делумно дигитални теренски експерименти кои изградиле елегантен дизајн и возбудливи резултати на Шулц и неговите колеги (2007) . Како што ќе видите, преку внимателен дизајн, имплементација, анализа и интерпретација, и вие можете да се движите надвор од едноставните експерименти.