4.4 Надминувањето едноставни експерименти

Ајде да се движат подалеку од едноставно експерименти. Три концепти се корисни за добивање на богат експерименти: важење, хетерогеноста на третман ефекти, и механизам.

Истражувачите кои се нови за експерименти често се фокусира на многу специфични, тесни прашањето: дали овој третман "работа"? На пример, дали еден телефонски повик од еден волонтер охрабри некој да гласаат? Дали промена на копчето сајт од плава до зелена зголемување на стапката на клик-преку? За жал, слобода на изразувањето за она што "работи" заматува фактот дека тесно фокусирана експерименти навистина не ви каже дали за лекување "работи" во општа смисла. Наместо тоа, потесно фокусиран експерименти одговорите на многу повеќе конкретни прашањето: што е просечна сила на овој специфичен третман со оваа специфична примена за оваа популација на учесниците во овој момент? Ќе му се јавам експерименти, кои се фокусираат на овој тесен прашање едноставни експерименти.

Едноставни експерименти може да обезбеди вредни информации, но тие не успеваат да одговорат на многу прашања кои се важни и интересни како што се: постојат некои луѓе за кои третман имале поголем или помал ефект ?; постои друг третман кој ќе биде поефикасна ?; и како овој експеримент се однесуваат на пошироките општествени теории?

Со цел да се покаже вредноста на движење надвор од едноставна експерименти, ајде да се разгледа еден од моите омилени аналогни полето експерименти, една студија од П. Шулц Весли и неговите колеги на односот помеѓу општествените норми и потрошувачката на енергија (Schultz et al. 2007) . Шулц и неговите колеги ја спушти doorhangers на 300 домаќинства во Сан Маркос, Калифорнија, и овие doorhangers дадено различни пораки наменети за поттикнување на зачувување на енергијата. Потоа, Шулц и колеги мери ефектот на овие пораки на потрошувачката на електрична енергија, и по една недела и три недели; види слика 4.3 за подетален опис на експериментален дизајн.

Слика 4.3: Шематски приказ на дизајнот од Schultz et al. (2007) . експеримент од областа вклучени во посета на околу 300 домаќинства во Сан Маркос, Калифорнија, пет пати во период од осум недела. На секоја посета на истражувачите рачно зеде читање од мерач на моќност на вашето летување. Во два од посетите истражувачите поставени doorhangers на куќата обезбедување на некои информации во врска со нивната употреба на енергија. прашање на истражувањето беше како содржината на овие пораки ќе влијае на користењето на енергијата.

Експериментот имаше два услови. Во првиот услов, домаќинства добија совети општи заштеда на енергија (на пример, користење на навивачите наместо на клима уреди) и информации за користењето на енергијата нивното домаќинство, во споредба со просекот на користењето на енергија во нивното соседство. Шулц и колегите ова го нарече описни нормативни состојба, бидејќи на информации за употребата на енергија во нивното соседство обезбеди информации за типично однесување (на пример, описни норма). Кога Шулц и колегите се осврнаа како резултат на користењето на енергија во оваа група, третманот се појави да имаат никаков ефект, или во краткорочни или долгорочни; со други зборови, третманот не чини да се "работи" (слика 4.4).

Но, за среќа, Schultz et al. (2007) не се задоволил со овој симплистички анализи. Пред почетокот на експериментот тие мислеле дека тешките корисници на електрична енергија за лица над средна-може да се намали нивната потрошувачка, и дека светлината корисници на електрична енергија за луѓе под просечното всушност би можеле да се зголеми нивната потрошувачка. Кога тие се погледнале во податоците, тоа е токму она што тие го најде (Слика 4.4). Така, она што изгледаше како третман кој е без ефект е всушност третман што имаше две неутрализирање ефекти. На научниците го нарекуваат ова зголемување е контра-продуктивно меѓу светлината корисници бумеранг ефект.

Слика 4.4: Резултати од Schultz et al. (2007) . Првиот панел покажува дека описни третман норма има околу нула просек третман ефект. Сепак, на вториот панел покажува дека овој просек третман ефект е всушност составен од две неутрализирање ефекти. За тешки корисници, третманот се намали користењето но за светлина корисници, третманот зголемена употреба. Конечно, третата панел покажува дека вториот третман, кои се користат описни и привремени мерки норми, имаше приближно ист ефект на тешки корисници, но ублажи бумеранг ефект на светлината корисници.

Понатаму, Шулц и неговите колеги очекува оваа можност, а во втората состојба во која се распоредени еден малку поинаков третман, еден експлицитно дизајниран за да се елиминира бумеранг ефект. Домаќинствата во вториот услов доби исти совети третман генералниот заштеда на енергија и информации за користењето на енергијата домаќинството е во однос на нивното соседство, со еден мал прилог: за лица со под-просечна потрошувачка, истражувачите додаде :) и за луѓе со натпросечна потрошувачка се додаде :(. Овие емоции се дизајнирани да предизвика она што научниците го нарекуваат привремени мерки норми. на налог норми се однесуваат на перцепцијата на она што се одобрени (и неодобрени), додека пак описен норми се однесуваат на перцепцијата на она што обично се прави (Reno, Cialdini, and Kallgren 1993) .

Со додавање на овој еден мал смајли, истражувачите драматично го намали бумеранг ефект (слика 4.4). Така, со тоа што оваа една едноставна промена, промена која е мотивирана од апстрактен социјална психолошка теорија (Cialdini, Kallgren, and Reno 1991) -на истражувачите беа во можност да го вклучите програма од онаа што воопшто не изгледа да се работи во еден, кои работел, а, истовремено, тие беа во можност да се придонесе за општото разбирање на тоа како општествените норми влијаат врз човековото однесување.

Во овој момент, сепак, може да се забележи дека нешто не е малку различно за овој експеримент. Особено, експериментот на Шулц и неговите колеги не навистина имаат контролната група во истиот начин на кој рандомизирани контролирани експерименти се направи. Споредбата помеѓу дизајнот и дизајнот на Restivo и ван де Rijt илустрира разликите помеѓу две големи дизајни користени од страна на истражувачите. Во меѓу-предмети дизајни, како што Restivo и ван де Rijt, постои третман група и контролна група, и во рок од-предмети дизајни на однесувањето на учесниците е во споредба пред и по третманот (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Во рамките на субјектите експеримент тоа е како ако секој учесник дејствува како свој контролната група. Силата на меѓу-предмети дизајни е тоа што нуди заштита од confounders (како што е опишано претходно), и силата на експерименти во-предмети е зголемена прецизност во проценките. Кога секој учесник делува како своја контрола, интер-учесник варијации се елиминирани (види Додаток Технички). За да се најавуваат на која ќе дојде подоцна кога ќе нудат совети за дизајнирање на дигитални експерименти, не е финален дизајн, наречен мешани дизајн, кој е комбинација на подобрување на прецизноста на рок-предмети дизајни и заштита од интерференција меѓу-предмети дизајни.

Слика 4.5: Три експериментални дизајни. Стандардна рандомизирани контролирани експерименти се користи помеѓу-предмети дизајни. Еден пример на дизајнот меѓу-субјекти е Restivo и ван де Rijt е (2012) експеримент на barnstars и придонеси на Википедија: истражувачите случајно поделени на учесниците во лекувањето и контролни групи, им даде на учесниците во групата на третман barnstar и во однос на резултатите за двете групи. А вториот тип на дизајн е дизајн во-теми. Двете експерименти во Шулц и колега (2007) студија за социјалните норми и употреба на енергија се илустрира дизајн во-теми: Истражувачите споредба употреба на електрична енергија на учесниците пред и по добивањето на третман. Во рамките на-објекти дизајни нудат подобрени статистички прецизност со елиминирање на субјектот варијансата (види Технички Додаток), но тие се отворени за можно confounders (на пример, промени во времето помеѓу пред-третман и третман период) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Во рамките на-објекти дизајни се, исто така, понекогаш се нарекува повтори мерки дизајни. Конечно, се меша дизајни се комбинираат подобрување на прецизноста на рок-предмети дизајни и заштита од интерференција меѓу-предмети дизајни. Во мешовита дизајн, истражувач споредува промена во резултатите за луѓето во лекувањето и контролата групи. Кога научниците веќе имаат информации за пред-третман, како што е случај во многу дигитални експерименти, се меша дизајни се препорачува на меѓу-предмети дизајни поради добивки во прецизноста (види Додаток Технички).

Генерално, дизајн и резултатите од Schultz et al. (2007) покажуваат вредноста на движење надвор од едноставна експерименти. За среќа, вие не треба да биде гениј да се создаде експерименти се допаѓа ова. Социјални научници развиле три концепти кои ќе ве водат кон побогата и креативни експерименти: 1) важење, 2) хетерогеноста на третман ефекти, и 3) механизми. Тоа е, ако се задржи овие три идеи во умот, додека сте дизајнирање вашиот експеримент, вие природно ќе создаде повеќе интересни и корисни експерименти. Со цел да се илустрира на овие концепти во акција, јас ќе се опише голем број на следење делумно дигитални поле експерименти, кои изграден на елегантен дизајн и возбудлива резултати во Schultz et al. (2007) . Како што ќе видиме, преку повнимателни дизајн, имплементација, анализа и интерпретација, можете исто така можат да се движат подалеку од едноставно експерименти.