Starfsemi

• erfiðleikar: auðvelt , miðlungs , erfitt , mjög erfitt
• krefst stærðfræði ( )
• krefst kóðunar ( )
• gagnasafn ( )
• mín uppáhalds ( )

1. [ , ] Berinsky og samstarfsmenn (2012) meta MTurk að hluta með því að endurtaka þrjár klassískar tilraunir. Afritaðu klassíska asískan sjúkdómsramma tilraun með Tversky and Kahneman (1981) . Láttu niðurstöður þínar passa við Tversky og Kahneman? Bera niðurstöður þínar saman við þá Berinsky og samstarfsmenn? Hvað-ef eitthvað - kennir þetta okkur um að nota MTurk til að kanna tilraunir?

2. [ , ] Í nokkuð tungu-í-kinn pappír titill "Við verðum að brjóta upp," félagslega sálfræðingur Robert Cialdini, einn af höfundum Schultz et al. (2007) skrifaði að hann var snemma frá störfum sínum sem prófessor, að hluta til vegna þeirra áskorana sem hann stóð frammi fyrir á sviði tilrauna í aga (sálfræði) sem aðallega stýrir rannsóknum á rannsóknum (Cialdini 2009) . Lesið Cialdini pappír og skrifaðu honum tölvupóst sem hvetur hann til að endurskoða brot hans í ljósi möguleika stafrænna tilrauna. Notaðu sérstakar dæmi um rannsóknir sem fjalla um áhyggjur hans.

3. [ ] Til að ákvarða hvort litlar upphafsframfarir læsa í eða hverfa, notuðu van de Rijt og samstarfsmennirnir (2014) í fjóra mismunandi kerfi sem veittu velgengni á handahófi völdum þátttakendum og mældu síðan langtímaáhrif þessa handahófskenndu velgengni. Getur þú hugsað um önnur kerfi þar sem þú getur keyrt svipaðar tilraunir? Meta þessi kerfi með tilliti til málefna vísindalegs gildis, algrímsmengunar (sjá kafla 2) og siðfræði.

4. [ , ] Niðurstöður tilraunar geta verið háð þátttakendum. Búðu til tilraun og hlaupa síðan á MTurk með því að nota tvær mismunandi ráðningaraðferðir. Reyndu að velja tilraunirnar og ráðningaraðferðirnar þannig að niðurstöðurnar verði eins mismunandi og mögulegt er. Til dæmis gætu ráðningaraðferðir þínar verið að ráða þátttakendur á morgnana og kvöldið eða til að bæta þátttakendum með miklum og lágum greiðslum. Þessi mismunur á ráðningarstefnu gæti leitt til mismunandi hópa þátttakenda og mismunandi tilraunaárangurs. Hversu öðruvísi komu niðurstöðurnar út? Hvað sýnir það um að keyra tilraunir á MTurk?

5. [ , , ] Ímyndaðu þér að þú ætlar að skipuleggja tilraunaverkefnið (Kramer, Guillory, and Hancock 2014) . Notaðu niðurstöðurnar úr fyrri athugunarrannsókn Kramer (2012) til að ákveða fjölda þátttakenda í hverju ástandi. Þessar tvær rannsóknir passa ekki fullkomlega saman svo vertu viss um að tilgreina nákvæmlega allar forsendur sem þú gerir:

   1. Hreyfðu eftirlíkingu sem ákveður hversu margir þátttakendur hefðu þurft til að greina áhrif sem er eins mikil og áhrifin í Kramer (2012) með \(\alpha = 0.05\) og \(1 - \beta = 0.8\) .
   2. Gerðu sömu útreikninga greinilega.
   3. Í ljósi niðurstaðna Kramer (2012) var Emotional Contagion (Kramer, Guillory, and Hancock 2014) of máttur (þ.e. gerði það fleiri þátttakendur en þörf var á)?
   4. Af forsendum sem þú gerðir, sem hafa stærsta áhrif á útreikning þinn?

6. [ , , ] Svaraðu fyrri spurningunni aftur, en í þetta sinn frekar en að nota fyrri athugunarrannsóknina af Kramer (2012) , notaðu niðurstöðurnar frá fyrri náttúrulegri tilraun af Lorenzo Coviello et al. (2014) .

7. [ ] Bæði Margetts et al. (2011) og van de Rijt et al. (2014) gerðar tilraunir til að kynna sér ferli fólks sem undirritar beiðni. Bera saman og andstæða hönnun og niðurstöður þessara rannsókna.

8. [ ] Dwyer, Maki, and Rothman (2015) gerðu tvö svið tilraunir um tengslin milli félagslegra staðla og umhverfis hegðun. Hér er samantekt á blaðinu:

   "Hvernig er hægt að nota sálfræðileg vísindi til að hvetja til umhverfishegðunar? Í tveimur rannsóknum voru íhlutanir sem miða að því að stuðla að orkusparandi hegðun í opinberum baðherbergjum skoðuð áhrif lýsandi viðmiða og persónulegrar ábyrgðar. Í rannsókn 1 var ljósstaða (þ.e. á eða utan) notaður áður en einhver kom inn í ótekin opinber baðherbergi og merkir lýsandi staðal fyrir þá stillingu. Þátttakendur voru marktækt líklegri til að slökkva ljósin ef þeir voru að slökkva þegar þeir komu inn. Í rannsókn 2 var bætt við viðbótarástandi þar sem staðalinn að því að slökkva á ljósinu var sýnt af samtökum en þátttakendur voru ekki sjálfir ábyrgir fyrir því að kveikja á því. Persónuvernd stjórnaði áhrifum félagslegra staðla á hegðun; Þegar þátttakendur voru ekki ábyrgir fyrir að kveikja á ljósinu, var áhrif normsins minnkað. Þessar niðurstöður benda til þess að lýsandi reglur og persónulega ábyrgð geti stjórnað skilvirkni umhverfisaðgerða. "

   Lesið blaðið sitt og hanna afritunar á rannsókn 1.

9. [ , ] Byggðu á fyrri spurningunni, farðu nú út hönnunina þína.

   1. Hvernig bera saman niðurstöðurnar saman?
   2. Hvað gæti útskýrt þessi munur?

10. [ ] Það hefur verið umtalsverður umræður um tilraunir með þátttakendum sem ráðnir voru frá MTurk. Samhliða hefur einnig verið umtalsverður umræður um tilraunir með þátttakendum sem eru ráðnir frá grunnnámshópum nemenda. Skrifa tveggja blaða minnisblað samanburðar og andstæða túrkumenn og framhaldsmenn sem rannsóknaraðilar. Samanburður þinn ætti að innihalda umfjöllun bæði vísindalegra og skipulagslegra mála.

11. [ ] Jim Manzi's Book Uncontrolled (2012) er yndisleg kynning á krafti tilrauna í viðskiptum. Í bókinni sendi hann eftirfarandi sögu:

    "Ég var einu sinni á fundi með sanna viðskiptalífi, sjálfsmögnuð milljarðamæringur sem hafði djúpt, innsæi understating af krafti tilrauna. Fyrirtækið hans eyddi verulegum auðlindum að reyna að búa til stóran gluggaskjá sem myndi laða að neytendum og auka sölu, eins og venjulegur visku sagði að þeir ættu að gera. Sérfræðingar prófuðu vandlega hönnun eftir hönnun og í einstökum endurskoðunarfundum yfir ár sem haldið var áfram sýndu engin marktæk orsakatengd áhrif á hverja nýja skjáhönnunar á sölu. Senior markaðsstjórar og merchandising stjórnendur hittu forstjóra til að endurskoða þessar sögulegar niðurstöður próf í heildarútgáfu. Eftir að hafa lagt fram allar tilraunargögnin komu þeir að þeirri niðurstöðu að hefðbundin visku væri rangt - að gluggaskjár sýna ekki akstur. Ráðlagður aðgerð þeirra var að draga úr kostnaði og vinnu á þessu sviði. Þetta sýndi verulega getu tilraunir til að hrekja hefðbundna visku. Svar bankastjóra var einfalt: "Niðurstaða mín er sú að hönnuðir þínir eru ekki mjög góðir." Lausn hans var að auka viðleitni í verslunarsýningu og til að fá nýtt fólk til að gera það. " (Manzi 2012, 158–9)

    Hvaða tegund af gildi er áhyggjuefni forstjóra?

12. [ ] Byggðu á fyrri spurningunni, ímyndaðu þér að þú værir á fundinum þar sem niðurstöður tilrauna voru rædd. Hvað eru fjórar spurningar sem þú gætir beðið-einn fyrir hverja tegund af gildi (tölfræðileg, uppbygging, innri og ytri)?

13. [ ] Bernedo, Ferraro, and Price (2014) rannsakað sjö ára áhrif vatnsrýrandi íhlutunarinnar sem lýst er í Ferraro, Miranda, and Price (2011) (sjá mynd 4.11). Í þessari grein leitaði Bernedo og samstarfsmenn einnig að því að skilja kerfið á bak við áhrif með því að bera saman hegðun heimila sem hafa og hafa ekki flutt eftir að meðferðin var afhent. Það er um það bil að reyna að sjá hvort meðferðin hafi áhrif á heimili eða húseigandi.

    1. Lesið blaðið, lýsið hönnuninni og settu saman niðurstöður þeirra.
    2. Hafa niðurstöður þeirra áhrif á hvernig þú ættir að meta hagkvæmni svipaðar inngripa? Ef svo er, hvers vegna? Ef ekki, hvers vegna ekki?

14. [ ] Í eftirfylgni við Schultz et al. (2007) , Schultz og samstarfsmenn gerðu röð af þremur tilraunum um áhrif lýsandi og lögboðinna viðmiða á mismunandi umhverfishegðun (endurvinnsla handklæði) í tveimur samhengum (hótel og timeshare sameiginlegt yfirráðasvæði) (Schultz, Khazian, and Zaleski 2008) .

    1. Samantekt hönnun og niðurstöður þessara þriggja tilrauna.
    2. Hvernig breyta þeir túlkun þinni á Schultz et al. (2007) ?

15. [ ] Til að bregðast við Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) hljóp í röð af rannsóknum sem labbuðu eins og rannsóknir á hönnun rafmagns reikninga. Hér er hvernig þeir lýsa því í ágripi:

    "Í tilraunakönnun sem byggir á könnuninni sá hver þátttakandi slembi rafmagnsreikningur fyrir fjölskyldu með tiltölulega mikla rafmagnsnotkun, sem nær yfir upplýsingar um (a) söguleg notkun, (b) samanburður við nágrannar og (c) söguleg notkun við sundurliðun búnaðar. Þátttakendur sáu allar gerðir upplýsinga í einu af þremur sniði, þar á meðal (a) töflum, (b) strikritum og (c) táknmyndum. Við skýrum um þrjár helstu niðurstöður. Í fyrsta lagi skildu neytendur hvers kyns upplýsingar um rafmagnsnotkun mest þegar þær voru kynntar í töflu, ef til vill vegna þess að töflur auðvelda einfalda punkta lestur. Í öðru lagi, óskir og áform um að spara rafmagn voru sterkustu fyrir sögulegar upplýsingar um notkun, óháð sniðinu. Í þriðja lagi skildu einstaklingar með lægri orku læsingu allar upplýsingar minna. "

    Ólíkt öðrum eftirfylgnum rannsóknum er aðalatriðið af áhuga á Canfield, Bruin, and Wong-Parodi (2016) greint frá hegðun, ekki raunveruleg hegðun. Hverjar eru styrkleikar og veikleikar þessa tegundar rannsóknar í víðtækari rannsóknaráætlun sem stuðlar að orkusparnaði?

16. [ , ] Smith and Pell (2003) kynnti satirical meta-greiningu á rannsóknum sem sýndu árangur fallhlífar. Þeir gerðu sér grein fyrir:

    "Eins og með margar inngripir sem ætlað er að koma í veg fyrir illa heilsu, hefur árangur fallhlífanna ekki verið strangt metin með því að nota slembiraðað samanburðarrannsóknir. Forstöðumenn sönnunargagna sem byggjast á lyfjum hafa gagnrýnt samþykki inngripa sem metin eru með því að nota aðeins gagnaupplýsingar. Við teljum að allir gætu haft gagn af því að róttækustu aðalatriðin í sönnunargögnum byggðu upp og tóku þátt í tvíblindri, slembiraðaðri, samanburðarrannsókn með lyfleysu, yfirferð á fallhlífinni. "

    Skrifaðu op-ed sem er hentugur fyrir almenna lesendahóp, svo sem New York Times , með því að halda því fram að fósturskoðun á tilraunagögnum sést. Veita ákveðnar, steypu dæmi. Vísbending: Sjá einnig Deaton (2010) og Bothwell et al. (2016) .

17. [ , , ] Mismunur á munur á áhrifum á meðferðaráhrifum getur verið nákvæmari en áætlaður mismunur í meðallagi. Skrifaðu minnisblaði til verkfræðings sem hefur umsjón með A / B prófunum í byrjun félags fjölmiðlafyrirtækis sem útskýrir verðmæti mismunaraðferðarinnar til að keyra á netinu tilraun. Minnispunkturinn ætti að innihalda yfirlýsingu um vandamálið, einhver innsæi um þau skilyrði sem munur á munurarmælirinn muni ná árangri í samanburðarhópnum og einfalt eftirlitsrannsókn.

18. [ , ] Gary Loveman var prófessor við Harvard Business School áður en hann varð forstjóri Harrahs, einn stærsti spilavítifyrirtækið í heiminum. Þegar hann flutti til Harrah, breytti Loveman fyrirtækinu með tíð-flier-eins hollusta forrit sem safnað gífurlegur magn af gögnum um hegðun viðskiptavina. Ofan á þessu ávallt mælikerfi byrjaði fyrirtækið að keyra tilraunir. Til dæmis gætu þeir keyrt tilraun til að meta áhrif afsláttarmiða fyrir ókeypis hótel nótt fyrir viðskiptavini með tiltekna fjárhættuspil. Hér er hvernig Loveman lýsti mikilvægi þess að gera tilraunir til daglegs viðskiptaháttar Harrahs:

    "Það er eins og þú brýtur ekki á konur, þú stela ekki, og þú þarft að hafa stjórnhóp. Þetta er ein af þeim atriðum sem þú getur tapað starfi þínu við Harrah-ekki að keyra stjórnhóp. " (Manzi 2012, 146)

    Skrifaðu tölvupóst á nýjan starfsmann sem útskýrir hvers vegna Loveman telur að það sé svo mikilvægt að hafa stjórnhóp. Þú ættir að reyna að fela í sér dæmi - annaðhvort raunverulegt eða tilbúið til að lýsa punktinum þínum.

19. [ , ] Ný tilraun miðar að því að meta áhrif móttöku á SMS skilaboðum um upptöku bólusetningar. Eitt hundrað og fimmtíu heilsugæslustöðvar, hver með 600 hæfur sjúklinga, eru tilbúnir til að taka þátt. Það er fastur kostnaður á $ 100 fyrir hverja heilsugæslustöð sem þú vilt vinna með, og það kostar $ 1 fyrir hverja textaskilaboð sem þú vilt senda. Ennfremur, hvaða heilsugæslustöðvar sem þú ert að vinna með mun mæla árangur (hvort einhver hafi fengið bólusetningu) ókeypis. Gerum ráð fyrir að þú hafir fjárhagsáætlun um $ 1.000.

    1. Við hvaða aðstæður gæti verið betra að einbeita sér að auðlindum á litlum heilsugæslustöðvum og við hvaða aðstæður gæti það verið betra að breiða út þær víða?
    2. Hvaða þættir myndu ákvarða minnstu áhrifastærðina sem þú verður að geta áreiðanlega greint með kostnaðarhámarki þínu?
    3. Skrifa minnisblaði sem útskýrir þessar afskriftir á hugsanlega undirstöðu.

20. [ , ] Stórt vandamál með námskeið á netinu er áfall: margir nemendur sem hefja námskeið endar að sleppa út. Ímyndaðu þér að þú sért að vinna á netinu námsvettvangi og hönnuður á vettvangnum hefur búið til sjónræna framfarir sem hún telur að muni koma í veg fyrir að nemendur sleppa úr námskeiðinu. Þú vilt prófa áhrif framfarirnar á nemendur í stórum tölvunarfræðideild. Eftir að þú hefur fjallað um siðferðileg vandamál sem gætu komið upp í tilrauninni, verður þú og samstarfsmenn þínir að hafa áhyggjur af því að námskeiðið hafi ekki næga nemendur til að áreiðanlega greina áhrif framfarirnar. Í eftirfarandi útreikningum er hægt að gera ráð fyrir að helmingur nemenda fái framfarir og hálf ekki. Ennfremur má gera ráð fyrir að engin truflun sé til staðar. Með öðrum orðum er hægt að gera ráð fyrir að þátttakendur hafi aðeins áhrif á hvort þeir fengu meðferð eða eftirlit; Þeir eru ekki gerðar með því hvort annað fólk hafi fengið meðferð eða eftirlit (fyrir formlegri skilgreiningu, sjá kafla 8 í Gerber and Green (2012) ). Haltu utan um allar aðrar forsendur sem þú gerir.

    1. Gerum ráð fyrir að framvindan sé reiknuð með því að auka hlutfall nemenda sem klára námskeiðið um 1 prósentustig; hvað er sýnistærðin sem þarf til að áreiðanlega greina áhrifina?
    2. Búast má við að framvindastikan sé reiknuð með því að auka hlutfall nemenda sem klára námskeiðið um 10 prósentustig; hvað er sýnistærðin sem þarf til að áreiðanlega greina áhrifina?
    3. Nú ímyndaðu þér að þú hafir keyrt tilraunina, og nemendur sem hafa lokið öllum námsefnum hafa tekið lokapróf. Þegar þú hefur borið saman lokapróf nemenda sem fengu framfarirnar með stigum þeirra sem ekki gerðu, finnst þér mjög óvart að nemendur sem ekki fengu framfarirnar töldu sig hærra. Þýðir þetta að framfarirnar létu nemendur læra minna? Hvað getur þú lært af þessum niðurstöðum? (Vísbending: Sjá kafla 7 í Gerber and Green (2012) )

21. [ , , ] Ímyndaðu þér að þú sért að vinna sem gögn vísindamaður hjá tæknibúnaði. Einhver frá markaðsdeildinni biður um hjálp þína við að meta tilraun sem þeir eru að skipuleggja til að mæla arðsemi fjárfestingarinnar (ROI) fyrir nýja auglýsingu á netinu. Arðsemi er skilgreind sem hagnaður af herferðinni deilt með kostnaði við herferðina. Til dæmis, herferð sem hafði engin áhrif á sölu myndi hafa arð af -100%; herferð þar sem hagnaður sem myndast jafngildir kostnaði myndi hafa arðsemi 0; og herferð þar sem hagnaðurinn var tvöfaldur kostnaðurinn hefði 200% arðsemi.

    Áður en þú byrjar að gera tilraunina gefur markaðsdeildin þér eftirfarandi upplýsingar byggðar á fyrri rannsóknum (reyndar eru þessi gildi dæmigerð fyrir raunverulegan á netinu auglýsingaherferðir sem greint er frá í Lewis og Rao (2015) ):

    • Meðalvelta á hvern viðskiptavin fylgir log-eðlilegum dreifingu með að meðaltali 7 $ og staðalfrávik 75 $.
    • Herferðin er gert ráð fyrir að auka sölu með 0,35 Bandaríkjadali á hvern viðskiptavin, sem samsvarar hagnað af $ 0.175 á hvern viðskiptavin.
    • Fyrirhuguð stærð tilraunarinnar er 200.000 manns: helmingur í meðferðarhópnum og helmingur í samanburðarhópnum.
    • Kostnaður við herferðina er $ 0,14 á þátttakanda.
    • Áætlað arðsemi fyrir herferðina er 25% [ \((0.175 - 0.14)/0.14\) ]. Með öðrum orðum telur markaðsdeildin að fyrir hverja 100 dollara sem eytt er í markaðssetningu mun félagið vinna sér inn aukalega 25 $ í hagnaði.

    Skrifaðu minnisblaði sem metur þessa fyrirhugaða tilraun. Minnispunkturinn þinn ætti að nota vísbendingar frá eftirlíkingu sem þú býrð til og það ætti að fjalla um tvö helstu atriði: (1) Viltu mæla með að þú byrjar að gera þessa tilraun eins og áætlað er? Ef svo er, hvers vegna? Ef ekki, hvers vegna ekki? Vertu viss um að vera skýr um þau viðmið sem þú notar til að taka þessa ákvörðun. (2) Hvaða sýnishornsstærð mælirðu með þessari tilraun? Aftur vinsamlegast vertu viss um að vera skýr um þau viðmið sem þú notar til að taka þessa ákvörðun.

    Gott minnisblaði mun fjalla um þetta sérstaka mál; betra minnisblaði mun alhæfa úr þessu tilfelli á einum vegi (td sýna hvernig ákvörðunin breytist sem fall af stærð áhrifa herferðarinnar); og mikill minnisblaði mun kynna fullkomlega almennu niðurstöðu. Minnispunkturinn þinn ætti að nota línurit til að lýsa niðurstöðum þínum.

    Hér eru tvær vísbendingar. Í fyrsta lagi gætu markaðsdeildin veitt þér óþarfa upplýsingar og gætu ekki veitt þér nauðsynlegar upplýsingar. Í öðru lagi, ef þú notar R, vertu meðvitaðir um að rlnorm () virknin virkar ekki eins og margir búast við.

    Þessi aðgerð mun gefa þér æfingu með orkugreiningu, búa til uppgerð og miðla niðurstöðum þínum með orðum og myndum. Það ætti að hjálpa þér að sinna orkugreiningu fyrir hvers konar tilraun, ekki bara tilraunir sem eru hönnuð til að meta arðsemi. Þessi virkni gerir ráð fyrir að þú sért með reynslu af tölfræðilegum prófunum og orkugreiningu. Ef þú ert ekki kunnugt um orkugreiningu, mæli ég með að þú lest "A Power Primer" eftir Cohen (1992) .

    Þessi starfsemi var innblásin af yndislegu pappír af RA Lewis and Rao (2015) , sem sýnir líflega tölfræðilega takmörkun á jafnvel gegnheill tilraunum. Pappír þeirra - sem upphaflega átti ögrandi titilinn "Um nánast ómögulega að mæla aftur á auglýsinguna" - sýnir hversu erfitt það er að meta afkomuna af fjárfestingu á netinu auglýsingar, jafnvel með stafrænum tilraunum sem tengjast milljónum viðskiptavina. Meira almennt, RA Lewis and Rao (2015) sýna grundvallar tölfræðilega staðreynd sem er sérstaklega mikilvægt fyrir tilraunir með stafrænni aldri: það er erfitt að meta lítil áhrif á meðferð meðal háværra niðurstaðsgagna.

22. [ , ] Gera það sama og fyrri spurningin, en frekar en uppgerð, ættirðu að nota greiningar niðurstöður.

23. [ , , ] Gera það sama og fyrri spurningin, en notaðu bæði uppgerð og greiningar niðurstöður.

24. [ , , ] Ímyndaðu þér að þú hafir skrifað minnispunktinn sem lýst er hér að ofan og einhver frá markaðsdeildinni veitir eitt nýjar upplýsingar: Þeir búast við 0,4 fylgni milli sölu fyrir og eftir tilraunina. Hvernig breytir þetta tilmælunum í minnisblaðinu? (Vísbending: sjá kafla 4.6.2 fyrir meira um áætlunarmun á mismun og mismunur á mismun).

25. [ , ] Til að meta skilvirkni nýrrar vefur-undirstaða atvinnu-aðstoð program, háskóli gerði slembiraðað stjórna prufa meðal 10.000 nemendur inn í lok skólaár sitt. Frítt áskrift með einstökum innskráningarupplýsingum var send með sérstökum tölvupóstboði til 5.000 af handahófi völdum nemendum en hin 5.000 nemendur voru í stjórnhópnum og höfðu ekki áskrift. Tólf mánuðum síðar sýndi eftirfylgni könnun (án svörunar) að bæði 70% nemenda höfðu tryggt fullu starfi á völdum sviðum (töflu 4.6). Þannig virtist það að vefþjónustain hefði engin áhrif.

    Hins vegar snjall gagnafræðingur við háskólann horfði á gögnin nánar og fann að aðeins 20% nemenda í meðferðarshópnum voru alltaf skráðir inn á reikninginn eftir að hafa fengið tölvupóstinn. Ennfremur, og nokkuð á óvart, meðal þeirra sem skráðu sig inn á vefsíðuna, höfðu aðeins 60% tryggt fullu starfi á völdu sviði þeirra, sem var lægra en hlutfall fólks sem ekki skráði sig inn og lægra en hlutfall fólks í stjórn ástandi (tafla 4.7).

    1. Gefðu skýringu á því sem gæti hafa gerst.
    2. Hver eru tvær mismunandi leiðir til að reikna út áhrif meðferðarinnar í þessari tilraun?
    3. Í ljósi þessa afleiðingar ætti að veita þessari þjónustu öllum nemendum? Bara til að vera skýr, þetta er ekki spurning með einfalt svar.
    4. Hvað eigum við að gera næst?

    Vísbending: Þessi spurning fer út fyrir efni sem fjallað er um í þessum kafla, en fjallar um vandamál sem eru algeng í tilraunum. Þessi tegund af tilraunahönnun er stundum kallað hvatningarhönnun vegna þess að þátttakendur eru hvattir til að taka þátt í meðferðinni. Þetta vandamál er dæmi um það sem kallast einhliða bilun (sjá kafla 5 í Gerber and Green (2012) ).

26. [ ] Eftir frekari athugun kom í ljós að tilraunin sem lýst er í fyrri spurningunni var enn flóknari. Það kom í ljós að 10% af fólki í eftirlitshópnum greiddu fyrir aðgang að þjónustunni og þeir höfðu 65% atvinnuþátttöku (tafla 4.8).

    1. Skrifaðu tölvupóst sem sýnir saman hvað þú heldur að gerist og mælum með aðgerð.

    Vísbending: Þessi spurning fer út fyrir efni sem fjallað er um í þessum kafla, en fjallar um vandamál sem eru algeng í tilraunum. Þetta vandamál er dæmi um það sem kallast tvíhliða ósamræmi (sjá kafla 6 í Gerber and Green (2012) ).