darbības

• grūtības pakāpe: viegli , vidēja , grūti , ļoti grūti
• prasa math ( )
• nepieciešama kodēšana ( )
• datu vākšana ( )
• mani mīļākie ( )

1. [ , ] Berinsky un kolēģi (2012) daļēji novērtēja MTurk, atkārtojot trīs klasiskus eksperimentus. Atkārtojiet klasisko Āzijas slimību framing eksperiments ar Tversky and Kahneman (1981) . Vai jūsu rezultāti atbilst Tverskai un Kahnemana? Vai jūsu rezultāti atbilst tiem Berinsky un kolēģiem? Kas, ja kaut kas, vai tas mums iemāca izmantot MTurk apsekojumu eksperimentiem?

2. [ , ] Nedaudz pagarinātā papīra ar nosaukumu "Mums ir jāpārtrauc" sociālais psihologs Roberts Čialdins (Robert Cialdini), viens no Schultz et al. (2007) rakstīja, ka viņš jau agrāk bija pensionējies profesora darbā, daļēji tādēļ, ka viņš saskārās ar lauka eksperimentu veikšanu disciplīnā (psiholoģijā), kas galvenokārt veic laboratorijas eksperimentus (Cialdini 2009) . Lasiet Cialdini papīru un uzrakstiet viņam e-pastu, aicinot viņu pārskatīt savu sadalījumu, ņemot vērā digitālo eksperimentu iespējas. Izmantojiet īpašus pētījumu piemērus, kas attiecas uz viņa bažām.

3. [ Lai noteiktu, vai nelieli sākotnējie sasniegumi ir bloķējušies vai izzūd, van de Rijt un savi kolēģi (2014) iejaucās četrās dažādās sistēmās, kas sekmēja nejauši izvēlētu dalībnieku panākumus, un pēc tam novērtēja šo patvaļīgo panākumu ilgtermiņa ietekmi. Vai jūs varat domāt par citām sistēmām, kurās varētu veikt līdzīgus eksperimentus? Novērtējiet šīs sistēmas zinātniskās vērtības, algoritmiskas sajaukšanas (skat. 2. nodaļu) un ētikas jautājumos.

4. [ , ] Eksperimenta rezultāti var būt atkarīgi no dalībniekiem. Izveidojiet eksperimentu un pēc tam palaidiet to MTurk, izmantojot divas dažādas darbā pieņemšanas stratēģijas. Mēģiniet izvēlēties eksperimentu un darbā pieņemšanas stratēģijas, lai rezultāti būtu pēc iespējas atšķirīgi . Piemēram, jūsu darbā pieņemšanas stratēģijas varētu būt, pieņemot darbā dalībniekus no rīta un vakarā, vai kompensējot dalībniekus ar augstu un zemu atalgojumu. Šāda atšķirība darbā pieņemšanas stratēģijā varētu novest pie dažādiem dalībnieku kopumiem un dažādiem eksperimentālajiem rezultātiem. Cik citādi jūsu rezultāti izrādījās? Ko tas parāda par MTurk eksperimentu veikšanu?

5. [ , , ] Iedomājieties, ka plānojāt eksperimentu ar emocionālo kontūziju (Kramer, Guillory, and Hancock 2014) . Izmantojiet Kramer (2012) agrākā novērojumu pētījuma rezultātus, lai noteiktu dalībnieku skaitu katrā stāvoklī. Šie divi pētījumi nesaskan perfekti, tāpēc noteikti norādiet visus pieņēmumus, ko veicat:

   1. Izpildiet simulāciju, kas izlems, cik dalībnieku būtu vajadzējis, lai noteiktu ietekmi, kas ir tik liela kā ietekme Kramer (2012) ar \(\alpha = 0.05\) un \(1 - \beta = 0.8\) .
   2. Veikt to pašu aprēķinu analītiski.
   3. Ņemot vērā rezultātus, kas iegūti no Kramer (2012) Emotional Contagion (Kramer, Guillory, and Hancock 2014) pārslogoti (ti, vai tam ir vairāk dalībnieku nekā vajadzīgs)?
   4. Vai esat izdarījis pieņēmumus, kas visvairāk ietekmē jūsu aprēķinu?

6. [ , , ] Atbildiet uz iepriekšējo jautājumu vēlreiz, taču šajā laikā, nevis izmantojot agrāko Kramer (2012) novērojumu pētījumu, izmantojiet Lorenzo Coviello et al. (2014) Iepriekšējā dabiskā eksperimenta rezultātus Lorenzo Coviello et al. (2014) .

7. [ ] Gan Margetts et al. (2011) un van de Rijt et al. (2014) veica eksperimentus, pētot personu, kas parakstīja lūgumrakstu, procesu. Salīdziniet un salīdziniet šo pētījumu plānus un rezultātus.

8. [ ] Dwyer, Maki, and Rothman (2015) veica divus eksperimentus par attiecībām starp sociālajām normām un apkārtējās vides uzvedību. Lūk, referāta kopsavilkums:

   "Kā varētu izmantot psiholoģisko zinātni, lai veicinātu apkārtējās vides uzvedību? Divos pētījumos intervences, kuru mērķis bija veicināt enerģijas saglabāšanas darbību publiskajās vannās, pārbaudīja aprakstošo normu un personiskās atbildības ietekmi. 1. pētījumā gaismas stāvoklis (ti, ieslēgts vai izslēgts) tika manipulēts, pirms kāds ienāca neaizņemtā kopējā vannas istabā, signalizējot aprakstošo normu šim iestatījumam. Dalībniekiem bija daudz lielāka iespēja, ka tie izslēgtu gaismu, ja tie bija ieslēgti. 2. pētījumā tika iekļauts papildu nosacījums, kurā konfidencialitāti pierādīja gaismas izslēgšanas norma, taču dalībnieki paši par to neiesaistīja. Personiskā atbildība mazināja sociālo normu ietekmi uz uzvedību; kad dalībnieki nebija atbildīgi par gaismas ieslēgšanos, normas ietekme bija mazāka. Šie rezultāti liecina par to, kā aprakstošās normas un personiskā atbildība var regulēt vides aizsardzības pasākumu efektivitāti. "

   Lasiet to papīru un izstrādājiet 1. pētījuma replikāciju.

9. [ , ] Pamatojoties uz iepriekšējo jautājumu, tagad veiciet savu dizainu.

   1. Kā rezultāti tiek salīdzināti?
   2. Kas varētu izskaidrot šīs atšķirības?

10. [ ] Ir notikušas būtiskas debates par eksperimentiem, izmantojot dalībniekus, kuri tika pieņemti darbā no MTurk. Paralēli ir notikušas arī būtiskas debates par eksperimentiem, izmantojot dalībniekus, kas pieņemti darbā no studentu kopskaita. Uzrakstiet divu lappušu piezīmi, salīdzinot un kontrastējošus turku un studentu kā pētījuma dalībniekus. Jūsu salīdzinājumā jāiekļauj diskusija par zinātniskiem un loģistikas jautājumiem.

11. [ ] Jim Manzi grāmata " Nekontrolētas (2012) ir brīnišķīgs ievads eksperimentu veikšanai biznesā. Grāmatā viņš izlaida šādu stāstu:

    "Es reiz bija tikšanās ar patiesu biznesa ģēniju, pašmāju miljardieri, kam bija dziļa, intuitīva eksperimentu spēka pārtraukšana. Viņa uzņēmums iztērēja ievērojamus resursus, cenšoties radīt lieliskus veikala loga displejus, kas piesaistītu patērētājus un palielinātu pārdošanas apjomus, jo parastā gudrība teica, ka tiem vajadzētu. Eksperti rūpīgi pārbaudīja dizaina izstrādi pēc dizaina un atsevišķās testa pārskata sesijās vairāku gadu laikā, un tur neizrādīja nozīmīgu cēloņsakarību katram jaunam displeja dizainam par pārdošanu. Vecākie mārketinga un tirdzniecības vadītāji tikās ar izpilddirektoru, lai pārskatītu šos vēsturisko testa rezultātus toto. Pēc visu eksperimentu datu uzrādīšanas viņi secināja, ka parastā gudrība bija nepareiza - loga rādījumi neveicina pārdošanu. Viņu ieteiktā rīcība bija samazināt izmaksas un centienus šajā jomā. Tas dramatiski parādīja eksperimentēšanas spēju atcelt tradicionālo gudrību. Vadītāja atbilde bija vienkārša: "Mans secinājums ir tāds, ka jūsu dizaineri nav ļoti labi." Viņa risinājums bija palielināt (Manzi 2012, 158–9) veikala displeja dizainā un iegūt jaunus cilvēkus to darīt. " (Manzi 2012, 158–9)

    Kāds derīguma veids ir izpilddirektora bažas?

12. [ ] Pamatojoties uz iepriekšējo jautājumu, iedomājieties, ka jūs piedalījāties sanāksmē, kurā tika apspriesti eksperimentu rezultāti. Kādi ir četri jautājumi, kurus jūs varētu uzdot - viens katram derīguma veidam (statiskais, konstruēts, iekšējais un ārējais)?

13. [ ] Bernedo, Ferraro, and Price (2014) pētīja Ferraro, Miranda, and Price (2011) aprakstīto ūdens taupīšanas intervences septiņu gadu ietekmi (sk. 4.11. Attēlu). Šajā rakstā Bernedo un viņa kolēģi arī centās izprast mehānismu, kas ietekmē šo efektu, salīdzinot to mājsaimniecību uzvedību, kuras pēc ārstēšanas veikšanas ir mainījušās un nav mainījušās. Tas ir aptuveni, viņi centās noskaidrot, vai ārstēšana ietekmēja māju vai māju īpašnieku.

    1. Lasīt rakstu, aprakstīt to dizainu un apkopot savus secinājumus.
    2. Vai viņu secinājumi ietekmē to, kā jums būtu jāizvērtē līdzīgu intervenču izmaksu efektivitāte? Ja jā, tad kāpēc? Ja nē, tad kāpēc?

14. [ ] Pēc Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) divos kontekstos (viesnīca un īpašumtiesības uz laiku Schultz et al. (2007) , Schultz un viņa kolēģi veica trīs eksperimentu sēriju par aprakstošu un aizsardzīmju normu ietekmi uz atšķirīgu vides uzvedību (dvieļu atkārtota izmantošana (Schultz, Khazian, and Zaleski 2008) .

    1. Apkopojiet triju eksperimentu plānu un rezultātus.
    2. Kā, ja vispār, viņi mainītu jūsu interpretāciju Schultz et al. (2007) ?

15. [ ] Atbildot uz Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) veica virkni laboratorijas tipa eksperimentu, lai pētītu elektrisko rēķinu dizainu. Lūk, kā viņi apraksta to abstrakti:

    "Aptaujas eksperimentā katrs dalībnieks redzēja hipotētisku elektroenerģijas rēķinu ģimenei ar salīdzinoši augstu elektroenerģijas patēriņu, aptverot informāciju par a) vēsturisku izmantošanu, b) salīdzinājumiem ar kaimiņiem un c) vēsturisko izmantošanu ar ierīces sadalījumu. Dalībnieki redzēja visus informācijas veidus vienā no trim formātiem, tostarp (a) tabulām, (b) joslu diagrammām un (c) ikonu grafikām. Mēs ziņojam par trim galvenajiem secinājumiem. Pirmkārt, patērētāji visvairāk saprot visu veidu elektroenerģijas izmantošanas informāciju, kad tie tika uzrādīti tabulā, varbūt tāpēc, ka tabulas atvieglo vienkāršu nolasīšanu. Otrkārt, preferences un nodomi ietaupīt elektroenerģiju bija visspēcīgākās vēsturiskās izmantošanas informācijai neatkarīgi no formāta. Treškārt, personas ar zemāku enerģijas rakstpratību saprata visu informāciju mazāk. "

    Atšķirībā no citiem turpmākajiem pētījumiem galvenais Canfield, Bruin, and Wong-Parodi (2016) ir ziņots par uzvedību, nevis uz faktisko uzvedību. Kādas ir šāda veida pētījuma stipro un vājās puses plašākā pētniecības programmā, kas veicina enerģijas ietaupījumu?

16. [ , ] Smith and Pell (2003) iepazīstināja ar satīrisku pētījumu meta-analīzi, kas parāda izpletņu efektivitāti. Viņi secināja:

    "Tāpat kā ar daudzām intervencēm, kuru mērķis ir novērst sliktu veselību, izpletņlēcēju efektivitāte nav rūpīgi izvērtēta, izmantojot nejaušinātos kontrolētos pētījumus. Uz pierādījumiem balstītas zāles aizstāvji ir kritizējuši iejaukšanās pasākumu novērtēšanu, izmantojot tikai novērošanas datus. Mēs domājam, ka ikviens varētu gūt labumu, ja radikālie pierādījumu pamato medicīnas varoņi organizētu un piedalījās dubultmaskētā, randomizētā, placebo kontrolētajā, krustošanas izmēģinājumā ar izpletni. "

    Uzrakstiet op-ed, kas piemērots lasītājam raksturīgai laikrakstam, piemēram, New York Times , apgalvojot, ka pret eksperimentālo pierādījumu fetišizāciju. Sniedziet konkrētus konkrētus piemērus. Padoms. Skatiet arī Deaton (2010) un Bothwell et al. (2016) .

17. [ , , ] Ārstēšanas efekta starpības novērtējuma atšķirības var būt precīzākas nekā starpības vidējie novērtējumi. Uzrakstiet piezīmi inženierim, kas atbild par A / B testēšanu, uzsākot sociālo mediju uzņēmumam, kas izskaidro starpību atšķirību pieejas vērtību, lai veiktu tiešsaistes eksperimentu. Šajā piezīmē jāiekļauj problēmas izklāsts, daži intuīdi par apstākļiem, kādos atšķirības starpības novērtētājs pārsniegs starpības vidējo novērtējumu un vienkāršu simulācijas pētījumu.

18. [ , ] Gary Loveman bija Harvardas Biznesa skolas profesors, pirms viņš kļuva par Harrah's, kas ir viens no lielākajiem kazino uzņēmumiem pasaulē, izpilddirektors. Kad viņš pārcēlās uz Harrah's, Loveman pārveidoja uzņēmumu ar bieži lidotāja līdzīgu lojalitātes programmu, kas savāca milzīgu datu apjomu par klientu uzvedību. Papildus šim vienmērīgā mērīšanas sistēmai uzņēmums sāka eksperimentus. Piemēram, viņi var veikt eksperimentu, lai novērtētu kuponu ietekmi uz bezmaksas nakšu naktī klientiem ar noteiktu azartspēļu veidu. Lūk, kā Loveman aprakstīja eksperimentu nozīmi Harrah ikdienas darījumu praksē:

    "Tas ir kā jūs neievainojat sievietes, jūs nezaudē, un jums ir jābūt kontroles grupai. Šī ir viena no lietām, par kurām jūs varat zaudēt savu darbu Harrahā - nevadot kontroles grupu. " (Manzi 2012, 146)

    Uzrakstiet e-pastu jaunam darbiniekam, paskaidrojot, kāpēc Loveman domā, ka ir tik svarīgi, lai būtu kontroles grupa. Jums vajadzētu mēģināt iekļaut piemēru - vai nu reālu, vai izveidotu - lai ilustrētu jūsu viedokli.

19. [ , ] Jaunā eksperimenta mērķis ir novērtēt īsziņu atgādinājumu saņemšanas ietekmi uz vakcināciju. Viens simts piecdesmit klīnikās, no kurām katra ir 600 atbilstošu pacientu, ir gatavi piedalīties. Katrai klīnikai, par kuru vēlaties strādāt, ir fiksētas izmaksas 100 ASV dolāru apmērā, un katrai īsziņai, kuru vēlaties nosūtīt, izmaksas ir 1 ASV dolārs. Turklāt jebkuras klīnikas, ar kurām jūs strādājat, novērtēs rezultātu (vai kāds saņēma vakcināciju) par brīvu. Pieņemsim, ka jums ir budžets 1000 $.

    1. Kādos apstākļos varētu labāk koncentrēt savus resursus uz nelielu skaitu klīniku un kādos apstākļos varētu labāk izplatīt tos plašāk?
    2. Kādi faktori nosaka mazāko efekta lielumu, kuru jūs varēsiet droši noteikt ar savu budžetu?
    3. Rakstiet piezīmi, kurā paskaidroti šie kompromisi potenciālajam finansētājam.

20. [ , ] Liela problēma ar tiešsaistes kursiem ir sašaurinājums: daudzi studenti, kuri sāk kursus, galu galā izstājas. Iedomājieties, ka strādājat ar tiešsaistes mācību platformu, un platformas dizaineris ir izveidojis vizuālo progresa joslu, kas, pēc viņa domām, palīdzēs neļaut studentiem izkļūt no kursa. Jūs vēlaties pārbaudīt progresa joslas ietekmi uz studentiem lielā skaitļošanas sociālās zinātnes kursā. Pēc tam, kad esat pievērsies jebkādiem ētikas jautājumiem, kas varētu rasties eksperimentā, jūs un jūsu kolēģi uztraucas, ka kursā, iespējams, nav pietiekami daudz skolēnu, lai droši noteiktu progresa joslas ietekmi. Turpmākos aprēķinos var uzskatīt, ka puse studentu saņems progresa joslu un puse no tām nav. Turklāt jūs varat pieņemt, ka nav nekādu traucējumu. Citiem vārdiem sakot, jūs varat pieņemt, ka dalībniekus ietekmē tikai tas, vai viņi saņēma ārstēšanu vai kontroli; to nenotiek, vai citi cilvēki saņem ārstēšanu vai kontroli (formālas definīcijas skat. Gerber and Green (2012) 8. nodaļā). Sekojiet līdzi jebkādiem papildu pieņēmumiem, ko veicat.

    1. Pieņemsim, ka progresa josla paredz palielināt to studentu īpatsvaru, kuri pabeiguši nodarbības par 1 procentu punktu; kāds ir izlases lielums, kas vajadzīgs, lai ticami noteiktu iedarbību?
    2. Pieņemsim, ka progresa josla paredz palielināt to studentu īpatsvaru, kuri pabeiguši klasei par 10 procentpunktiem; kāds ir izlases lielums, kas vajadzīgs, lai ticami noteiktu iedarbību?
    3. Tagad iedomājieties, ka esat vadījis eksperimentu, un studenti, kuri ir pabeiguši visus kursa materiālus, ir nokārtoti. Salīdzinot to studentu gala eksāmenu rezultātus, kuri saņēmuši progresa joslu ar rādītājiem no tiem, kuri to nav izdarījuši, jūs, pēc jūsu pārsteiguma, atradīsiet, ka studenti, kuri nesaņēma progresa joslu, faktiski ieguva augstāku. Vai tas nozīmē, ka progresa josla ļāva studentiem mazāk iemācīties? Ko jūs varat mācīties no šiem rezultātu datiem? (Padoms: skatiet Gerber and Green (2012) nodaļu 7).

21. [ , , ] Iedomājieties, ka strādājat par datu zinātni tehnoloģiju uzņēmumā. Kāds no mārketinga departamenta lūdz jūsu palīdzību, novērtējot eksperimentu, ko viņi plāno, lai noteiktu jaunas tiešsaistes reklāmas kampaņas ieguldījumu atdevi (IA). IA tiek definēta kā kampaņas tīrā peļņa, kas dalīta ar kampaņas izmaksām. Piemēram, kampaņai, kas neietekmēja pārdošanas apjomu, rentabilitāte būtu -100%; kampaņai, kurā gūtā peļņa bija vienāda ar izmaksām, ROI būtu 0; un kampaņa, kurā gūtā peļņa dubultā bija 200%.

    Pirms eksperimenta uzsākšanas mārketinga nodaļa sniedz jums šādu informāciju, pamatojoties uz agrāko pētījumu (faktiski šīs vērtības ir raksturīgas reālām tiešsaistes reklāmu kampaņām, par kurām ziņots Lewis un Rao (2015) ):

    • Vidējais pārdošanas apjoms uz vienu klientu ir tāds, ka tas tiek sadalīts normālā līmenī ar vidējo vērtību 7 USD un standarta novirzi 75 USD.
    • Paredzams, ka kampaņa palielinās pārdošanas apjomu par 0,35 ASV dolāriem uz vienu klientu, kas atbilst peļņas pieaugumam $ 0,175 apmērā par klientu.
    • Plānotais eksperimenta lielums ir 200 000 cilvēku: puse ārstēšanas grupā un puse kontroles grupā.
    • Kampaņas izmaksas ir $ 0,14 par vienu dalībnieku.
    • Kampaņas paredzamais IA ir 25% [ \((0.175 - 0.14)/0.14\) ]. Citiem vārdiem sakot, mārketinga nodaļa uzskata, ka par katru 100 dolāru, kas tiek tērēti tirdzniecībai, uzņēmums pelna papildu 25 ASV dolārus peļņā.

    Uzrakstiet piezīmi, novērtējot šo ierosināto eksperimentu. Jūsu piezīmei jāizmanto iegūtie simulācijas pierādījumi, un tam jāattiecas uz diviem galvenajiem jautājumiem: (1) Vai jūs ieteiktu šo eksperimentu uzsākt, kā plānots? Ja jā, tad kāpēc? Ja nē, tad kāpēc? Noteikti izskaidrojiet kritērijus, kurus izmantojat, lai pieņemtu šo lēmumu. (2) Kādus paraugu izmērus jūs ieteiktu šim eksperimentam? Atkal lūdzu pārliecinieties, vai esat skaidrs par kritērijiem, kurus izmantojat, lai pieņemtu šo lēmumu.

    Labs piezīme attieksies uz šo konkrēto gadījumu; labāka piezīme no šī gadījuma tiks vispārināti vienādi (piemēram, parādiet, kā lēmums mainās atkarībā no kampaņas efekta lieluma); un lielisks piezīme parādīs pilnībā vispārēju rezultātu. Jūsu vēstulē jāizmanto grafiki, lai palīdzētu ilustrēt jūsu rezultātus.

    Šeit ir divi ieteikumi. Pirmkārt, mārketinga nodaļa varēja jums sniegt nevajadzīgu informāciju, un, iespējams, tie nespēja sniegt jums nepieciešamo informāciju. Otrkārt, ja jūs izmantojat R, ņemiet vērā, ka funkcija rlnorm () nedarbojas tā, kā daudzi cilvēki cer.

    Šī aktivitāte dos jums iespēju veikt spēka analīzi, veidot simulācijas un paziņot savus rezultātus ar vārdiem un grafikiem. Tam vajadzētu palīdzēt veikt jebkura veida eksperimenta veiktspējas analīzi, nevis tikai eksperimentus, kas paredzēti, lai noteiktu IA. Šī darbība paredz, ka jums ir zināma pieredze statistikas testēšanā un jaudas analīzē. Ja neesat pazīstams ar varas analīzi, es iesaku jums izlasīt Cohen (1992) "Power Primer".

    Šo darbību iedvesmojis RA Lewis and Rao (2015) jaukais papīrs, kas spilgti ilustrē būtisku pat milzīgu eksperimentu statistisko ierobežojumu. Viņu papīrs, kurā sākotnēji bija provokatīvs virsraksts "Par reklāmu atgriešanās līmeņa mērīšanas neiespējamību", parāda, cik grūti ir izmērīt tiešsaistes reklāmu ieguldījumu atdevi, pat izmantojot digitālos eksperimentus, kuros iesaistīti miljoniem klientu. Vispārīgāk, RA Lewis and Rao (2015) ilustrē fundamentālu statistikas faktu, kas ir īpaši svarīgi digitālā vecuma eksperimentiem: ir grūti novērtēt nelielu ārstēšanas efektu, salīdzinot ar trokšņainiem iznākuma datiem.

22. [ , ] Izpildiet to pašu, kā iepriekšējais jautājums, bet nevis simulāciju, jums vajadzētu izmantot analītiskos rezultātus.

23. [ , , ] Izpildiet tādu pašu kā iepriekšējo jautājumu, bet izmantojiet gan simulācijas, gan analītiskos rezultātus.

24. [ , , ] Iedomājieties, ka esat ierakstījis iepriekš aprakstīto piezīmi, un kāds no mārketinga departamenta sniedz vienu jaunu informāciju: viņi cer, ka 0.4 līdz korelācija starp pārdošanu pirms un pēc eksperimenta. Kā tas mainīs ieteikumus jūsu atmiņā? (Padoms: skatiet 4.6.2. Sadaļu, lai uzzinātu vairāk par starpības novērtējuma novērtētāju un atšķirību starpības aprēķinu.)

25. [ , ] Lai novērtētu jaunas tīmekļa vietnes nodarbinātības palīdzības programmas efektivitāti, augstskola veica nejaušinātu kontrolpārbaudi 10 000 skolēnu vidū, kuri ieradušies pēdējā skolas gadā. Bezmaksas parakstīšanās ar unikālu pieteikšanās informāciju tika nosūtīta, izmantojot ekskluzīvu e-pasta ielūgumu 5000 no nejauši izvēlētiem studentiem, bet pārējie 5000 studentu bija kontroles grupā un viņiem nebija parakstīšanās. Divpadsmit mēnešus vēlāk, pēcpārbaude (bez atbildes reakcijas) parādīja, ka gan ārstēšanas, gan kontroles grupās 70% studentu bija nodrošinājuši pilnas slodzes darbu izvēlētajā jomā (4.6. Tabula). Tādējādi šķita, ka tīmekļa pakalpojums nebija efekts.

    Tomēr gudrs datu zinātnieks universitātē pētīja datus nedaudz ciešāk un konstatēja, ka tikai 20% no ārstniecības grupas studentiem kādreiz pieteicies kontā pēc e-pasta saņemšanas. Turklāt un nedaudz pārsteidzoši, no tiem, kas ielogējās tīmekļa vietnē, tikai 60% bija nodrošinājuši pilnas slodzes darbu izvēlētajā jomā, kas bija zemāks nekā likme cilvēkiem, kuri neiesaistījās un nebija mazāki nekā cilvēki kontroles stāvoklī (4.7. tabula).

    1. Sniedziet skaidrojumu par iespējamo notikumu.
    2. Kādi ir divi dažādi veidi, kā aprēķināt ārstēšanas efektu šajā eksperimentā?
    3. Ņemot vērā šo rezultātu, vai šis pakalpojums būtu jānodrošina visiem studentiem? Lai būtu skaidrs, tas nav jautājums ar vienkāršu atbildi.
    4. Ko darīt tālāk?

    Padoms. Šis jautājums sniedzas tālāk par šajā nodaļā ietverto materiālu, bet tajā tiek aplūkoti eksperimentos kopīgi jautājumi. Šo eksperimentālā dizaina veidu dažreiz sauc par iedrošinājuma projektu, jo dalībnieki tiek mudināti iesaistīties ārstēšanā. Šī problēma ir piemērs tam, ko sauc par vienpusēju neatbilstību (skatīt Gerber and Green (2012) 5. nodaļu).

26. [ ] Pēc tālākas izmeklēšanas izrādījās, ka iepriekšējā jautājumā aprakstītais eksperiments bija vēl sarežģītāks. Izrādījās, ka 10% kontrolgrupas cilvēku maksā par piekļuvi pakalpojumam, un viņi sasniedza nodarbinātības līmeni 65% (4.8. Tabula).

    1. Rakstiet e-pastu, kurā apkopota informācija par to, ko jūs domājat, un ieteiktu darbības virzienu.

    Padoms. Šis jautājums sniedzas tālāk par šajā nodaļā ietverto materiālu, bet tajā tiek aplūkoti eksperimentos kopīgi jautājumi. Šī problēma ir piemērs tam, ko sauc par divvirzienu neatbilstību (skat. Gerber and Green (2012) 6. nodaļa Gerber and Green (2012) ).