toimet

• vaikeusaste: helppo , keskitaso , kova , tosi kovasti
• edellyttää matematiikkaa ( )
• koodaus ( )
• tiedonkeruu ( )
• suosikkini ( )

1. [ , ] Berinsky ja kollegat (2012) arvioivat MTurkin osittain repimällä kolmea klassista kokeilua. Tversky and Kahneman (1981) klassinen Aasian taudin kehystyskokeilu Tversky and Kahneman (1981) . Onko tuloksesi vastaava Tversky ja Kahnemanin kanssa? Ovatko tulokset vastaamaan Berinsky ja hänen kollegansa? Mitä-jos mitään - opettaako meitä siitä, että MTurkia käytetään tutkimuskokeisiin?

2. [ , ] Sosiaalipsykologi Robert Cialdini, joka on yksi Schultz et al. (2007) tutkijoiden tekijöistä, on hieman kielten poskipaperi nimeltä "Meidän on hajottava" Schultz et al. (2007) , kirjoitti, että hän vetäytyi varhain professoriltaan, osittain siksi, että hän joutui kohtaamaan kenttätutkimuksia psykologiassa, joka pääasiassa tekee laboratoriokokeita (Cialdini 2009) . Lue Cialdinin paperi ja kirjoita hänelle sähköpostia, jossa hän kehottaa häntä harkitsemaan uudelleen hajoamistaan ​​digitaalisten kokeiden mahdollisuuksien valossa. Käytä erityisiä esimerkkejä tutkimuksesta, jotka käsittelevät hänen huolenaiheitaan.

3. [ ] Sen määrittämiseksi, ovatko pienet alkuhaasteet lukkiutuneet tai kadonneet, van de Rijt ja kollegat (2014) puuttuivat neljään erilaiseen järjestelmään, jotka antoivat onnistumisen satunnaisesti valituille osallistujille, ja mitattiin tämän mielivaltaisen menestyksen pitkän aikavälin vaikutukset. Voitko ajatella muita järjestelmiä, joissa voit kokeilla samanlaisia ​​kokeita? Arvioi nämä järjestelmät tieteellisten arvojen, algoritmisen sekaannuksen (ks. Luku 2) ja etiikan kannalta.

4. [ , ] Kokeen tulokset voivat riippua osallistujista. Luo kokeilu ja suorita se MTurkilla käyttäen kahta eri rekrytointistrategiaa. Yritä valita kokeilu ja rekrytointistrategiat siten, että tulokset ovat mahdollisimman erilaiset . Esimerkiksi rekrytointistrategiat voivat olla osallistujien rekrytointi aamulla ja illalla tai korvaamaan osallistujia korkealla ja matalalla palkalla. Tällaiset erot rekrytointistrategiassa voivat johtaa erilaisiin osallistujiin ja erilaisiin kokeellisiin tuloksiin. Kuinka erilaiset tuloksesi muuttuivat? Mitä tämä paljastaa käynnissä olevista kokeista MTurkissa?

5. [ , , Kuvittele, että suunnittelet Emotional Contagion -kokeilua (Kramer, Guillory, and Hancock 2014) . Käytä Kramer (2012) aikaisempaa havainnointitutkimuksen tuloksia päättää osallistujien määrä kussakin kunnossa. Nämä kaksi tutkimusta eivät täsmää täydellisesti, joten varmista, että luetat kaikki olettamukset, jotka teet:

   1. Suorita simulaatio, joka päättää, kuinka monta osallistujaa olisi tarvinnut havaita vaikutus, joka on yhtä suuri kuin vaikutus Kramer (2012) jossa on \(\alpha = 0.05\) ja \(1 - \beta = 0.8\) .
   2. Tee sama laskelma analyyttisesti.
   3. Kramer (2012) tulokset olivat emotionaalinen tartunta (Kramer, Guillory, and Hancock 2014) yli-powered (ts. Onko hänellä enemmän osallistujia kuin tarvitaan)?
   4. Teoksesi olettamuksista, joilla on suurin vaikutus laskentaanne?

6. [ , , ] Vastaa edelliseen kysymykseen uudelleen, mutta tällä kertaa käytä aikaisempaa Kramer (2012) havainnointitutkimusta Lorenzo Coviello et al. (2014) .

7. [ ] Sekä Margetts et al. (2011) ja van de Rijt et ai. (2014) suorittivat kokeita, joissa tutkittiin vetoomuksen allekirjoittajat. Vertaa ja korjata näiden tutkimusten malleja ja tuloksia.

8. [ ] Dwyer, Maki, and Rothman (2015) suorittivat kaksi kenttätutkimusta sosiaalisten normien ja pro-ympäristökäyttäytymisen välisestä suhteesta. Tässä on tiivistelmä paperista:

   "Kuinka psykologista tietä voitaisiin hyödyntää ympäristötekijöiden käyttäytymisen edistämiseksi? Kahdessa tutkimuksessa julkisten kylpyhuoneiden energiansäästökäyttäytymisen edistämiseen tähtäävät toimet tutkivat kuvailevien normien ja henkilökohtaisen vastuun vaikutuksia. Tutkimuksessa 1 valon tila (ts. Päälle tai pois päältä) manipuloitiin ennen kuin joku astui tyhjään julkiseen kylpyhuoneeseen ja ilmoitti tämän asetuksen kuvailevan normin. Osallistujat olivat huomattavasti todennäköisempää palauttamaan valot pois, jos he olivat poissa päästyään sisään. Tutkimuksessa 2 lisättiin yksi lisäehto, jossa vallankumous osoitti valon sammuttamisen normin, mutta osanottajat eivät itse olleet vastuussa sen kääntämisestä. Henkilökohtainen vastuu hillitsi sosiaalisten normien vaikutusta käyttäytymiseen; kun osallistujat eivät olleet vastuussa valon sytyttämisestä, normin vaikutus väheni. Nämä tulokset osoittavat, kuinka kuvaavat normit ja henkilökohtainen vastuu voivat säännellä ympäristönsuojelutoimien tehokkuutta. "

   Lue heidän paperinsa ja suunnittele tutkimuslomake 1.

9. [ , ] Edelliseen kysymykseen perustuen tee nyt suunnitteluasi.

   1. Miten tuloksia verrataan?
   2. Mikä voisi selittää nämä erot?

10. [ ] MTurkilta rekrytoituja osallistujia käytettiin melko paljon keskusteluihin. Samanaikaisesti on myös keskusteltu perusteellisesti kokeista, joissa on käytetty osallistujista rekrytoituja opiskelijapopulaatioista. Kirjoita kaksi sivun muistio vertaamalla ja vastakkain Turkers ja opiskelijat kuin tutkimukseen osallistujia. Vertailuun tulisi sisältyä keskustelu sekä tieteellisistä että logistisista kysymyksistä.

11. [ ] Jim Manzin kirja Uncontrolled (2012) on hieno esittely yritystoiminnan voimasta. Kirjassa hän välitti seuraavan tarinan:

    "Olin kerran kokouksessa todellinen liike-nero, itsenäinen miljardööri, jolla oli syvä, intuitiivinen ymmärrettävyys kokeiden voimasta. Hänen yrityksensa käytti merkittäviä resursseja yrittäen luoda suuria myymäläikkunoita, jotka houkuttelisivat kuluttajia ja kasvattivat myyntiään, kuten perinteinen viisaus sanoi. Asiantuntijat huolellisesti testatulla suunnittelulla suunnittelun jälkeen ja yksittäisissä testitarkastuksissa vuosien mittaan eivät osoittaneet merkittäviä kausaalisia vaikutuksia jokaisen uuden näyttösuunnittelun myyntiin. Senior markkinointi ja merchandising johtajat tapasivat toimitusjohtaja tarkastella näitä historiallisia testituloksia toto. Esitettyään kaikki kokeelliset tiedot, he päättelivät, että tavanomainen viisaus oli väärä - ikkuna ei tuota myyntiä. Niiden suositeltava toimenpide oli vähentää kustannuksia ja vaivaa tällä alalla. Tämä osoitti dramaattisesti kokeilujen kykyä torjua perinteinen viisaus. Toimitusjohtajan vastaus oli yksinkertainen: "Minun johtopäätökseni on, että suunnittelijat eivät ole kovin hyviä." Hänen ratkaisunsa oli lisätä vaivannäköä näyttelyn suunnittelussa ja saada uusia ihmisiä tekemään sitä. " (Manzi 2012, 158–9)

    Millainen voimassaolo on toimitusjohtajan huoli?

12. [ ] Edelliseen kysymykseen perustuen kuvit, että olit kokouksessa, jossa keskusteltiin kokeiden tuloksista. Mitkä ovat neljä kysymystä, joista voitte kysyä - yksi jokaisesta voimassaolevasta tyypistä (tilastollinen, rakentava, sisäinen ja ulkoinen)?

13. [ ] Bernedo, Ferraro, and Price (2014) tutkivat Bernedo, Ferraro, and Price (2014) Ferraro, Miranda, and Price (2011) kuvatun veden säästävän toimenpiteen seitsemän vuoden vaikutusta (ks. Kuvio 4.11). Tässä artikkelissa Bernedo ja hänen kollegansa pyrkivät myös ymmärtämään vaikutuksen takana olevan mekanismin vertaamalla sellaisten kotitalouksien käyttäytymistä, jotka eivät ole muuttaneet tai eivät ole muuttaneet hoidon jälkeen. Eli he yrittivät lähinnä selvittää, vaikuttiko hoito kotiin vai asunnonomistajaan.

    1. Lue paperit, kuvaile niiden muotoilu ja koota niiden tulokset.
    2. Onko niiden havainnot vaikuttanut siihen, miten arvioit samanlaisten toimenpiteiden kustannustehokkuutta? Jos on, niin miksi? Jos ei, miksi ei?

14. [ ] Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) , Schultz ja kollegat suorittivat sarjan kolmea kokeilua kuvailevien ja kieltävien normien vaikutuksesta erilaiseen ympäristökäyttäytymiseen (pyyhkeiden uudelleenkäyttö) kahdessa kontekstissa (hotelli ja aikaosuuden osakehuoneisto (Schultz, Khazian, and Zaleski 2008) .

    1. Yhteenveto näiden kolmen kokeen suunnittelusta ja havainnoista.
    2. Miten, jos ollenkaan, vaihtavatko Schultz et al. (2007) ?

15. [ ] Vastauksena Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) suorittivat sarjan laboratoriotyyppisiä kokeiluja sähköisten laskujen suunnitteluun. Näin he kuvaavat abstraktilla tavalla:

    "Kyselyyn perustuvassa kokeessa jokainen osallistuja näki hypoteettisen sähkölaskun perheelle, jolla on suhteellisen suuri sähkönkäyttö, joka kattaa tiedot (a) historiallisesta käytöstä, b) vertailut naapureihin ja (c) historiallinen käyttö laitteen hajoamisen kanssa. Osallistujat näkivät kaikki tietotyypit jollakin kolmesta formaatista, mukaan lukien (a) taulukot, (b) pylväsdiagrammit ja (c) kuvakuvakkeet. Raportoimme kolmesta tärkeimmästä havainnosta. Ensinnäkin kuluttajat ymmärsivät jokaisen sähkönkäytön tyypin eniten, kun se esitettiin taulukossa, ehkä siksi, että taulukot helpottavat yksinkertaista lukemista. Toiseksi, sähkön säästöt ja aikomukset olivat voimakkaimpia historiallisiin käyttötarkoituksiin riippumatta formaatista. Kolmanneksi henkilöt, joilla on alhaisempi energialuku, ymmärtävät kaikki tiedot vähemmän. "

    Toisin kuin muut seuranta-tutkimukset, Canfield, Bruin, and Wong-Parodi (2016) kiinnostuksen tärkein tulos on raportoitu käyttäytymisestä, ei varsinaisesta käyttäytymisestä. Mitkä ovat tämän tyyppisen tutkimuksen vahvuudet ja heikkoudet laajemmassa energiansäästöohjelmassa?

16. [ , ] Smith and Pell (2003) esittivät satiirisen meta-analyysin, joka osoittaa laskuvarjojen tehokkuutta. He päättelivät:

    "Kuten monien sairauksien ennaltaehkäisemiseen tähtäävien toimenpiteiden yhteydessä, laskuvarjojen tehokkuutta ei ole tehty tarkkaan arviointiin käyttäen satunnaistettuja kontrolloituja tutkimuksia. Näytön pohjaan perustuvan lääketieteen kannattajat ovat arvostelleet toimenpiteiden hyväksymistä, jotka on arvioitu käyttämällä vain havaintoaineistoa. Mielestämme jokainen voisi hyötyä, jos kaikkein radikaalimmat todistelupohjaiset lääkkeet ovat organisoineet ja osallistuneet laskuvarjoon kaksoissokkoutettuun, satunnaistettuun, lumelääkkeeseen kontrolloituun crossover-kokeeseen. "

    Kirjoita op-ed sopiva yleiselle lukijalaitokselle, kuten New York Times , kiistäen koettujen todisteiden fetissiä vastaan. Anna konkreettisia konkreettisia esimerkkejä. Vihje: Katso myös Deaton (2010) ja Bothwell et al. (2016) .

17. [ , , ] Hoidon vaikutuksen erilaiset erot estimaattorit voivat olla tarkempia kuin keskimääräiset estimaattorit. Kirjoita muistio A / B-testausta käsittelevälle insinöörille käynnissä olevalle sosiaalisen median yritykseelle, joka kertoo eron ero erilaisesta lähestymistavasta online-kokeilun suorittamiseen. Memoon tulisi sisällyttää ilmiö ongelmasta, joitain intuitiota olosuhteista, joissa ero-ero-estimaattori ylittää keskiarvon estimaattorin eron ja yksinkertaisen simulointitutkimuksen.

18. [ , ] Gary Loveman oli Harvardin kauppakorkeakoulun professori ennen kuin hänestä tuli Harrah'sin toimitusjohtaja, yksi maailman suurimmista kasinoyrityksistä. Kun hän muutti Harrah'ssa, Loveman muutti yhtiötä usein kannattavalla kanta-asiakasohjelmalla, joka keräsi valtavia määriä tietoja asiakaskäyttäytymisestä. Tämän jatkuvan mittausjärjestelmän lisäksi yritys käynnisti kokeiluja. He voivat esimerkiksi kokeilla kokeilua arvioimaan kupongin vaikutusta ilmaiseen hotellien yöaikaan asiakkaille, joilla on erityinen rahapelit. Seuraavassa kerrotaan, kuinka Loveman kuvasi kokeilun merkitystä Harrahin jokapäiväisissä liiketoimintakokeissa:

    "Se on kuin et ahdista naisia, et varasta, ja sinulla on oltava ohjausryhmä. Tämä on yksi niistä asioista, että voit menettää työpaikkasi Harrahissa - ei ohjauskeskusta. " (Manzi 2012, 146)

    Kirjoita sähköpostiviesti uudelle työntekijälle, joka selittää, miksi Loveman pitää niin tärkeänä, että hänellä on ohjausryhmä. Sinun pitäisi yrittää sisällyttää esimerkki - joko todellinen tai tehty - havainnollistamaan pistettä.

19. [ , ] Uusi kokeilu pyrkii arvioimaan tekstiviestien muistutusten vastaanoton vaikutusta rokotteen käyttöönottoon. Sata-viisikymmentä klinikkaa, joista jokaisella on 600 potilasta, ovat halukkaita osallistumaan. Jokaiselle klinikalle, jonka kanssa haluat työskennellä, kiinteä hinta on 100 dollaria, ja se maksaa 1 dollari jokaisesta tekstiviestistä, jonka haluat lähettää. Lisäksi kaikki työskentelevät klinikat mittaavat tuloksen (onko joku saanut rokotuksen) ilmaiseksi. Oletetaan, että sinulla on budjetti 1000 dollaria.

    1. Millaisissa olosuhteissa voisi olla parempi keskittää resurssit pieneen määrään klinikoita ja millä edellytyksillä voisi olla parempi levittää niitä laajemmin?
    2. Mitkä tekijät määrittäisivät pienimmän tehon koon, jonka pystyt luotettavasti havaitsemaan budjetillasi?
    3. Kirjoita muistutukset, jotka selittävät nämä kompromissit mahdolliselle rahoittajalle.

20. [ , ] Verkko-opiskelijoiden suuri ongelma on harvennus: monet oppilaat, jotka alkavat kurssit päätyvät pudotukseen. Kuvittele, että työskentelet verkko-oppimisympäristössä, ja alustalla oleva suunnittelija on luonut visuaalisen etenemispalkin, jonka hän uskoo auttavan estämään oppilaita luopumasta kurssista. Haluat kokeilla etenemispalkin vaikutusta opiskelijoihin suurella laskennallisella yhteiskuntatieteellisellä kurssilla. Kun olet käsittellyt kokeilussa mahdollisesti esiintyviä eettisiä ongelmia, sinä ja kollegasi huolestuet siitä, että kurssilla ei välttämättä ole tarpeeksi opiskelijoita havaitsemaan luotettavasti etenemispalkin vaikutukset. Seuraavissa laskelmissa voidaan olettaa, että puolet opiskelijoista saa edistymispalkin ja puolet ei ole. Lisäksi voit olettaa, ettei häiriöitä ole. Toisin sanoen voit olettaa, että osallistujat kärsivät vain siitä, ovatko he saaneet hoidon tai valvonnan? niitä ei hoideta siitä, saivatko muut ihmiset hoitoon tai valvontaan (muodollisempi määritelmä, ks. Gerber and Green (2012) luku 8). Seuraa mahdollisia lisäoletuksia.

    1. Oletetaan, että edistymispalkan odotetaan lisäävän opiskelijamäärää 1 prosenttiyksiköllä; Mikä on otoksen koko, jotta voitiin luotettavasti havaita vaikutus?
    2. Oletetaan, että edistymispalkan odotetaan lisäävän 10 prosenttiyksikköä loppuvaiheen opiskelijoiden osuutta; Mikä on otoksen koko, jotta voitiin luotettavasti havaita vaikutus?
    3. Kuvittele, että olet suorittanut kokeilun, ja opiskelijat, jotka ovat suorittaneet kaikki kurssimateriaalit, ovat suorittaneet kokeen. Kun verrataan edistymispalkin saaneiden opiskelijoiden lopullisia tenttituloksia niiden tulosten kanssa, jotka eivät ole, löydät paljon yllätykseltään, että opiskelijat, jotka eivät saaneet edistystä palkkia, todella saavuttivat korkeammat. Tarkoittaako tämä, että etenemispalkki aiheutti opiskelijoille vähemmän oppimisen? Mitä voit oppia tästä tulosdataa? (Vihje: katso Gerber and Green (2012) luku 7)

21. [ , , Kuvittele, että työskentelet tietojenkäsittelytieteilijänä tietotekniikkayrityksessä. Joku markkinointiosastolta pyytää apua arvioidessaan kokeilua, jonka he suunnittelevat, jotta voidaan mitata uuden online-mainoskampanjan sijoitetun pääoman tuottoprosentti (ROI). ROI määritellään kampanjan nettotuottona jaettuna kampanjan kustannuksella. Esimerkiksi kampanja, jolla ei ollut vaikutusta myyntiin, olisi sijoitetun pääoman tuotto -100 prosenttia; kampanja, jossa tuotetut voitot olivat yhtä suuria kuin kustannukset, olisi sijoitetun pääoman tuotto 0; ja kampanja, jossa tuotetut voitot olivat kaksinkertaisia, kustannukset saisivat 200 prosentin sijoitetun pääoman tuoton.

    Ennen kokeilun aloittamista markkinointiosasto antaa sinulle seuraavat tiedot aiemman tutkimuksensa perusteella (nämä arvot ovat tyypillisiä Lewis ja Rao (2015) raportoiduista todellisista verkkomainoskampanjoista:

    • Keskimääräinen asiakaskohtainen myynti seuraa logaritmisen jakelun, jonka keskiarvo on 7 dollaria ja keskihajonta 75 dollaria.
    • Kampanjan odotetaan lisäävän myyntiä 0,35 dollarilla asiakkaalle, mikä vastaa voiton kasvua 0,175 dollaria asiakasta kohden.
    • Kokeen suunniteltu koko on 200 000 ihmistä: puolet hoitoryhmästä ja puolet kontrolliryhmästä.
    • Kampanjan hinta on 0,14 euroa osallistujaa kohden.
    • Kampanjan odotettu ROI on 25% [ \((0.175 - 0.14)/0.14\) ]. Toisin sanoen markkinointiosasto uskoo, että jokaisen 100 dollarin markkinointikulut kohden yhtiö ansaitsee lisätuloja 25 dollaria.

    Kirjoita muistio, jossa arvioidaan tätä ehdotettua kokeilua. Huomautesi tulisi käyttää todisteena luomasi simulaatiosta, ja siinä olisi käsiteltävä kahta tärkeätä kysymystä: (1) Suosittelisitteko kokeilun käynnistämistä suunnitellulla tavalla? Jos on, niin miksi? Jos ei, miksi ei? Varmista, että olet selvillä kriteereistä, joita käytät tämän päätöksen tekemiseen. (2) Minkä näytteen koko suosittelisit kokeilusta? Jälleen varmista, että olet selvillä kriteereistä, joita käytät tämän päätöksen tekemiseen.

    Hyvä muistio käsittelee tätä erityistä tapausta. parempi muistio yleistyy tästä tapauksesta yhdellä tavalla (esim. näytä, miten päätös muuttuu kampanjan vaikutuksen koon mukaan); ja hyvä muistio esittää täysin yleistyneen tuloksen. Huomautesi tulisi käyttää kaavioita, joiden avulla voit havainnollistaa tuloksia.

    Tässä on kaksi vinkkejä. Ensinnäkin markkinointiosasto olisi voinut antaa sinulle joitain tarpeettomia tietoja, ja ne eivät ehkä ole toimittaneet tarvittavia tietoja. Toiseksi, jos käytät R: tä, muista, että rlnorm () -toiminto ei toimi niin kuin monet ihmiset odottavat.

    Tämä toiminto antaa sinulle käytännöt tehoanalyysin avulla, simulointien luominen ja tulosten välittäminen sanoilla ja kaavioilla. Sen pitäisi auttaa sinua tekemään tehoanalyysi minkäänlaista kokeilua varten, ei vain kokeiluja, joiden tarkoituksena on arvioida sijoitetun pääoman tuottoprosenttia. Tämä toiminta olettaa, että sinulla on jonkin verran kokemusta tilastollisesta testauksesta ja tehoanalyysistä. Jos et ole perehtynyt tehoanalyysiin, suosittelen Cohen (1992) lukemista "Power Primer".

    Tämä toiminta sai innoituksensa RA Lewis and Rao (2015) ihailtavasta paperista, joka ilmentää elävästi suuren mittakaavan kokeiden perustavanlaatuista tilastollista rajoittamista. Heidän paperinsa, joka alun perin oli provosoiva otsikko "On lähes mahdottomuus mitata paluuta mainontaan", osoittaa, kuinka vaikeaa on mitata online-mainosten sijoitetun pääoman tuottoa jopa miljoonien asiakkaiden digitaalisten kokeiden avulla. Yleisesti ottaen RA Lewis and Rao (2015) kuvaavat tilastollista tilastotietoa, joka on erityisen tärkeä digitaalisen ikäluokkien kannalta: on vaikea arvioida pieniä hoitovaikutuksia meluisten lopputulosten keskellä.

22. [ , ] Toimi samoin kuin edellinen kysymys, mutta simulaation sijaan käytä analyyttisiä tuloksia.

23. [ , , ] Toimi samoin kuin edellinen kysymys, mutta käytä sekä simulointi- että analyysituloksia.

24. [ , , ] Kuvittele, että olet kirjoittanut edellä kuvatun muistion ja joku markkinointiosastosta antaa yhden uuden tiedon: he odottavat 0,4 korrelaatiota myynnistä ennen kokeilua ja sen jälkeen. Kuinka tämä muuttaa muistion suosituksia? (Vihje: katso kohta 4.6.2 lisätietoja estimoijasta ja eroero-estimaattorista.)

25. [ , ] Uuden web-pohjaisen työllisyysohjelman tehokkuuden arvioimiseksi yliopisto teki satunnaistetun kontrollitutkimuksen 10 000 oppilaalle, jotka pääsivät viimeiseen kouluvuodensa. Vapaa tilaus, jossa on ainutlaatuiset kirjautumistiedot, lähetettiin yksinoikeudella sähköpostilla 5 000 satunnaisesti valitulle opiskelijalle, kun taas muut 5 000 opiskelijaa olivat kontrolliryhmässä eikä heillä ollut tilausta. Kahdentoista kuukauden kuluttua seurantakysely (ilman vastaamattomuutta) osoitti, että sekä hoito- että kontrolliryhmissä 70% opiskelijoista oli varmistanut kokopäiväistä työtä valitulla alallaan (taulukko 4.6). Näin ollen näytti siltä, ​​että verkkopohjaisella palvelulla ei ollut vaikutusta.

    Yliopiston fiksu tietotutkija tarkasteli tietoja tarkemmin ja havaitsi, että vain 20% hoitoryhmän opiskelijoista kirjautui tiliin sähköpostin vastaanottamisen jälkeen. Lisäksi verkkosivustolle kirjautuneiden keskuudessa vain 60% oli varmistanut kokopäiväistä työtä valitsemillaan aloilla, joka oli alhaisempi kuin henkilöille, jotka eivät ole kirjautuneet sisään ja jotka ovat alhaisempia kuin ihmiset (taulukko 4.7).

    1. Anna selvitys siitä, mitä tapahtui.
    2. Mitä kaksi eri tapaa laskea hoidon vaikutusta tähän kokeeseen?
    3. Tämän tuloksen perusteella pitäisi tarjota tämä palvelu kaikille opiskelijoille? Aivan selvänä, tämä ei ole yksinkertaisen vastauksen kysymys.
    4. Mitä heidän pitäisi seuraavaksi tehdä?

    Vihje: Tämä kysymys ylittää tässä luvussa käsitellyn materiaalin, mutta siinä käsitellään kokeissa yhteisiä asioita. Tällaista kokeellista mallia kutsutaan joskus rohkaisumuodoksi, koska osallistujia kannustetaan osallistumaan hoitoon. Tämä ongelma on esimerkki siitä, mitä kutsutaan yksipuoliseksi vaatimattomuudeksi (ks. Gerber and Green (2012) luku 5).

26. [ ] Tarkastelun jälkeen kävi ilmi, että edellisessä kysymyksessä kuvattu koe oli vielä monimutkaisempi. Kävi ilmi, että 10 prosenttia valvontaryhmän ihmisistä maksoi pääsyn palveluun, ja he saivat 65 prosentin työllisyysasteen (taulukko 4.8).

    1. Kirjoita sähköpostiviesti yhteenveto siitä, mitä mieltä olet tapahtumassa ja suosittele toimintatapaa.

    Vihje: Tämä kysymys ylittää tässä luvussa käsitellyn materiaalin, mutta siinä käsitellään kokeissa yhteisiä asioita. Tämä ongelma on esimerkki siitä, mitä kutsutaan kaksipuoliseksi vaatimustenvastaisuudeksi (ks. Gerber and Green (2012) luku 6).