gweithgareddau

• gradd anhawster: hawdd , canolig , caled , yn galed iawn
• angen mathemateg ( )
• angen codio ( )
• casglu data ( )
• fy ffefrynnau ( )

1. [ , ] Fe wnaeth Berinsky a chydweithwyr (2012) werthuso MTurk yn rhannol drwy ailgynhyrchu tair arbrofi clasurol. Ailadroddwch yr arbrawf fframio clasurol ar gyfer Clefydau Asiaidd gan Tversky and Kahneman (1981) . A yw'ch canlyniadau'n cyd-fynd â Tversky a Kahneman's? A yw'ch canlyniadau'n cyd-fynd â'r Berinsky a'r cydweithwyr hynny? Beth-os oes unrhyw beth - a yw hyn yn ein dysgu ni am ddefnyddio MTurk ar gyfer arbrofion arolwg?

2. [ , ] Mewn papur braidd yn dafod yn y teitl "We Have to Break Up", y seicolegydd cymdeithasol, Robert Cialdini, un o awduron Schultz et al. (2007) , ei fod yn ymddeol yn gynnar o'i swydd fel athro, yn rhannol oherwydd yr heriau yr oedd yn eu hwynebu i wneud arbrofion maes mewn disgyblaeth (seicoleg) sy'n cynnal arbrofion labordy (Cialdini 2009) . Darllenwch bapur Cialdini, ac ysgrifennwch e-bost iddo gan ei annog i ailystyried ei chwalu yn sgil posibiliadau arbrofion digidol. Defnyddiwch enghreifftiau penodol o ymchwil sy'n mynd i'r afael â'i bryderon.

3. [ ] Er mwyn penderfynu a yw llwyddiannau cychwynnol bach yn cloi neu'n cwympo i ffwrdd, roedd van de Rijt a chydweithwyr (2014) ymyrryd â phedair system wahanol yn rhoi llwyddiant ar gyfranogwyr a ddewiswyd ar hap, ac yna'n mesur effeithiau hirdymor y llwyddiant mympwyol hwn. A allwch chi feddwl am systemau eraill lle gallech chi gynnal arbrofion tebyg? Gwerthuswch y systemau hyn yn nhermau materion gwerth gwyddonol, yn dryslyd algorithmig (gweler pennod 2), a moeseg.

4. [ , ] Gall canlyniadau'r arbrawf ddibynnu ar y cyfranogwyr. Creu arbrawf ac yna ei redeg ar MTurk gan ddefnyddio dwy strategaeth recriwtio wahanol. Ceisiwch ddewis yr arbrawf a'r strategaethau recriwtio fel bod y canlyniadau mor wahanol â phosib. Er enghraifft, gallai eich strategaethau recriwtio recriwtio cyfranogwyr yn y bore a'r nos neu i wneud iawn am gyfranogwyr â thâl uchel ac isel. Gallai'r mathau hyn o wahaniaethau yn y strategaeth recriwtio arwain at wahanol gylchoedd o gyfranogwyr a chanlyniadau arbrofol gwahanol. Pa mor wahanol oedd eich canlyniadau'n troi allan? Beth mae hynny'n datgelu am redeg arbrofion ar MTurk?

5. [ , , ] Dychmygwch eich bod yn cynllunio yr arbrawf Ymwybyddiaeth Emosiynol (Kramer, Guillory, and Hancock 2014) . Defnyddiwch ganlyniadau astudiaeth arsylwadol gynharach gan Kramer (2012) i benderfynu ar nifer y cyfranogwyr ym mhob cyflwr. Nid yw'r ddau astudiaeth hon yn cydweddu'n berffaith felly sicrhewch chi restru'n benodol yr holl ragdybiaethau a wnewch:

   1. Rhedeg efelychiad a fydd yn penderfynu faint o gyfranogwyr fyddai eu hangen i ganfod effaith mor fawr ag effaith Kramer (2012) gyda \(\alpha = 0.05\) a \(1 - \beta = 0.8\) .
   2. Gwnewch yr un cyfrifiad yn ddadansoddol.
   3. O ystyried y canlyniadau gan Kramer (2012) roedd Emosiynol Contagion (Kramer, Guillory, and Hancock 2014) or-bwer (hy, a oedd ganddo fwy o gyfranogwyr nag yr oedd angen)?
   4. O'r rhagdybiaethau a wnaethoch, sydd â'r effaith fwyaf ar eich cyfrifiad?

6. [ , , ] Atebwch y cwestiwn blaenorol eto, ond mae'r tro hwn yn hytrach na defnyddio'r astudiaeth arsylwadol gynharach gan Kramer (2012) , defnyddiwch y canlyniadau o arbrawf naturiol cynharach gan Lorenzo Coviello et al. (2014) .

7. [ ] Y ddau Margetts et al. (2011) a van de Rijt et al. (2014) arbrofi yn astudio'r broses o bobl sy'n arwyddo deiseb. Cymharu a chyferbynnu dyluniadau a chanfyddiadau'r astudiaethau hyn.

8. [ ] Cynhaliodd Dwyer, Maki, and Rothman (2015) ddau arbrofi maes ar y berthynas rhwng normau cymdeithasol ac ymddygiad pro-amgylcheddol. Dyma haniaeth eu papur:

   "Sut y gellid defnyddio gwyddoniaeth seicolegol i annog ymddygiad rhag-amgylcheddol? Mewn dwy astudiaeth, roedd ymyriadau a anelwyd at hyrwyddo ymddygiad cadwraeth ynni mewn ystafelloedd ymolchi cyhoeddus yn archwilio dylanwadau normau disgrifiadol a chyfrifoldeb personol. Yn Astudiaeth 1, roedd y statws ysgafn (hy, ar neu oddi arno) wedi'i drin cyn i rywun fynd i ystafell ymolchi cyhoeddus heb ei feddiannu, gan arwyddo'r safon ddisgrifiadol ar gyfer y lleoliad hwnnw. Roedd y cyfranogwyr yn llawer mwy tebygol o droi'r goleuadau i ffwrdd os oeddent yn diflannu pan fyddent yn mynd i mewn. Yn Astudiaeth 2, cynhwyswyd amod ychwanegol lle dangoswyd y norm o droi oddi ar y golau gan gydffederasiwn, ond nid oedd cyfranogwyr eu hunain yn gyfrifol am ei droi ymlaen. Roedd cyfrifoldeb personol yn safoni dylanwad normau cymdeithasol ar ymddygiad; pan nad oedd y cyfranogwyr yn gyfrifol am droi'r golau, roedd dylanwad y norm wedi lleihau. Mae'r canlyniadau hyn yn dangos sut y gall normau disgrifiadol a chyfrifoldeb personol reoleiddio effeithiolrwydd ymyriadau pro-amgylcheddol. "

   Darllenwch eu papur a dyluniad ailadrodd astudiaeth 1.

9. [ , ] Gan adeiladu ar y cwestiwn blaenorol, nawr gwnewch eich dyluniad.

   1. Sut mae'r canlyniadau'n cymharu?
   2. Beth allai esbonio'r gwahaniaethau hyn?

10. [ ] Bu dadl sylweddol am arbrofion gan ddefnyddio cyfranogwyr a recriwtiwyd o MTurk. Yn gyfochrog, bu dadl sylweddol hefyd ynghylch arbrofion gan ddefnyddio cyfranogwyr a recriwtiwyd gan boblogaethau myfyrwyr israddedig. Ysgrifennwch lofnod dwy dudalen yn cymharu a gwrthgyferbynnu Turkers ac israddedigion fel cyfranogwyr ymchwil. Dylai eich cymhariaeth gynnwys trafodaeth o faterion gwyddonol a logistaidd.

11. [ ] Mae llyfr Jim Manzi heb ei reoli (2012) yn gyflwyniad gwych i rym arbrofi mewn busnes. Yn y llyfr, fe ddaeth yn ôl i'r stori ganlynol:

    "Roeddwn mewn un cyfarfod unwaith eto gydag athrylith busnes gwirioneddol, biliwnydd hunangynhwysol a gafodd gorddatganiad dwfn, greddfol o bŵer arbrofion. Treuliodd ei gwmni adnoddau sylweddol yn ceisio creu arddangosfeydd ffenestri storfeydd gwych a fyddai'n denu defnyddwyr ac yn cynyddu gwerthiant, fel y dywedodd doethineb confensiynol y dylent. Mae arbenigwyr wedi profi dyluniad yn ofalus ar ôl dylunio, ac mewn sesiynau adolygu prawf unigol dros gyfnod o flynyddoedd a gedwir yn dangos dim effaith achosol arwyddocaol pob dyluniad arddangos newydd ar werthiant. Cyfarfu uwch weithredwyr marchnata a marchnata gyda'r Prif Swyddog Gweithredol i adolygu'r canlyniadau prawf hanesyddol hyn yn gyfan gwbl. Ar ôl cyflwyno'r holl ddata arbrofol, daethpwyd i'r casgliad bod y doethineb confensiynol yn anghywir - nid yw arddangosfeydd ffenestri yn gyrru gwerthiant. Eu camau a argymhellwyd oedd lleihau costau ac ymdrech yn yr ardal hon. Dangosodd hyn yn ddramatig allu'r arbrofi i wrthdroi doethineb confensiynol. Roedd ymateb y Prif Swyddog Gweithredol yn syml: 'Fy nghasgliad yw nad yw'ch dylunwyr yn dda iawn'. Ei ateb oedd cynyddu ymdrech yn y dyluniad arddangos siop, ac i gael pobl newydd i'w wneud. " (Manzi 2012, 158–9)

    Pa fath o ddilysrwydd yw pryder y Prif Swyddog Gweithredol?

12. [ ] Gan adeiladu ar y cwestiwn blaenorol, dychmygwch eich bod yn y cyfarfod lle trafodwyd canlyniadau'r arbrofion. Beth yw pedwar cwestiwn y gallech eu gofyn-un ar gyfer pob math o ddilysrwydd (ystadegol, adeiladu, mewnol ac allanol)?

13. [ ] Bernedo, Ferraro, and Price (2014) astudiodd effaith saith mlynedd yr ymyriad arbed dŵr a ddisgrifir yn Ferraro, Miranda, and Price (2011) (gweler ffigur 4.11). Yn y papur hwn, roedd Bernedo a chydweithwyr hefyd yn ceisio deall y mecanwaith y tu ôl i'r effaith trwy gymharu ymddygiad aelwydydd sydd heb symud ar ôl i'r driniaeth gael ei gyflwyno. Hynny yw, yn fras, maent yn ceisio gweld a oedd y driniaeth yn effeithio ar y cartref neu'r perchennog.

    1. Darllenwch y papur, disgrifiwch eu dyluniad, a chrynhowch eu canfyddiadau.
    2. A yw eu canfyddiadau'n effeithio ar sut y dylech asesu cost-effeithiolrwydd ymyriadau tebyg? Os felly, pam? Os na, pam?

14. [ ] Mewn dilyniant i Schultz et al. (2007) , fe wnaeth Schultz a chydweithwyr berfformio cyfres o dri arbrofi ar effaith normau disgrifiadol a gwahard ar ymddygiad amgylcheddol gwahanol (ailddefnyddio tywel) mewn dau gyd-destun (gwesty a condominium rhannu amser) (Schultz, Khazian, and Zaleski 2008) .

    1. Crynhowch ddyluniad a chanfyddiadau'r tri arbrofi hyn.
    2. Sut, os o gwbl, a ydyn nhw'n newid eich dehongliad o Schultz et al. (2007) ?

15. [ ] Mewn ymateb i Schultz et al. (2007) , cafodd Canfield, Bruin, and Wong-Parodi (2016) gyfres o arbrofion tebyg i labordy i astudio dyluniad biliau trydan. Dyma sut maen nhw'n ei ddisgrifio yn yr haniaethol:

    "Mewn arbrawf yn seiliedig ar arolwg, gwelodd pob cyfranogwr bil trydan damcaniaethol ar gyfer teulu gyda defnydd trydan cymharol uchel, gan gynnwys gwybodaeth am (a) defnydd hanesyddol, (b) cymariaethau â chymdogion, a (c) defnydd hanesyddol gyda chwalu'r offer. Gwelodd y cyfranogwyr bob math o wybodaeth mewn un o dri fformat, gan gynnwys tablau (a), (b) graffiau bar, a (c) graffiau eicon. Rydym yn adrodd ar dri phrif ganfyddiad. Yn gyntaf, roedd defnyddwyr yn deall pob math o wybodaeth defnyddio trydan y mwyaf pan gafodd ei gyflwyno mewn tabl, efallai oherwydd bod tablau'n hwyluso darllen pwyntiau syml. Yn ail, dewisiadau a bwriadau i arbed trydan oedd y cryfaf ar gyfer y wybodaeth ddefnydd hanesyddol, yn annibynnol ar fformat. Yn drydydd, roedd unigolion â llythrennedd ynni is yn deall yr holl wybodaeth yn llai. "

    Yn wahanol i astudiaethau dilynol eraill, mae prif ganlyniad y diddordeb yn Canfield, Bruin, and Wong-Parodi (2016) yn cael ei adrodd yn ymddygiad, nid ymddygiad gwirioneddol. Beth yw cryfderau a gwendidau'r math hwn o astudiaeth mewn rhaglen ymchwil ehangach sy'n hyrwyddo arbedion ynni?

16. [ , ] Cyflwynodd Smith and Pell (2003) fetha-ddadansoddiad diriaethol o astudiaethau sy'n dangos effeithiolrwydd parasiwtau. Daethon nhw i'r casgliad:

    "Fel gyda llawer o ymyriadau a fwriedir i atal afiechyd, nid yw effeithiolrwydd parasiwtau wedi bod yn destun gwerthusiad trylwyr trwy ddefnyddio treialon a reolir ar hap. Mae eiriolwyr meddygaeth sy'n seiliedig ar dystiolaeth wedi beirniadu mabwysiadu ymyriadau a werthusir trwy ddefnyddio data arsylwi yn unig. Credwn y gallai pawb elwa pe bai'r cyfansoddwyr mwyaf radical o feddygaeth sy'n seiliedig ar dystiolaeth yn cael eu trefnu a chymryd rhan mewn treial dwbl, ar hap, wedi ei reoli ar hap, wedi'i groesi gan y parasiwt. "

    Ysgrifennwch op addas ar gyfer papur newydd darllenwyr cyffredinol, megis New York Times , gan ddadlau yn erbyn fetishization o dystiolaeth arbrofol. Darparu enghreifftiau concrid penodol. Hint: Gweler hefyd Deaton (2010) a Bothwell et al. (2016) .

17. [ , , ] Gall amcangyfrifon gwahaniaethau mewn gwahaniaethau o effaith triniaeth fod yn fwy manwl nag amcangyfrifon gwahaniaeth-cymedrig. Ysgrifennwch memo i beiriannydd sy'n gyfrifol am brofion A / B mewn cwmni cyfryngau cymdeithasol cychwynol sy'n esbonio gwerth yr ymagwedd gwahaniaeth-mewn-wahaniaethau ar gyfer cynnal arbrawf ar-lein. Dylai'r memo gynnwys datganiad o'r broblem, rhywfaint o syniad ynghylch yr amodau y bydd yr amcangyfrif gwahaniaeth-mewn-wahaniaeth yn perfformio'n well na'r amcangyfrifydd gwahaniaeth-cymedrig, ac astudiaeth efelychiad syml.

18. [ , ] Roedd Gary Loveman yn athro yn Ysgol Fusnes Harvard cyn dod yn Brif Swyddog Gweithredol Harrah, un o'r cwmnïau casino mwyaf yn y byd. Pan symudodd i Harrah's, trawsnewidiodd Loveman y cwmni gyda rhaglen teyrngarwch tebyg i hedfan a oedd yn casglu cryn dipyn o ddata am ymddygiad cwsmeriaid. Ar ben y system fesuriad bob amser, dechreuodd y cwmni redeg arbrofion. Er enghraifft, efallai y byddant yn cynnal arbrawf i werthuso effaith cwpon ar gyfer noson gwesty am ddim i gwsmeriaid sydd â phatrwm hapchwarae penodol. Dyma sut mae Loveman yn disgrifio pwysigrwydd arbrofi i arferion busnes bob dydd Harrah:

    "Mae'n debyg nad ydych chi'n aflonyddu ar ferched, nid ydych yn dwyn, ac mae'n rhaid i chi gael grŵp rheoli. Dyma un o'r pethau y gallwch chi golli eich swydd yn Harrah-ddim yn rhedeg grŵp rheoli. " (Manzi 2012, 146)

    Ysgrifennwch e-bost at weithiwr newydd sy'n esbonio pam mae Loveman o'r farn ei fod mor bwysig cael grŵp rheoli. Dylech geisio cynnwys enghraifft-naill ai go iawn neu wedi'i ffurfio i ddangos eich pwynt.

19. [ , ] Mae arbrawf newydd yn anelu i amcangyfrif effaith derbyn nodyn atgoffa negeseuon testun ar dderbyn y brechiad. Mae cant a hanner cant o glinigau, pob un â 600 o gleifion cymwys, yn fodlon cymryd rhan. Mae cost sefydlog o $ 100 ar gyfer pob clinig yr ydych am weithio gyda hi, ac mae'n costio $ 1 am bob neges destun yr ydych am ei anfon. Ymhellach, bydd unrhyw glinigau rydych chi'n gweithio gyda nhw yn mesur y canlyniad (boed rhywun wedi cael brechiad) am ddim. Cymerwch fod gennych gyllideb o $ 1,000.

    1. O dan ba amodau y gallai fod yn well canolbwyntio eich adnoddau ar nifer fach o glinigau ac o dan ba amodau y gallai fod yn well eu lledaenu'n ehangach?
    2. Pa ffactorau fyddai'n penderfynu faint o effaith lleiaf y gallwch chi ei ganfod yn ddibynadwy gyda'ch cyllideb?
    3. Ysgrifennwch memo sy'n esbonio'r masnachiadau hyn i ddarpar arianwr.

20. [ , ] Mae problem fawr gyda chyrsiau ar-lein yn ddiddorol: mae llawer o fyfyrwyr sy'n dechrau cyrsiau'n dod i ben. Dychmygwch eich bod chi'n gweithio ar lwyfan dysgu ar-lein, ac mae dylunydd ar y llwyfan wedi creu bar cynnydd gweledol y cred ei fod yn helpu i atal myfyrwyr rhag gadael y cwrs. Rydych chi am brofi effaith y bar cynnydd ar fyfyrwyr mewn cwrs cyfrifiaduron cymdeithasol cyfrifiadurol mawr. Ar ôl mynd i'r afael ag unrhyw faterion moesegol a allai godi yn yr arbrawf, mae chi a'ch cydweithwyr yn poeni y gallai fod gan y cwrs ddigon o fyfyrwyr i ganfod yn ddibynadwy effeithiau'r bar cynnydd. Yn y cyfrifiadau canlynol, gallwch chi gymryd yn ganiataol y bydd hanner y myfyrwyr yn derbyn y bar cynnydd ac nid hanner. Ymhellach, gallwch chi dybio nad oes ymyrraeth. Mewn geiriau eraill, gallwch chi gymryd yn ganiataol mai dim ond a ydynt yn derbyn y driniaeth neu'r rheolaeth a effeithir ar y cyfranogwyr; nid ydynt yn cael eu heffeithio gan a yw pobl eraill yn derbyn y driniaeth neu'r rheolaeth (am ddiffiniad mwy ffurfiol, gweler pennod 8 Gerber and Green (2012) ). Cadwch olwg ar unrhyw ragdybiaethau ychwanegol a wnewch.

    1. Tybwch y disgwylir i'r bar cynnydd gynyddu cyfran y myfyrwyr sy'n gorffen y dosbarth o 1 pwynt canran; beth yw maint y sampl sydd ei angen i ganfod yr effaith yn ddibynadwy?
    2. Tybwch y disgwylir i'r bar cynnydd gynyddu cyfran y myfyrwyr sy'n gorffen y dosbarth o 10 pwynt canran; beth yw maint y sampl sydd ei angen i ganfod yr effaith yn ddibynadwy?
    3. Nawr, dychmygwch eich bod wedi rhedeg yr arbrawf, ac mae myfyrwyr sydd wedi cwblhau holl ddeunyddiau'r cwrs wedi cymryd arholiad terfynol. Pan fyddwch chi'n cymharu sgoriau'r arholiadau terfynol o fyfyrwyr a dderbyniodd y bar cynnydd gyda sgoriau'r rhai nad oeddent, canfyddwch, yn fawr iawn i'ch syndod, bod myfyrwyr nad oeddent yn derbyn y bar cynnydd yn sgorio'n uwch. A yw hyn yn golygu bod y bar cynnydd yn achosi i fyfyrwyr ddysgu llai? Beth allwch chi ei ddysgu o'r data canlyniad hwn? (Hint: Gweler pennod 7 Gerber and Green (2012) )

21. [ , , ] Dychmygwch eich bod chi'n gweithio fel gwyddonydd data mewn cwmni technoleg. Mae rhywun o'r adran farchnata yn gofyn am eich help wrth werthuso arbrawf y maent yn ei gynllunio er mwyn mesur yr adenillion ar fuddsoddiad (ROI) ar gyfer ymgyrch newydd ar-lein. Diffinnir ROI fel elw net yr ymgyrch wedi'i rannu gan gost yr ymgyrch. Er enghraifft, byddai gan ymgyrch na chafodd unrhyw effaith ar werthiant ROI o -100%; ymgyrch lle byddai'r elw a gynhyrchir yn gyfartal â chostau â ROI o 0; ac ymgyrch lle'r oedd yr elw a gynhyrchwyd yn ddyblu byddai'r gost yn cael ROI o 200%.

    Cyn lansio'r arbrawf, mae'r adran farchnata yn rhoi'r wybodaeth ganlynol i chi yn seiliedig ar eu hymchwil cynharach (mewn gwirionedd, mae'r gwerthoedd hyn yn nodweddiadol o'r ymgyrchoedd ad real ar-lein a adroddwyd yn Lewis a Rao (2015) ):

    • Mae'r gwerthiannau cymedrig fesul cwsmer yn dilyn dosbarthiad log-normal gyda chymedr o $ 7 a gwyriad safonol o $ 75.
    • Disgwylir i'r ymgyrch gynyddu gwerthiannau o $ 0.35 fesul cwsmer, sy'n cyfateb i gynnydd mewn elw o $ 0.175 fesul cwsmer.
    • Maint arfaethedig yr arbrawf yw 200,000 o bobl: hanner yn y grŵp triniaeth a hanner yn y grŵp rheoli.
    • Cost yr ymgyrch yw $ 0.14 y cyfranogwr.
    • Y ROI ddisgwyliedig ar gyfer yr ymgyrch yw 25% [ \((0.175 - 0.14)/0.14\) ]. Mewn geiriau eraill, cred yr adran farchnata y bydd y cwmni yn ennill $ 25 ychwanegol mewn elw ar gyfer pob 100 o ddoleri a wariwyd ar farchnata.

    Ysgrifennwch memo sy'n gwerthuso'r arbrawf arfaethedig hwn. Dylai eich memo ddefnyddio tystiolaeth o efelychiad rydych chi'n ei greu, a dylai fynd i'r afael â dau brif fater: (1) A fyddech chi'n argymell lansio'r arbrawf hwn fel y'i cynlluniwyd? Os felly, pam? Os na, pam? Sicrhewch fod yn glir ynghylch y meini prawf yr ydych yn eu defnyddio i wneud y penderfyniad hwn. (2) Pa faint sampl fyddech chi'n ei argymell ar gyfer yr arbrawf hwn? Eto, sicrhewch eich bod yn glir ynghylch y meini prawf yr ydych yn eu defnyddio i wneud y penderfyniad hwn.

    Bydd memo da yn mynd i'r afael â'r achos penodol hwn; bydd memo well yn cyffredinoli o'r achos hwn mewn un ffordd (ee, dangos sut mae'r penderfyniad yn newid fel swyddogaeth maint effaith yr ymgyrch); a bydd memo gwych yn cyflwyno canlyniad cwbl gyffredinol. Dylai eich memo ddefnyddio graffiau i helpu i ddangos eich canlyniadau.

    Dyma ddau awgrym. Yn gyntaf, efallai y bydd yr adran farchnata wedi rhoi rhywfaint o wybodaeth ddiangen i chi, ac efallai na fyddent wedi methu â rhoi rhywfaint o wybodaeth angenrheidiol i chi. Yn ail, os ydych chi'n defnyddio R, byddwch yn ymwybodol nad yw'r swyddogaeth rlnorm () yn gweithio'r ffordd y mae llawer o bobl yn ei ddisgwyl.

    Bydd y gweithgaredd hwn yn rhoi ymarfer i chi gyda dadansoddi pŵer, creu efelychiadau, a chyfathrebu'ch canlyniadau gyda geiriau a graffiau. Dylai eich helpu i gynnal dadansoddiad pŵer ar gyfer unrhyw fath o arbrofi, nid dim ond arbrofion sydd wedi'u cynllunio i amcangyfrif y ROI. Mae'r gweithgaredd hwn yn tybio bod gennych rywfaint o brofiad â phrofion ystadegol a dadansoddi pŵer. Os nad ydych chi'n gyfarwydd â dadansoddi pŵer, yr wyf yn argymell eich bod yn darllen "A Power Primer" gan Cohen (1992) .

    Ysbrydolwyd y gweithgaredd hwn gan bapur hyfryd gan RA Lewis and Rao (2015) , sy'n dangos yn gyflym gyfyngiad ystadegol sylfaenol o hyd yn oed arbrofion enfawr. Roedd eu papur - a oedd yn wreiddiol yn meddu ar y teitl ysgogol "Ar y Rhyfeddod o Fethu Mesur y Dychweliadau i Hysbysebu" - yn dangos pa mor anodd yw mesur yr adenillion ar fuddsoddiad hysbysebion ar-lein, hyd yn oed gydag arbrofion digidol sy'n cynnwys miliynau o gwsmeriaid. Yn fwy cyffredinol, mae RA Lewis and Rao (2015) dangos ffaith ystadegol sylfaenol sy'n arbennig o bwysig ar gyfer arbrofion oedran digidol: mae'n anodd amcangyfrif effeithiau triniaeth fach yn ystod data canlyniad swnllyd.

22. [ , ] Gwneud yr un peth â'r cwestiwn blaenorol, ond, yn hytrach nag efelychiad, dylech ddefnyddio canlyniadau dadansoddol.

23. [ , , ] Gwneud yr un peth â'r cwestiwn blaenorol, ond defnyddiwch y ddau efelychiad a chanlyniadau dadansoddol.

24. [ , , ] Dychmygwch eich bod wedi ysgrifennu'r memo a ddisgrifir uchod, ac mae rhywun o'r adran farchnata yn darparu un darn o wybodaeth newydd: maent yn disgwyl 0.4 cydberthynas rhwng gwerthiannau cyn ac ar ôl yr arbrawf. Sut mae hyn yn newid yr argymhellion yn eich memo? (Hint: gweler adran 4.6.2 am fwy ar yr amcangyfrifwr gwahaniaeth-o-modd a'r amcangyfrifydd gwahaniaeth-mewn-gwahaniaethau.)

25. [ , ] Er mwyn gwerthuso effeithiolrwydd rhaglen gymorth cyflogaeth newydd ar y we, cynhaliodd prifysgol brawf rheoli ar hap ymhlith 10,000 o fyfyrwyr sy'n dechrau yn eu blwyddyn olaf ysgol. Anfonwyd tanysgrifiad am ddim gyda gwybodaeth log-in unigryw trwy wahoddiad e-bost unigryw i 5,000 o'r myfyrwyr a ddewiswyd ar hap, tra bod y 5,000 o fyfyrwyr eraill yn y grŵp rheoli ac nad oeddent wedi tanysgrifio. Ddeuddeg mis yn ddiweddarach, dangosodd arolwg dilynol (heb unrhyw ateb) yn y grwpiau trin a rheoli, fod 70% o'r myfyrwyr wedi sicrhau cyflogaeth amser llawn yn eu maes dewisol (tabl 4.6). Felly, ymddengys nad oedd gan y gwasanaeth ar y we unrhyw effaith.

    Fodd bynnag, roedd gwyddonydd data clyfar yn y brifysgol yn edrych ar y data ychydig yn fwy agos a darganfu mai dim ond 20% o'r myfyrwyr yn y grŵp triniaeth erioed wedi mewngofnodi i'r cyfrif ar ôl derbyn yr e-bost. Ymhellach, a braidd yn syndod, ymhlith y rhai a wnaeth logio i mewn i'r wefan, dim ond 60% oedd wedi sicrhau cyflogaeth amser llawn yn eu maes dewisol, a oedd yn is na chyfradd pobl nad oeddent yn mewngofnodi ac yn is na'r gyfradd ar gyfer pobl yn y cyflwr rheoli (tabl 4.7).

    1. Rhowch esboniad am yr hyn a allai fod wedi digwydd.
    2. Beth yw dwy ffordd wahanol i gyfrifo effaith y driniaeth yn yr arbrawf hwn?
    3. O ystyried y canlyniad hwn, a ddylai ddarparu'r gwasanaeth hwn i bob myfyriwr? Dim ond i fod yn glir, nid yw hwn yn gwestiwn gydag ateb syml.
    4. Beth ddylent wneud nesaf?

    Hint: Mae'r cwestiwn hwn yn mynd y tu hwnt i'r deunydd a gwmpesir yn y bennod hon, ond mae'n mynd i'r afael â materion sy'n gyffredin mewn arbrofion. Gelwir y math hwn o ddylunio arbrofol weithiau'n ddyluniad anogaeth oherwydd bod cyfranogwyr yn cael eu hannog i gymryd rhan yn y driniaeth. Mae'r broblem hon yn esiampl o'r hyn a elwir yn ddadgydymffurfio unochrog (gweler pennod 5 Gerber and Green (2012) ).

26. [ ] Ar ôl archwiliad pellach, daeth yn amlwg bod yr arbrawf a ddisgrifiwyd yn y cwestiwn blaenorol hyd yn oed yn fwy cymhleth. Daeth yn amlwg bod 10% o'r bobl yn y grŵp rheoli yn talu am fynediad i'r gwasanaeth, ac roedd ganddynt gyfradd gyflogaeth o 65% i fyny (tabl 4.8).

    1. Ysgrifennwch e-bost yn crynhoi'r hyn sy'n digwydd yn eich barn chi ac argymell cam gweithredu.

    Hint: Mae'r cwestiwn hwn yn mynd y tu hwnt i'r deunydd a gwmpesir yn y bennod hon, ond mae'n mynd i'r afael â materion sy'n gyffredin mewn arbrofion. Mae'r broblem hon yn esiampl o'r hyn a elwir yn ddadgydymffurfio dwy ochr (gweler pennod 6 Gerber and Green (2012) ).