[ , ] Berinsky ir jo kolegos (2012) iš dalies įvertino MTurk, pakartodama tris klasikinius eksperimentus. Pakartokite klasikinį Azijos ligų modeliavimo eksperimentą Tversky and Kahneman (1981) . Ar jūsų rezultatai atitinka Tverskio ir Kahnemano? Ar jūsų rezultatai atitinka tuos Berinsky ir jo kolegos? Kas, jei kas nors, tai išmokys mus naudoti MTurk tyrimo eksperimentams?
[ , ] Kai kur įprastu liežuviu parašytu tekstu "Mes turime sugriauti", socialinis psichologas Robertas Cialdinis, vienas iš Schultz et al. (2007) Autorių Schultz et al. (2007) rašė, kad iš anksto pradėjo dirbti profesoriumi, iš dalies dėl to, kad susidūrė su išbandytais lauko eksperimentais disciplinoje (psichologijoje), kuri daugiausia atlieka laboratorinius eksperimentus (Cialdini 2009) . Perskaitykite Cialdini dokumentą ir parašykite jam el. Laišką, raginantį jį persvarstyti jo suskaidymą, atsižvelgiant į skaitmeninių eksperimentų galimybes. Naudokite konkrečius tyrimo pavyzdžius, kurie padėtų išspręsti jo problemas.
[ ] Siekiant išsiaiškinti, ar mažos pradinės sėkmės fiksuojamos ar išnyksta, van de Rijt ir kt. (2014) Įsiterpdavo į keturias skirtingas sistemas, suteikiančias sėkmę atsitiktinai atrinktiems dalyviams, ir išmatavo ilgalaikį šios savavališkos sėkmės poveikį. Ar galvojate apie kitas sistemas, kuriose galėtumėte atlikti panašius eksperimentus? Įvertinkite šias sistemas mokslinės vertės klausimais, algoritminiu sumaišymu (žr. 2 skyrių) ir etiką.
[ , ] Eksperimento rezultatai gali priklausyti nuo dalyvių. Sukurkite eksperimentą ir paleiskite jį MTurk naudojant dvi skirtingas įdarbinimo strategijas. Stenkitės pasirinkti eksperimentą ir įdarbinimo strategijas, kad rezultatai būtų kuo kitokie . Pavyzdžiui, jūsų įdarbinimo strategijos galėtų būti įdarbinti dalyvius ryte ir vakare arba kompensuoti dalyviams didelį ir mažą atlyginimą. Šie įdarbinimo strategijų skirtumai gali paskatinti skirtingus dalyvių grupes ir skirtingus eksperimentinius rezultatus. Kaip skirtingi padarė jūsų rezultatai? Ką tai rodo apie bandymus MTurk?
[ , , ] Įsivaizduokite, kad planuojate eksperimentą "Emocinis užkrečiantis" (Kramer, Guillory, and Hancock 2014) . Naudokite ankstesnio Kramer (2012) Stebėjimo tyrimo rezultatus, kad nuspręstumėte kiekvienos būklės dalyvių skaičių. Šie du tyrimai nesuderinami puikiai, todėl būtinai aiškiai nurodykite visas jūsų prielaidas:
[ , , ] Dar kartą atsakykite į ankstesnį klausimą, tačiau šį kartą, o ne naudodami ankstesnį Kramer (2012) Stebėjimo tyrimą, naudokite ankstesnio natūralaus eksperimento Lorenzo Coviello et al. (2014) .
[ ] Tiek Margetts et al. (2011) tiek Margetts et al. (2011) ir van de Rijt ir kt. (2014) Atliko eksperimentus, kuriuose nagrinėjamas žmonių, pasirašiusių peticiją, procesas. Palyginkite ir kontrastuokite šių tyrimų rezultatus.
[ ] Dwyer, Maki, and Rothman (2015) atliko du lauko eksperimentus apie socialinių normų ir aplinkosaugos elgsenos santykį. Štai jų santrauka:
"Kaip gali būti naudojamas psichologinis mokslas, skatinantis aplinkosauginį elgesį? Dviejuose tyrimuose intervencijos, kuriomis siekiama skatinti energijos taupymo elgseną viešuose vonios kambariuose, išnagrinėjo aprašomųjų normų įtaką ir asmeninę atsakomybę. 1 tyrime šviesos būsena (ty įjungta arba išjungta) buvo manipuliuojama, kol kažkas pateko į neužimtą viešąjį vonios kambarį, signalizuodamas apibūdinamąją normą šiam nustatymui. Dalyviai buvo žymiai labiau linkę išjungti šviesą, jei jie atėjo, kai jie atvyko. 2-oje studijoje buvo įtraukta papildoma sąlyga, kurioje konfidencialu įrodė šviesos išjungimo normą, tačiau dalyviai patys nebuvo atsakingi už jo įjungimą. Asmeninė atsakomybė reguliuoja socialinių normų įtaką elgesiui; kai dalyviai nebuvo atsakingi už šviesos įjungimą, normos įtaka buvo mažesnė. Šie rezultatai rodo, kaip apibūdinančios normos ir asmeninė atsakomybė gali reguliuoti aplinkosaugos intervencijų efektyvumą. "
Perskaitykite jų popierių ir suprojektuokite tyrimo kopiją 1.
[ , ] Remdamiesi ankstesniu klausimu, dabar atlikite savo dizainą.
[ ] Buvo diskutuojama apie eksperimentus, kuriuose dalyvavo MTurk. Lygiagrečiai taip pat buvo išsamiai diskutuojama apie eksperimentus, kuriuose dalyvavo studentai iš studentų. Parašykite dviejų puslapių užrašą, kuriame būtų palyginami ir kontrastingi turkų ir studentų kaip tyrėjų dalyviai. Jūsų palyginimas turėtų apimti tiek mokslo, tiek logistikos klausimų aptarimą.
[ ] Jim Manzi knyga " Nekontroliuojamas" (2012) Yra puikus įvadas į eksperimentavimo verslą versle. Knygoje jis persiuntė šią istoriją:
"Kai kada buvau susitikimas su tikru verslo genijus, savarankišku milijardieriu, kuris giliai, intuityvus eksperimentų galios supratimas. Jo kompanija praleido daug išteklių, bandydama sukurti puikius parduotuvių langų ekranus, kurie pritrauktų vartotojus ir padidintų pardavimus, nes, kaip buvo įprasta išmintis, jie turėtų tai padaryti. Ekspertai atidžiai išbandė dizainą po dizaino ir per atskirus bandymų peržiūros seansus per kelerius metus neužtikrino jokio didelio priežastinio kiekvieno naujo ekrano dizaino poveikio pardavimams. Vyresnieji rinkodaros ir rinkodaros vadovai susitiko su generaliniu direktoriumi, kad peržiūrėtų šiuos istorinius testo rezultatus toto. Pateikę visus eksperimento duomenis, jie padarė išvadą, kad tradicinė išmintis buvo klaidinga - lango rodmenys nekelia pardavimo. Jų rekomenduojama imtis veiksmų siekiant sumažinti išlaidas ir pastangas šioje srityje. Tai iš esmės parodė eksperimentų gebėjimą panaikinti tradicinę išmintį. Generalinio direktoriaus atsakymas buvo paprastas: "Mano išvada yra tai, kad jūsų dizaineriai nėra labai geri." Jo sprendimas buvo padidinti pastangas saugoti ekrano dizainą ir gauti naujų žmonių tai padaryti " (Manzi 2012, 158–9)
Kokio tipo galiojimas yra generalinio direktoriaus rūpestis?
[ ] Remdamiesi ankstesniu klausimu, įsivaizduokite, kad buvote susitikime, kuriame aptarti eksperimentų rezultatai. Kokie yra keturi klausimai, kuriuos galėtumėte paklausti: vienas pagal kiekvieną galiojimo tipą (statistinis, statinis, vidinis ir išorinis)?
[ ] " Bernedo, Ferraro, and Price (2014) Ištyrė " Ferraro, Miranda, and Price (2011) Septynerių metų vandens taupymo intervencijos poveikį (žr. 4.11 paveikslą). Šiame darbe Bernedas ir jo kolegos taip pat siekė suprasti poveikio mechanizmą, palygindami namų ūkių elgesį, kurie buvo ir nebuvo persikėlę po gydymo. Tai yra maždaug, jie bandė pamatyti, ar gydymas paveikė namus ar namų savininkus.
[ ] Po to, kai Schultz et al. (2007) Schultz ir jo kolegos atliko tris eksperimentus apie aprašomojo pobūdžio ir uždraudimo normų poveikį skirtingam aplinkos elgesiui (rankšluosčių pakartotiniam naudojimui) dviejuose kontekstuose ("hotel and (Schultz, Khazian, and Zaleski 2008) condominium") (Schultz, Khazian, and Zaleski 2008) .
[ ] Atsakant į Schultz et al. (2007) , " Canfield, Bruin, and Wong-Parodi (2016) atliko daugybę laboratorinių bandymų, skirtų elektros sąskaitų dizainui mokytis. Štai kaip jie apibūdina jį abstrakčiai:
"Apklausoje eksperimentu kiekvienas dalyvis pamatė hipotetinį elektros energijos sąskaitą šeimos, kurioms buvo palyginti didelis elektros energijos kiekis, apimančią informaciją apie a) istorinį naudojimą, b) palyginimą su kaimynais ir c) istorinį naudojimą su prietaiso sugedimu. Dalyviai matė visas informacijos rūšis viename iš trijų formatų, įskaitant (a) stalus, (b) juostines diagramas ir (c) piktogramų grafikus. Pateikiame tris pagrindines išvadas. Pirma, vartotojai daugiausiai suprato kiekvieno tipo elektros energijos naudojimo informaciją, kai ji buvo pateikta lentelėje, galbūt todėl, kad lentelės palengvina paprastą skaitinį elementą. Antra, pageidavimai ir ketinimai sutaupyti elektros energiją buvo stipriausi istoriniam naudojimui, nepriklausomai nuo formato. Trečia, žmonės su žemu energijos raštingumu suprato visą informaciją mažiau. "
Skirtingai nuo kitų tolesnių tyrimų, pagrindinis Canfield, Bruin, and Wong-Parodi (2016) susidomėjimo rezultatas yra elgesys, o ne tikras elgesys. Kokios šios rūšies studijos stipriosios ir silpnosios pusės yra platesnėje energijos taupymo skatinimo programoje?
[ , ] Smith and Pell (2003) pateikė satyrinę metaanalizę, parodžiusius parašiutų veiksmingumą. Jie padarė išvadą:
"Kaip ir daugelio intervencijų, skirtų sveikatos sutrikimams išvengti, parastakių veiksmingumas nebuvo griežtai vertinamas taikant atsitiktinių imčių kontroliuojamus tyrimus. Remiantis įrodymais pagrįstos medicinos patarėjais kritikavo intervencijų, kurios buvo įvertintos naudojant tik stebimius duomenis, priėmimą. Manome, kad visi galėtų pasinaudoti, jei labiausiai radikalių įrodymais pagrįstų vaistų protagonistų organizuotų ir dalyvavo dvigubai akluose, atsitiktinių imčių, placebu kontroliuojamuose, kryžminiuose parašiutų tyrimuose. "
Parašyk op-ed tinkamą visuotinį skaitytojų laikraštį, pvz., " New York Times" , priešinantis eksperimentinių įrodymų fetišizavimui. Pateikite konkrečių, konkrečių pavyzdžių. Patarimas: taip pat žr. Deaton (2010) ir Bothwell et al. (2016) .
[ , , ] Gydymo efekto skirtumų skirtumai gali būti tikslūs, palyginti su vidutiniais skirtumais. Užsirašykite A / B bandymų inžinieriui pradinėje socialinės žiniasklaidos kompanijoje užrašą, kuriame paaiškinta, kaip veikia internetinis eksperimentas, skirtumas tarp skirtingų metodų. Ataskaitoje turėtų būti pateiktas problemos aprašymas, keletas intuicijų apie sąlygas, kuriomis skirtumų skirtumas įvertinimo priemonė viršys vidutinį skirtumą ir paprastą modeliavimo tyrimą.
[ , ] Gary'as Lovemanas buvo Harvardo verslo mokyklos profesorius ir tapo vienu iš didžiausių pasaulyje kazino bendrovių "Harrah's" generaliniu direktoriumi. Kai jis persikėlė į "Harrah's", "Loveman" pakeitė kompaniją dažnai lėktuvo tipo lojalumo programa, kuri surinko milžinišką kiekį duomenų apie klientų elgesį. Be šios nuolatinės matavimo sistemos, bendrovė pradėjo vykdyti eksperimentus. Pvz., Jie gali atlikti eksperimentą, kad įvertintų nemokamo viešbučio nakties kupono poveikį klientams, turintiems konkretų lošimų pobūdį. Štai kaip Lovemanas apibūdino eksperimentų svarbą "Harrah" kasdienėje verslo praktikoje:
"Tai panašu, kad nesielgiate moterų, nesiekite vogti, o jūs turite turėti kontrolinę grupę. Tai vienas iš dalykų, dėl kurio Harrahe gali prarasti savo darbą - nekontroliuojamos grupės " (Manzi 2012, 146)
Parašykite el. Laišką naujam darbuotojui, paaiškinantis, kodėl Loveman mano, kad svarbu turėti kontrolinę grupę. Turėtumėte pabandyti įtraukti pavyzdį - realų arba pagamintą, kad pademonstruotumėte savo tašką.
[ , ] Naujas eksperimentas skirtas įvertinti, kaip gaunami teksto žinučių priminimai apie vakcinaciją. Siūlo dalyvauti šimtas penkiasdešimt klinikų, kurių kiekvienoje yra 600 tinkamų pacientų. Kiekvienai klinikai, su kuria norite dirbti, yra nustatoma 100 JAV dolerių, o kiekvienam tekstiniam pranešimui, kurį norite siųsti, kainuoja 1 USD. Be to, bet kokios klinikos, su kuriomis dirbate, įvertins rezultatus (ar kas nors gavo skiepijimą) nemokamai. Tarkime, kad turėtumėte 1 000 dolerių.
[ , ] Svarbi problema, susijusi su internetiniais kursais, yra traukimas: daugelis studentų, kurie pradeda kursus, baigia studijas. Įsivaizduokite, kad dirbate internetinėje mokymosi platformoje, o platformos dizaineris sukūrė vizualinę progreso juostą, kuri, jos manymu, padės išvengti studentų išstojimo iš kursų. Norite išbandyti pažangos juostos poveikį studentams didelėje skaičiavimo socialinių mokslų studijoje. Išnagrinėję bet kokius etinius klausimus, kurie gali atsirasti atliekant eksperimentą, jūs ir jūsų kolegos susirūpinę, kad kursuose gali nepakakti studentų, kad būtų galima patikimai nustatyti pažangos juostos poveikį. Tolesniuose skaičiavimuose galite manyti, kad pusė studentų gaus pažangos juostą, o pusė - ne. Be to, galite manyti, kad nėra trukdžių. Kitaip tariant, galite manyti, kad dalyvius veikia tik tai, ar jie gavo gydymą ar kontrolę; jie neatsiejami nuo to, ar kiti žmonės gavo gydymą ar kontrolę (formalesnio apibrėžimo atveju žr. Gerber and Green (2012) 8 skyrių). Sekite bet kokias papildomas jūsų prielaidas.
[ , , ] Įsivaizduokite, kad dirbate kaip duomenų mokslininkas technologijų kompanijoje. Kažkas iš rinkodaros skyriaus prašo jūsų pagalbos vertinant eksperimentą, kurį jie planuoja, norėdami įvertinti naujos internetinės reklamos kampanijos investicijų grąžą (IG). IG apibrėžiamas kaip kampanijos grynasis pelnas, padalytas iš kampanijos išlaidų. Pvz., Kampanija, neturėjusi poveikio pardavimams, turėtų 100% IG; kampanija, kurioje gautas pelnas būtų lygus išlaidoms, būtų 0; ir kampanija, kurioje gautas pelnas buvo dvigubai didesnis, sąnaudos būtų 200%.
Prieš pradedant eksperimentą, rinkodaros departamentas pateikia toliau nurodytą informaciją, remdamasi savo ankstesniais tyrimais (iš tikrųjų šios vertės būdingos tikroms internetinėms reklamos kampanijoms, apie kurias pranešta Lewis ir Rao (2015) ):
Parašykite pastabą, įvertinančią šį siūlomą eksperimentą. Jūsų atmintyje turėtų būti naudojami įrodymai, kuriuos sukūrė jūsų sukurtas modeliavimas, ir jame turėtų būti nagrinėjami du pagrindiniai klausimai: (1) Ar rekomenduotumėte paleisti šį eksperimentą pagal planą? Jei taip, kodėl? Jei ne, kodėl gi ne? Būtinai turite būti aišku, kokius kriterijus naudojate priimdami šį sprendimą. (2) Kokio atrankos dydžio rekomenduotumėte atlikti šį eksperimentą? Vėlgi, būtinai turite būti aišku, kokius kriterijus naudojate priimdami šį sprendimą.
Geras pranešimas bus skirtas konkrečiam atvejui; geresnis užrašas bus apibendrinamas iš šios bylos vienu būdu (pvz., parodykite, kaip sprendimas keičiamas kaip kampanijos poveikio dydžio funkcija); ir puikus raštas bus visiškai apibendrintas rezultatas. Jūsų užrašuose turėtų būti naudojami grafikai, kurie padėtų parodyti rezultatus.
Štai du patarimai. Pirma, rinkodaros departamentas galėjo pateikti jums nereikalingą informaciją ir galbūt nepateikė jums reikalingos informacijos. Antra, jei naudojate R, atkreipkite dėmesį, kad funkcija rlnorm () neveikia taip, kaip tikisi daugybė žmonių.
Ši veikla padės jums atlikti galios analizę, kurti modelius ir pranešti apie rezultatus žodžiais ir grafikomis. Tai turėtų padėti atlikti galios analizę bet kokiam eksperimentui, o ne tik eksperimentams, skirtiems įvertinti ROI. Ši veikla daro prielaidą, kad turite tam tikrą statistinio testavimo ir galios analizės patirtį. Jei nesate susipažinę su galios analizavimu, rekomenduoju perskaityti "Co Power" Cohen (1992) "Power Primer".
Šią veiklą paskatino nuostabus RA Lewis and Rao (2015) Dokumentas, kuris ryškiai iliustruoja esminį statistinį net masinių eksperimentų apribojimą. Jų popierius, kuris iš pradžių turėjo provokuojantį pavadinimą "Dėl artimos galimybės matyti grįžimą į reklamą", rodo, kaip sunku įvertinti internetinių skelbimų investicijų grąžą net ir naudojant skaitmeninius eksperimentus, kuriuose dalyvauja milijonai klientų. Apskritai, RA Lewis and Rao (2015) iliustruoja pagrindinį statistinį faktą, kuris yra ypač svarbus skaitmeninio amžiaus eksperimentams: sunku įvertinti nedidelius gydymo efektus tarp triukšmingų rezultatų duomenų.
[ , ] Atlikite tą patį, kaip ankstesnį klausimą, tačiau, užuot imituodami, turėtumėte naudoti analizės rezultatus.
[ , , ] Atlikite tą patį kaip ankstesnis klausimas, tačiau naudokite simuliacinius ir analitinius rezultatus.
[ , , ] Įsivaizduokite, kad parašėte pirmiau aprašytą atmintį, o kažkas iš rinkodaros skyriaus pateikia vieną naujos informacijos dalį: jie tikisi, kad bus ryšys tarp pardavimo iki eksperimento ir po jo. Kaip tai pakeičia rekomendacijas savo atmintinėje? (Patarimas: žiūrėkite 4.6.2 skirsnį, jei norite sužinoti daugiau apie skirtumo įvertinimo priemonę ir skirtumų skirtumo skaičiavimą.)
[ , ] Siekiant įvertinti naujos internetinės užimtumo pagalbos programos veiksmingumą, universitetas atliko atsitiktinių imčių kontrolinį bandymą tarp 10 000 mokinių, įstojusių į savo paskutinius mokyklos metus. Nemokamas prenumerata su unikalia prisijungimo informacija buvo išsiųsta per išskirtinį el. Pašto kvietimą į 5000 atsitiktinai atrinktų studentų, o kiti 5000 studentų buvo kontrolinėje grupėje ir neturėjo prenumeratos. Praėjus dvylikai mėnesių, tolesnis tyrimas (be neatsakymo) parodė, kad ir gydymo, ir kontrolinėse grupėse 70% studentų visą darbo dieną dirbo pasirinktoje srityje (4.6 lentelė). Taigi atrodė, kad internetinė paslauga neturėjo jokios įtakos.
Tačiau protingas duomenų mokslininkas universitete tyrinėjo duomenis šiek tiek labiau ir nustatė, kad tik 20 proc. Gydymo grupės studentų, prisijungusių prie paskyros, gavo el. Laišką. Be to, ir šiek tiek nenuostabu, kad tarp tų, kurie prisijungė prie interneto, tik 60 proc. Užsitikrino visą darbo dieną pasirinktoje srityje, o tai buvo mažesnė negu žmonių, kurie neįregistravo, ir mažesnė už žmonių skaičių kontrolinėje būklėje (4.7 lentelė).
Patarimas: šis klausimas viršija šiame skyriuje apibūdintą medžiagą, tačiau nagrinėjamas eksperimentams būdingas problemas. Tokio tipo eksperimentinis dizainas kartais vadinamas stimuliavimo projektu, nes dalyviai yra raginami dalyvauti gydymo procese. Ši problema yra vadinamojo vienašalio neatitikimo pavyzdys (žr. Gerber and Green (2012) 5) skyrių 5).
[ ] Po tolesnio tyrimo paaiškėjo, kad ankstesniame klausime apibūdintas eksperimentas buvo dar sudėtingesnis. Paaiškėjo, kad 10 proc. Kontrolinės grupės žmonių sumokėjo už galimybę naudotis paslauga, o jų užimtumo lygis siekė 65 proc. (4.8 lentelė).
Patarimas: šis klausimas viršija šiame skyriuje apibūdintą medžiagą, tačiau nagrinėjamas eksperimentams būdingas problemas. Ši problema yra vadinamojo dvipusio neatitikimo pavyzdys (žr. Gerber and Green (2012) 6 Gerber and Green (2012) ).
Grupė | Dydis | Užimtumo lygis |
---|---|---|
Suteikta prieiga prie svetainės | 5000 | 70% |
Neleidžiama pasiekti svetainės | 5000 | 70% |
Grupė | Dydis | Užimtumo lygis |
---|---|---|
Prieiga prie svetainės ir prisijungimas | 1000 | 60% |
Suteikta prieiga prie svetainės ir niekada neprisijungta | 4000 | 72,5% |
Neleidžiama pasiekti svetainės | 5000 | 70% |
Grupė | Dydis | Užimtumo lygis |
---|---|---|
Prieiga prie svetainės ir prisijungimas | 1000 | 60% |
Suteikta prieiga prie svetainės ir niekada neprisijungta | 4000 | 72,5% |
Neleidžiama naudotis tinklaviete ir už ją sumokėta | 500 | 65% |
Neleidžiama naudotis svetaine ir už ją nemokėjo | 4500 | 70.56% |