Key:
[ , ] Berinsky un kolēģi (2012) izvērtē Mehāniskais Turk daļēji replicē trīs klasiskās eksperimentus. Atkārtot klasiskās Āzijas Disease kadrēšanas eksperimentu ar Tversky and Kahneman (1981) . Vai jūsu rezultāti spēles Tversky un Kahneman s? Vai Jūsu rezultāti atbilst Berinsky un kolēģiem? Ko-ja kaut-tas mums māca par to, izmantojot Mechanical Turk apsekojumu eksperimentiem?
[ , ] In nedaudz mēles-in-vaiga papīra ar nosaukumu "Mums Break Up", sociālais psihologs Roberts Cialdini, viens no autoriem Schultz et al. (2007) , rakstīja, ka viņš dodas pensijā agri no viņa darbu kā profesors, daļēji tāpēc, ka problēmas, viņš saskaras dara lauka eksperimentus kādā disciplīnā (psiholoģijas), kas galvenokārt veic laboratorijas eksperimentus (Cialdini 2009) . Lasīt Cialdini ir papīrs, un rakstīt viņam e-pastu, mudinot viņu pārskatīt savu break-up Ņemot iespējām ciparu eksperimentiem. Izmantot konkrētus piemērus pētījuma kas risinātu savas bažas.
[ ] Lai noteiktu, vai mazi sākotnējie panākumi lock-in vai izbalināt prom, van de Rijt un un kolēģi (2014) iejaucās četrās dažādās sistēmās piešķirot panākumus nejauši izvēlētiem dalībniekiem, un tad mēra ilgtermiņa ietekmi uz šīs patvaļīgu panākumus. Vai jūs domājat par citām sistēmām, kurās jūs varētu palaist līdzīgu eksperimentu? Novērtējiet šīs sistēmas ziņā jautājumos zinātnisko vērtību, algoritmiskās sajaukšanas (skatīt 2. nodaļu), un ētiku.
[ , ] Eksperimenta rezultāti ir atkarīgi no dalībniekiem. Izveidot eksperimentu un tad palaist to uz Amazon Mechanical Turk (MTurk), izmantojot divus dažādus darbā pieņemšanas stratēģijas. Mēģiniet izvēlēties eksperimentu un darbā pieņemšanas stratēģijas, lai rezultāti būs tikpat atšķirīga, cik vien iespējams. Piemēram, jūsu darbā pieņemšanas stratēģijas varētu būt pieņemt darbā dalībniekus no rīta un vakarā, vai kompensēt dalībniekus ar augstu un zemu atalgojumu. Šīs atšķirības darbā pieņemšanas stratēģijas veidu varētu radīt atšķirīgus baseini dalībnieku un dažādos eksperimentālos rezultātus. Kā atšķiras bija jūsu rezultāti izrādīties? Ko tas liecina par eksperimentējot MTurk?
[ , , , ] Iedomājieties, ka jūs plānojat emocionālo izplatīšanos pētījumu (Kramer, Guillory, and Hancock 2014) . Izmantojiet rezultātus agrāk novērošanas pētījumā, ko Kramer (2012) lemt dalībnieku skaitu katrā stāvoklī. Šie divi pētījumi nesakrīt perfekti tāpēc pārliecinieties, lai skaidri uzskaitīt visus pieņēmumus, ko veicat:
[ , , , ] Atbilde uz jautājumu iepriekš, bet nevis izmantojot agrāko novērojuma pētījumu ar Kramer (2012) izmantot rezultātus no agrāk dabiskā eksperimenta ar Coviello et al. (2014) .
[ ] Gan Rijt et al. (2014) un Margetts et al. (2011) , gan veikt eksperimentus, kas pētītu procesu cilvēku paraksta petīciju. Salīdzināt un pretstatīt dizainu un secinājumus par šo pētījumu.
[ ] Dwyer, Maki, and Rothman (2015) veica divus lauka eksperimentus par attiecībām starp sociālajām normām un proenvironmental uzvedību. Lūk abstrakti to papīru:
"Kā varētu psiholoģiskā zinātne tikt izmantoti, lai veicinātu proenvironmental uzvedību? Divos pētījumos, iejaukšanās mērķis ir veicināt enerģijas taupība uzvedību sabiedriskās vannas izvērtēja ietekmi aprakstošās normām un personīgās atbildības. 1. pētījumā, gaisma statuss (ti, vai off) tika manipulē, pirms kāds ievadījis esoša publisko vannas istaba, signalizācijas aprakstošo normu par šo iestatījumu. Dalībnieki bija ievērojami biežāk izslēdz gaismu, ja tie bija off kad viņi ieradušies. Pētījumā 2, papildu nosacījums tika iekļauts kurā norma izslēdziet gaismu demonstrēja konfederāti, taču dalībnieki bija ne paši atbildīgi par pagriežot to. Personiskā atbildība regulēts ietekmi sociālo normu par uzvedību; ja dalībnieki nav atbildīgi par pagrieziena uz gaismu, tika samazināta ietekme normas. Šie rezultāti norāda, kā aprakstošs normas un personīgo atbildību var regulēt efektivitāti proenvironmental iejaukšanās. "
Lasīt savu papīru un dizaina replikācijas studiju 1.
[ , ] Balstoties uz iepriekšējo jautājumu, tagad veic savu dizainu.
[ ] Ir bijusi būtiska diskusija par eksperimentiem, kas izmanto dalībniekus darbā no Amazon Mechanical Turk. Paralēli pastāv arī ievērojams debates par eksperimentiem, kas izmanto dalībniekus darbā no bakalaura studentu grupām. Uzrakstiet divu lappušu piezīmi salīdzinot un pretstatot to Turkers un undergraduates kā pētnieki dalībniekiem. Jūsu salīdzinājums būtu jāiekļauj diskusijas gan zinātnisko un loģistikas jautājumiem.
[ ] Jim Manzi grāmata Nekontrolēta (2012) ir brīnišķīgs ievads varu eksperimentiem biznesā. Grāmatā viņš izlaisti šo stāstu:
"Man bija reiz tiekoties ar patiesu biznesa ģēnijs, self-made miljardieris, kurš bija dziļi, intuitīvu izpratne par spēku eksperimentiem. Viņa uzņēmums pavadīja ievērojamus resursus mēģina radīt lielu veikalu logs, kas varētu piesaistīt patērētājus un palielina pārdošanas apjomus, kā parasto gudrība teica, ka viņi būtu. Eksperti rūpīgi pārbaudīta dizainu pēc dizaina, un atsevišķos testa pārskatīšanas sesijās vairāk gadu laikā tur parādot nav būtiskas cēloņsakarības ietekmi katru jaunu displeja dizains no pārdošanas. Vecākais mārketinga un tirdzniecības veicināšanas vadītāji tikās ar CEO, lai pārskatītu šos vēsturiskos testa rezultātus toto. Galu uzrādot visus eksperimentāliem datiem, viņi secināja, ka parasto gudrība bija nepareizi, ka logs nav vadīt pārdošanu. Viņu ieteica rīcība, lai samazinātu izmaksas un pūles šajā jomā. Tas dramatiski pierādīja spēju eksperimentējot, lai atspēkot parasto gudrība. CEO atbilde bija vienkārša: "Mans secinājums ir, ka jūsu dizaineri nav ļoti labs." Viņa risinājums bija palielināt centienus veikals displeja dizains, un iegūt jaunus cilvēkus to darīt. " (Manzi 2012, 158–9)
Kāda veida derīguma ir bažas par CEO?
[ ] Balstoties uz iepriekšējo jautājumu, iedomājieties, ka jums bija sanāksmē, kurā tika apspriesti Eksperimentu rezultāti. Kas ir četri jautājumi, kas jums varētu jautāt, pa vienam katrai derīguma veidam (statistikas, celt, iekšējo un ārējo)?
[ ] Bernedo, Ferraro, and Price (2014) pēta septiņu gadu ietekmi ūdens taupīšanas iejaukšanās aprakstīta Ferraro, Miranda, and Price (2011) (sk 4.10 attēlu). Šajā dokumentā, Bernedo un kolēģi arī jācenšas saprast mehānismu aiz efektu, salīdzinot uzvedību mājsaimniecību, kas ir un nav pārcēlušies pēc ārstēšanas tika piegādāts. Tas ir, apmēram, viņi cenšas, lai redzētu, vai ārstēšana ietekmēja mājas vai homeowner.
[ ] Ar turpmākiem pasākumiem Schultz et al. (2007) , Schultz un kolēģiem veikt virkni trīs eksperimentu ietekmi aprakstošās un tiesas aizsardzību normām par citu vides uzvedību (dvielis atkārtotas) divos kontekstos (viesnīca un daļlaika condominium) (Schultz, Khazian, and Zaleski 2008) .
[ ] Atsaucoties uz Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) rīkoja lab līdzīgu eksperimentu studēt dizainu elektrības rēķinus. Lūk, kā viņi aprakstīt to abstrakti:
"In apsekojumu balstītu eksperimenta, katrs dalībnieks redzēja hipotētisku elektrības rēķinu par ģimeni ar relatīvi augstu elektroenerģijas izmantošanu, kas ietver informāciju par (a) vēsturisko izmantošanu, (b) salīdzinājums ar kaimiņiem, un (c) vēsturiskā lietošana ar iekārtu sadalījumu. Dalībnieki redzēja visus informācijas veidus vienā no trim formātiem, ieskaitot (a) tabulu, (b) joslu diagrammas, un (c) icon diagrammas. Mums ziņo par trim galvenajiem secinājumiem. Pirmkārt, patērētāji saprot katru elektroenerģijas izmantošanas informācijas veidu visvairāk, kad tas tika prezentēts tabulā, varbūt tāpēc, galdi atvieglot vienkāršu punktu lasījumā. Otrkārt, preferences un nodomi taupīt elektroenerģiju bija spēcīgākais par vēsturisko izmantot informāciju, neatkarīgi no formāta. Treškārt, cilvēki ar zemāku enerģijas lasītprasmes sapratis visu informāciju mazāk. "
Atšķirībā no citiem papildus pētījumi, galvenais rezultāts interesi Canfield, Bruin, and Wong-Parodi (2016) ziņo uzvedība nav faktisko rīcību. Kādas ir stiprās un vājās puses šāda veida pētījums plašāku pētniecības programmas, kas veicina enerģijas taupīšanu?
[ , ] Smith and Pell (2003) ir satīrisks meta-analīze pētījumu, kas parāda efektivitāti izpletņus. Viņi secina:
"Tāpat kā daudzi intervences paredzēti, lai novērstu sliktu veselību, efektivitāte izpletņu nav pakļauta stingrai novērtēšanai, izmantojot randomizētos kontrolētos pētījumos. Aizstāvji pierādījumiem balstīta medicīna ir kritizējušas pieņemšanu intervences novērtējusi, izmantojot tikai novērojumu datus. Mēs domājam, ka ikviens varētu gūt labumu, ja organizēja un piedalījās dubultakla radikālāko īstenībā pierādījumiem balstīta medicīna, randomizēts, placebo kontrolēts, crossover pētījums par izpletni. "
Uzrakstiet op-ed piemērots vispārēju lasītāju avīzē, piemēram, New York Times, apgalvojot pret fetishization no iegūtajiem pierādījumiem. Jāsniedz īpašs konkrētus piemērus. Padoms: Skatīt arī, Bothwell et al. (2016) un Deaton (2010)
[ , , ] Starpība-in-atšķirības novērtējumi ārstēšanas efekts var būt precīzāka nekā atšķirība-in-vidējais vērtētāju. Uzrakstiet piezīmi inženieris, kas atbild par A / B testēšana pie start-up sociālo mediju kompānija paskaidrojot vērtību atšķirība-in-atšķirības pieejas darbojas tiešsaistes eksperimentu. Šajā paziņojumā jāietver apraksts par šo problēmu, dažas intuīciju par apstākļiem, kādos atšķirība-in-starpību aprēķinātājs būs labāki atšķirība-in-vidējo aprēķinātājs, un vienkāršu simulācijas pētījumu.
[ , ] Gary Loveman bija profesors Hārvardas Biznesa skolā pirms kļūšanas CEO Harrah s, kas ir viens no lielākajiem kazino kompānijām pasaulē. Kad viņš pārcēlās uz Harrah s, Loveman pārveidoja uzņēmumu ar pastāvīgo klientu līdzīgu lojalitātes programma, kas savākti milzīgu daudzumu datu par patērētāju uzvedību. Papildus šai vienmēr-on mērīšanas sistēmas, uzņēmums sāka darboties eksperimentus. Piemēram, tie varētu veikt eksperimentu, lai novērtētu ietekmi kuponu par brīvu viesnīcas nakts klientiem ar konkrētu azartspēļu modeli. Lūk, kā Loveman raksturoja nozīmi eksperimentējot, lai Harrah s ikdienas uzņēmējdarbības praksi:
"Tas ir tāpat kā jums nav nomocīt sievietes, jums nebūs zagt, un tev ir kontroles grupu. Šī ir viena no lietām, ko jūs varat zaudēt savu darbu pie Harrah's-nedarbojas kontroles grupu. " (Manzi 2012, 146)
Rakstīt e-pastu uz jaunu darbinieka paskaidrojumu, kāpēc Loveman domā, tas ir tik svarīgi, lai kontroles grupa. Jums vajadzētu mēģināt iekļaut piemēru-nu reāls vai izgatavots, lai ilustrētu savu punktu.
[ , ] Jauna eksperimentu mērķis ir novērtēt ietekmi saņemšanas teksta ziņojumu atgādinājumi par vakcinācijas apjomu. 150 klīnikas, katrs ar 600 attiecināmajām pacientiem, ir gatavi piedalīties. Ir noteikta izmaksas 100 dolāru par katru klīnikā jūs vēlaties strādāt ar, un tas maksā 1 dolāru par katru īsziņu, kuru vēlaties nosūtīt. Turklāt jebkurš klīnikas, ka jūs strādājat ar mērīs iznākumu (vai kāds vakcinējies) par brīvu. Pieņemsim, ka jums ir budžets 1000 dolāru.
[ , ] Galvenā problēma ar tiešsaistes kursiem novājināšana; daudzi studenti, kas sākas kursus beigties pilināmā-out. Iedomājieties, ka jūs strādājat pie tiešsaistes mācību platformas, un dizainers pie perona ir radījis vizuālo progresa josla, ka viņa domā palīdzēs novērst studentiem pamet kursa. Jūs vēlaties, lai pārbaudītu ietekmi progress bar par studentu lielu skaitļošanas sociālo zinību kursā. Pēc visu to ētikas jautājumus, kas varētu rasties eksperimentā, jūs un jūsu kolēģi uztraukties, ka protams, varētu nebūt pietiekami daudz studentus ticami noteikt ietekmi progress bar. Jo tālāk jūs Aprēķinos var pieņemt, ka puse studentu saņems progresa josla un pusi ne. Turklāt, jūs varat pieņemt, ka tie nav pretrunā. Citiem vārdiem sakot, jūs varat pieņemt, ka dalībnieki skar tikai pēc tā, vai viņi saņēma ārstēšanu vai kontroli; tie nav veikta ar vai citi cilvēki saņēma ārstēšanu vai kontroli (par daudz oficiālu definīciju, sk Gerber and Green (2012) , Ch. 8). Lūdzu sekot līdzi visiem papildu pieņēmumus, ko veicat.
[ , ] Jaukā papīra, Lewis and Rao (2015) spilgti ilustrē fundamentālu statistikas ierobežojums pat masveida eksperimentu. Papīra, kas sākotnēji bija provokatīvu nosaukumu "Par Tuvo neiespējamību mērīšana Atgriežas Advertising" -shows cik grūti ir izmērīt atdevi no ieguldījumiem tiešsaistes reklāmas, pat ar digitālo eksperimenti, iesaistot miljoniem klientu. Vispārīgāk, papīra skaidri redzams, ka tas ir grūti aprēķināt nelielu ārstēšanas efektu amidst trokšņainās rezultātu datiem. Vai arī norādīja diffently, papīra rāda, ka aplēstās ārstēšanas ietekme būs lielas ticamības intervālus, kad trieciena-to-standarta novirze (\ (\ Frac {\ delta \ bar {y}} {\ sigma} \)) attiecība ir neliels. Svarīgi vispārēju mācību no šī raksta, ka rezultāti no eksperimentiem ar mazu ietekmi-to-standarta-novirze attiecību (piemēram, ROI Reklāmas kampaņas) būs neapmierinoši. Jūsu uzdevums būs uzrakstīt piezīmi kāds mārketinga departamenta Jūsu uzņēmuma evaluting plānoto eksperimentu, lai noteiktu ROI reklāmas kampaņu. Jūsu piezīmi būtu jāatbalsta ar grafikiem izdarītajiem datorsimulācijas rezultātiem.
Lūk, daži fona informāciju, kas jums var būt nepieciešams. Visi šie skaitliskās vērtības ir tipisks no reālās eksperimentu ziņots Lewis and Rao (2015) :
ROI, ir galvenais rādītājs, tiešsaistes reklāmas kampaņu, ir noteikts kā neto peļņa no kampaņas (bruto peļņa no kampaņa mīnus izmaksas kampaņas), dalīts ar izmaksām kampaņu. Piemēram, kampaņa, kas neietekmēja pārdošanas būtu ROI -100% un kampaņu, kurā gūtā peļņa bija vienādas ar izmaksām, varētu būt ROI 0.
vidējās pārdošanas uz vienu klientu ir 7 $ ar standarta novirzi 75 $.
Paredzams, ka kampaņa, lai palielinātu pārdošanas apjomu par 0,35 $ par vienu klientu, kas atbilst in peļņa uz vienu klientu 0.175 $ pieaugumu. Citiem vārdiem sakot, bruto peļņa ir 50%.
plānotais izmērs eksperimenta ir 200,000 cilvēku, puse no terapijas grupā un pusi kontroles grupā.
izmaksas kampaņas ir 0,14 $ par vienu dalībnieku.
Uzrakstiet piezīmi evaluting šo eksperimentu. Vai Jūs ieteiktu sākt šo eksperimentu, kā plānots? Ja tā, tad kāpēc? Ja nē, kādas izmaiņas jūs ieteiktu?
Labs memo risinās šo konkrēto gadījumu; labāk atgādne tiks vispārināt no šajā gadījumā vienā veidā (piemēram, parāda, kā lēmumu mainās kā funkcija no attiecības ietekme-to-standarta-novirze); un liels memo iesniegs pilnībā vispārinātu rezultātu.
[ , ] Vai tāds pats kā uz iepriekšējo jautājumu, bet nevis simulācijas jums vajadzētu izmantot analītisko rezultātu.
[ , , ] Vai tāds pats kā iepriekšējā jautājumā, bet izmantot gan simulācijas un analītisko rezultātu.
[ , , ] Iedomājieties, ka jums ir rakstisks piezīmi iepriekš izmantojot vai nu simulācijas, analītisko rezultātu, vai gan-un kāds no tirdzniecības departaments iesaka izmantot atšķirība-in-atšķirības aprēķinātājs nevis atšķirīga līdzekļu novērtējuma aprakstīto (skatīt 4.6.2) . Rakstīt jaunu īsāku piezīmi, paskaidrojot, kā 0,4 korelācija starp pārdošanu pirms eksperimenta un pārdošanu pēc eksperimenta varētu mainīt savu secinājumu.
[ , ] Lai novērtētu efektivitāti jaunu tīmekļa karjeras pakalpojumu, universitātes karjeras pakalpojumu birojs veica randomizētā kontroles izmēģinājuma vidū 10000 studentu ieved viņu pēdējo gadu skolā. Bezmaksas abonementu ar unikālu log-in informāciju tika nosūtīts, izmantojot ekskluzīvu-pasta ielūgumu uz 5000 no nejauši izvēlētiem studenti, bet pārējie 5000 studenti kontroles grupā, un nav abonementu. Divpadsmit mēnešus vēlāk, pēcpārbaude aptauja (bez atbilžu), redzams, ka gan apstrādes un kontroles grupās, 70% studentu ir nodrošināta pilna laika darbu savā izvēlētajā jomā (4.5 tabula). Tādējādi, šķiet, ka tīmekļa pakalpojums neietekmēja.
Tomēr gudrs datu zinātnieks universitātē paskatījās datu mazliet ciešāk un konstatēja, ka tikai 20% no studentu terapijas grupā kādreiz pieteicies kontā, saņemot e-pastu. Tālāk, un nedaudz pārsteidzoši, starp tiem, kas ir pieteicies mājas lapā tikai 60% bija nodrošināti pilna laika darbu savā izvēlētajā jomā, kas bija zemāka par likmi cilvēki, kas nav Pieteikties un zemāka par likmi cilvēku kontroles nosacījums (4.6 tabula).
Padoms: Šis jautājums pārsniedz materiāla, uz šajā nodaļā, bet pievēršas kopējas eksperimentos. Šī eksperimenta dizainu veidu dažkārt sauc pamudinājums dizains, jo dalībnieki tiek mudināti iesaistīties ārstēšanā. Šī problēma ir piemērs tam, ko sauc par vienpusēja neatbilstība (sk Gerber and Green (2012) , Ch. 5)
[ ] Pēc padziļinātas izpētes, izrādās, ka aprakstīts iepriekšējā jautājumā eksperiments bija vēl sarežģītāka. Izrādās, ka 10% no cilvēku kontroles grupā maksā par piekļuvi pakalpojumam, un tie beidzās ar nodarbinātības līmeni 65% apmērā (4,7 tabula).
Padoms: Šis jautājums pārsniedz materiāla, uz šajā nodaļā, bet pievēršas kopējas eksperimentos. Šī problēma ir piemērs tam, ko sauc par divpusējo neatbilstība (sk Gerber and Green (2012) , Ch. 6)
grupa | Izmērs | nodarbinātības līmenis |
---|---|---|
Piešķirts piekļuvi mājas lapā | 5000 | 70% |
Nepiešķīra piekļuvi mājas lapā | 5000 | 70% |
grupa | Izmērs | nodarbinātības līmenis |
---|---|---|
Piešķir piekļuvi tīmekļa vietni un pieteicies | 1,000 | 60% |
Nodrošināta piekļuve mājas lapā un nekad pieteicies | 4000 | 85% |
Nepiešķīra piekļuvi mājas lapā | 5000 | 70% |
grupa | Izmērs | nodarbinātības līmenis |
---|---|---|
Piešķir piekļuvi tīmekļa vietni un pieteicies | 1,000 | 60% |
Nodrošināta piekļuve mājas lapā un nekad pieteicies | 4000 | 72,5% |
Nepiešķīra piekļuvi mājas lapā un par to maksā | 500 | 65% |
Nepiešķīra piekļuvi mājas lapā un nav jāmaksā par to | 4500 | 70,56% |