[ , ] Berinsky na wafanyakazi wenzake (2012) walipima MTurk kwa sehemu kwa kuiga majaribio matatu ya kawaida. Piga magonjwa ya kawaida ya Asia ya kutengeneza majaribio na Tversky and Kahneman (1981) . Je! Matokeo yako yanafanana na Tversky na Kahneman? Je! Matokeo yako yanafanana na Berinsky na wenzake? Nini-kama chochote-hii inatufundisha kuhusu kutumia MTurk kwa majaribio ya uchunguzi?
[ , ] Katika karatasi fulani ya lugha-ya-shavu yenye jina la "Tunapaswa Kuvunja," mwanasaikolojia wa kijamii Robert Cialdini, mmoja wa waandishi wa Schultz et al. (2007) , aliandika kwamba alikuwa akiondoka mapema kutoka kazi yake kama profesa, kwa sababu ya changamoto alizokabiliana na majaribio ya shamba kwa nidhamu (saikolojia) ambayo inafanya hasa majaribio ya maabara (Cialdini 2009) . Soma karatasi ya Cialdini, na kumwandikia barua pepe ikimwomba afanyie tena upungufu wake kutokana na uwezekano wa majaribio ya digital. Tumia mifano maalum ya utafiti ambayo inashughulikia wasiwasi wake.
[ ] Ili kuamua kama mafanikio mafupi ya awali ya kufunga au kufutwa, van de Rijt na wenzake (2014) waliingilia katika mifumo minne tofauti inayowapa mafanikio kwa washiriki waliochaguliwa kwa nasibu, na kisha kupima matokeo ya muda mrefu ya mafanikio haya ya kiholela. Je! Unafikiri juu ya mifumo mingine ambayo unaweza kukimbia majaribio sawa? Tathmini mifumo hii kwa suala la masuala ya thamani ya kisayansi, usumbufu wa algorithmic (tazama sura ya 2), na maadili.
[ , ] Matokeo ya jaribio yanaweza kutegemea washiriki. Kujenga jaribio na kisha kukimbia kwenye MTurk kwa kutumia mikakati miwili ya kuajiri. Jaribu kuchukua mikakati ya majaribio na uajiri ili matokeo yatakuwa tofauti iwezekanavyo. Kwa mfano, mikakati yako ya ajira inaweza kuwaajiri washiriki asubuhi na jioni au kuwapa fidia washiriki walio na malipo ya juu na ya chini. Aina hizi za tofauti katika mkakati wa kuajiri zinaweza kusababisha mabwawa mbalimbali ya washiriki na matokeo tofauti ya majaribio. Matokeo yako yalikuwa tofauti tofauti? Je! Hiyo inadhihirisha nini kuhusu majaribio ya maturk kwenye MTurk?
[ , , ] Fikiria kwamba ulikuwa ukijaribu jaribio la kuambukizwa kihisia (Kramer, Guillory, and Hancock 2014) . Tumia matokeo kutoka kwa utafiti wa awali uliofanywa na Kramer (2012) ili kuamua idadi ya washiriki katika kila hali. Masomo haya mawili hayalingani kikamilifu ili uhakikishe wazi orodha ya mawazo yote unayofanya:
[ , , ] Jibu swali la awali tena, lakini wakati huu badala ya kutumia utafiti wa awali wa Kramer (2012) , tumia matokeo kutoka kwa jaribio la awali la asili na Lorenzo Coviello et al. (2014) .
[ ] Wote Margetts et al. (2011) na van de Rijt et al. (2014) walifanya majaribio kuchunguza mchakato wa watu kusaini ombi. Linganisha na kulinganisha miundo na matokeo ya masomo haya.
[ ] Dwyer, Maki, and Rothman (2015) walifanya majaribio mawili ya shamba juu ya uhusiano kati ya kanuni za jamii na tabia ya mazingira ya mazingira. Hapa ni abstract ya karatasi yao:
"Je, sayansi ya kisaikolojia inaweza kutumika jinsi gani ili kuhimiza tabia ya proenvironmental? Katika masomo mawili, hatua za lengo la kukuza tabia za uhifadhi wa nishati katika bafu za umma zimezingatia ushawishi wa kanuni zinazoelezea na wajibu wa kibinafsi. Katika Somo la 1, hali ya mwanga (yaani, juu au mbali) ilifanyika kabla ya mtu kuingia kwenye bafuni ya umma isiyokuwa na usalama, akiashiria hali ya kawaida ya mazingira hayo. Washiriki walikuwa na uwezekano mkubwa wa kurejea taa ikiwa walikuwa wameingia wakati walipoingia. Katika Somo la 2, hali ya ziada ilijumuishwa ambayo kawaida ya kuzima mwanga ilionyeshwa na kikundi, lakini washiriki hawakuwajibika kwa kugeuka. Ujibu wa kibinafsi ulionyesha uathiri wa kanuni za kijamii juu ya tabia; wakati washiriki hawakuwa na jukumu la kugeuza mwanga, ushawishi wa kawaida ulipungua. Matokeo haya yanaonyesha jinsi kanuni zinazoelezea na uwajibikaji binafsi zinaweza kudhibiti ufanisi wa hatua za proenvironmental. "
Soma karatasi zao na uundaji wa kujifunza 1.
[ , ] Jenga swali la awali, sasa fanya mpango wako.
[ ] Kumekuwa na mjadala mkubwa juu ya majaribio kwa kutumia washiriki walioajiriwa kutoka MTurk. Kwa sambamba, pia imekuwa na mjadala mkubwa juu ya majaribio kwa kutumia washiriki walioajiriwa kutoka kwa wanafunzi wa shahada ya wanafunzi. Andika memo ya ukurasa wa mbili na kulinganisha na Waturuki na wanafunzi wa kwanza kama washiriki wa utafiti. Ulinganisho wako unapaswa kuhusisha majadiliano ya masuala yote ya sayansi na vifaa.
[ Kitabu cha Jim Manzi cha Udhibiti (2012) ni utangulizi wa ajabu wa nguvu za majaribio katika biashara. Katika kitabu alielezea hadithi ifuatayo:
"Nilikuwa mara moja katika mkutano na mtaalamu wa kweli wa bwana, billionaire mwenye kujitengeneza ambaye alikuwa na kina kirefu, kikubwa cha kuzingatia nguvu za majaribio. Kampuni yake ilitumia rasilimali muhimu kujaribu kujenga maonyesho makubwa ya dirisha ambayo ingewavutia watumiaji na kuongeza mauzo, kama hekima ya kawaida ilisema wanapaswa. Wataalam wamejaribu kubuni kwa uangalifu baada ya kubuni, na katika vikao vya ukaguzi wa kila mtu kwa kipindi cha miaka hazikuonyesha athari kubwa ya causal ya kila kubuni mpya ya kuonyesha kwenye mauzo. Wafanyabiashara wakuu na wauzaji wa bidhaa walikutana na Mkurugenzi Mtendaji kuchunguza matokeo haya ya mtihani wa kihistoria kwa toto. Baada ya kuwasilisha takwimu zote za majaribio, walihitimisha kuwa hekima ya kawaida ilikuwa mbaya - kwamba maonyesho ya madirisha hayataendesha mauzo. Kazi yao ilipendekeza ili kupunguza gharama na juhudi katika eneo hili. Hii ilionyesha wazi uwezo wa majaribio ya kuharibu hekima ya kawaida. Jibu la Mkurugenzi Mtendaji lilikuwa rahisi: 'Hitimisho langu ni kwamba wabunifu wako sio mzuri sana.' Suluhisho lake lilikuwa kuongeza juhudi katika kubuni maonyesho ya kuhifadhi, na kupata watu wapya kufanya hivyo. " (Manzi 2012, 158–9)
Ni aina gani ya uhalali ni wasiwasi wa Mkurugenzi Mtendaji?
[ ] Jenga swali la awali, fikiria kuwa ulikuwa kwenye mkutano ambapo matokeo ya majaribio yalijadiliwa. Maswali manne ambayo unaweza kuuliza-moja kwa kila aina ya uhalali (takwimu, kujenga, ndani, na nje)?
[ Bernedo, Ferraro, and Price (2014) walijifunza athari ya miaka saba ya kuingilia maji ya kuokoa maji iliyoelezwa katika Ferraro, Miranda, and Price (2011) (tazama sura ya 4.11). Katika jarida hili, Bernedo na wenzake pia walitaka kuelewa utaratibu wa nyuma ya athari kwa kulinganisha tabia ya kaya ambazo hazijahamia baada ya kutibiwa. Hiyo ni, takriban, walijaribu kuona kama matibabu yaliathiri nyumba au mwenye nyumba.
[ ] Katika kufuatilia Schultz et al. (2007) , Schultz na wenzake walifanya mfululizo wa majaribio matatu juu ya athari za kanuni (Schultz, Khazian, and Zaleski 2008) juu ya tabia tofauti ya mazingira (rejea ya kutumia tena) katika mazingira mawili (hoteli na timeshare condominium) (Schultz, Khazian, and Zaleski 2008) .
[ ] Kwa kukabiliana na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) waliendesha mfululizo wa majaribio kama ya maabara ili kujifunza muundo wa bili za umeme. Hapa ndio jinsi wanavyoielezea katika abstract:
Katika jaribio la msingi la utafiti, kila mshiriki aliona muswada wa umeme wa kudhani kwa familia yenye matumizi ya umeme ya juu, kufunua taarifa kuhusu (a) matumizi ya kihistoria, (b) kulinganisha na majirani, na (c) matumizi ya kihistoria na kuvunjika kwa vifaa. Washiriki waliona aina zote za habari katika moja ya miundo mitatu ikiwa ni pamoja na (a) meza, (b) grafu za bar, na (c) grafu za picha. Tunaripoti juu ya matokeo makuu matatu. Kwanza, walaji walielewa kila aina ya habari za matumizi ya umeme zaidi wakati ilipotolewa katika meza, labda kwa sababu meza zinawezesha kusoma rahisi. Pili, mapendekezo na nia ya kuokoa umeme ni nguvu zaidi kwa maelezo ya matumizi ya kihistoria, bila kujitegemea. Tatu, watu wenye elimu ya chini ya nishati walielewa habari zote chini. "
Tofauti na masomo mengine ya kufuatilia, matokeo makuu ya riba katika Canfield, Bruin, and Wong-Parodi (2016) tabia, si tabia halisi. Nguvu na udhaifu wa aina hii ya utafiti katika mpango mpana wa utafiti wa kukuza nishati ya nishati?
[ , ] Smith and Pell (2003) waliwasilisha meta-uchambuzi wa tafiti zinazoonyesha ufanisi wa parachuti. Walihitimisha:
"Kama ilivyo na hatua nyingi za kuzuia afya mbaya, ufanisi wa parachuti haijawahi kutathmini kwa ukali kwa kutumia majaribio ya kudhibitiwa na randomized. Wanasheria wa madawa ya msingi ya ushahidi wamekosoa kupitishwa kwa hatua zilizopimwa kwa kutumia data tu ya uchunguzi. Tunadhani kwamba kila mtu anaweza kufaidika kama wahusika wengi wenye nguvu wa dawa ya msingi ya ushahidi walipangwa na kushiriki katika jaribio la mara mbili la vipofu, randomized, kudhibitiwa kwa placebo, crossover ya parachute. "
Andika gazeti linalofaa kwa gazeti la jumla la wasomaji, kama vile New York Times , wakiongea dhidi ya kupitishwa kwa ushahidi wa majaribio. Kutoa mifano maalum, halisi. Maelezo: Angalia Pia Deaton (2010) na Bothwell et al. (2016) .
[ , , ] Wachambuzi wa tofauti kati ya tofauti ya athari ya matibabu wanaweza kuwa sahihi zaidi kuliko wasimamizi wa tofauti-katika-maana. Andika mjumbe kwa mhandisi anayesimamia upimaji wa A / B katika mwanzo wa kampuni ya vyombo vya habari vya kijamii kuelezea thamani ya njia tofauti-tofauti-tofauti kwa ajili ya kufanya jaribio la mtandaoni. Memo inapaswa kujumuisha taarifa ya tatizo, intuition fulani kuhusu hali ambayo mchezajiji wa tofauti-tofauti-tofauti atasimamia mlinganishi wa tofauti-in-mean, na utafiti wa simulation rahisi.
[ , ] Gary Loveman alikuwa profesa katika Shule ya Biashara ya Harvard kabla ya kuwa Mkurugenzi Mtendaji wa Harrah's, mojawapo ya makampuni makubwa zaidi duniani. Alipokuwa akihamia Harrah, Loveman alibadilisha kampuni hiyo na mpango wa uaminifu wa mara kwa mara-kama vile ulikusanya kiasi kikubwa cha data kuhusu tabia ya wateja. Juu ya mfumo huu wa kupima daima, kampuni ilianza kuendesha majaribio. Kwa mfano, wanaweza kuendesha jaribio la kuchunguza athari za coupon kwa usiku wa hoteli ya bure kwa wateja wenye muundo maalum wa kamari. Hapa ni jinsi Loveman alivyoelezea umuhimu wa majaribio kwa mazoezi ya biashara ya kila siku ya Harrah:
"Ni kama husababishi wanawake, huna kuiba, na unapaswa kuwa na kikundi cha kudhibiti. Hii ni moja ya mambo ambayo unaweza kupoteza kazi yako kwa Harrah-sio kuendesha kikundi cha kudhibiti. " (Manzi 2012, 146)
Andika barua pepe kwa mfanyakazi mpya anaelezea kwa nini Upendo anafikiria ni muhimu kuwa na kikundi cha kudhibiti. Unapaswa kujaribu kuingiza mfano-ama kweli au uliofanywa-kuonyesha mfano wako.
[ , Jaribio jipya lina lengo la kukadiria athari za kupokea kuwakumbusha ujumbe wa maandishi juu ya upatikanaji wa chanjo. Kliniki mia moja na hamsini, kila mmoja aliye na wagonjwa 600 wanaostahili, ni tayari kushiriki. Kuna gharama maalum ya dola 100 kwa kila kliniki unayotaka kufanya kazi nayo, na gharama ya $ 1 kwa kila ujumbe wa maandishi unayotaka kutuma. Zaidi ya hayo, kliniki zozote ambazo unafanya kazi nazo zitapima matokeo (kama mtu alipata chanjo) bila malipo. Fikiria kwamba una bajeti ya $ 1,000.
[ , Tatizo kubwa kwa kozi za mtandaoni ni attrition: wanafunzi wengi ambao huanza kozi huchukua kuacha. Fikiria kwamba unafanya kazi kwenye jukwaa la kujifunza mtandaoni, na mtengenezaji kwenye jukwaa ameunda bar ya maendeleo inayoonekana ambayo anafikiri itasaidia kuzuia wanafunzi kutoka kuacha shule. Unataka kupima matokeo ya bar ya maendeleo kwa wanafunzi katika kozi kubwa ya somo la sayansi ya kijamii. Baada ya kushughulikia masuala yoyote ya kimaadili ambayo yanaweza kutokea katika jaribio, wewe na wenzako hujitahidi kuwa kozi hiyo inaweza kuwa na wanafunzi wa kutosha ili kuchunguza kwa uaminifu madhara ya bar ya maendeleo. Katika mahesabu yafuatayo, unaweza kudhani kuwa nusu ya wanafunzi watapata bar ya maendeleo na nusu sio. Zaidi ya hayo, unaweza kudhani kuwa hakuna kuingiliwa. Kwa maneno mengine, unaweza kudhani kwamba washiriki wanaathiriwa tu kama walipokea matibabu au udhibiti; hazifanyika kwa kuwa watu wengine walipata matibabu au kudhibiti (kwa ufafanuzi zaidi rasmi, angalia sura ya 8 ya Gerber and Green (2012) ). Kuweka wimbo wa mawazo yoyote ya ziada unayofanya.
[ , , ] Fikiria kuwa unafanya kazi kama mwanasayansi wa data katika kampuni ya tech. Mtu kutoka idara ya uuzaji anaomba msaada wako katika kutathmini jaribio ambalo wanapanga ili kupima kurudi kwenye uwekezaji (ROI) kwa kampeni mpya ya matangazo ya mtandaoni. ROI hufafanuliwa kama faida halisi kutoka kampeni imegawanywa na gharama ya kampeni. Kwa mfano, kampeni ambayo haikuwa na athari kwenye mauzo ingekuwa na ROI ya -100%; kampeni ambapo faida zilizozalishwa zilikuwa sawa na gharama zitakuwa na ROI ya 0; na kampeni ambapo faida zilizozalishwa mara mbili gharama itakuwa ROI ya 200%.
Kabla ya kuanzisha jaribio, idara ya uuzaji inakupa maelezo yafuatayo kulingana na utafiti wao wa awali (kwa kweli, maadili haya ni ya kawaida ya kampeni halisi ya matangazo ya mtandaoni yaliyoripotiwa katika Lewis na Rao (2015) ):
Andika memo kutathmini jaribio hili lililopendekezwa. Memo yako inapaswa kutumia ushahidi kutoka kwa simulation kwamba kujenga, na inapaswa kushughulikia masuala mawili makubwa: (1) Ungependekeza kupitisha jaribio hili kama ilivyopangwa? Ikiwa ndivyo, kwa nini? Ikiwa sio, kwa nini sio? Hakikisha kuwa wazi juu ya vigezo unayotumia kufanya uamuzi huu. (2) Ni ukubwa wa sampuli gani ungependekeza kwa jaribio hili? Tena tafadhali hakikisha kuwa wazi juu ya vigezo unayotumia kufanya uamuzi huu.
Memo nzuri itashughulikia kesi hii maalum; memo bora itazalisha kutoka kwa kesi hii kwa njia moja (kwa mfano, kuonyesha jinsi uamuzi umebadilika kama kazi ya ukubwa wa athari za kampeni); na memo kubwa itawasilisha matokeo kamili ya jumla. Memo yako inapaswa kutumia grafu kusaidia kuonyesha matokeo yako.
Hapa kuna mawazo mawili. Kwanza, idara ya uuzaji inaweza kukupa habari zisizohitajika, na huenda wameshindwa kukupa maelezo muhimu. Pili, ikiwa unatumia R, tahadhari kuwa kazi ndogo () haina kazi kama watu wengi wanatarajia.
Shughuli hii itakupa mazoezi kwa uchanganuzi wa nguvu, kuunda simuleringar, na kuzungumza matokeo yako kwa maneno na grafu. Inapaswa kukusaidia kufanya uchambuzi wa nguvu kwa aina yoyote ya majaribio, si tu majaribio yaliyopangwa ili kukadiria ROI. Shughuli hii inadhani kuwa una uzoefu na kupima takwimu na uchambuzi wa nguvu. Ikiwa haujui na uchambuzi wa nguvu, ninapendekeza kwamba usome "Primer Power" na Cohen (1992) .
Shughuli hii ilifuatiwa na karatasi yenye kupendeza na RA Lewis and Rao (2015) , ambayo inaonyesha kikamilifu kiwango cha msingi cha takwimu za majaribio makubwa. Karatasi yao-ambayo ilikuwa na kichwa cha kusisimua "Kwenye Uwezekano wa Karibu wa Kupima Kurudi kwa Utangazaji" -naonyesha jinsi vigumu kupima kurudi kwenye uwekezaji wa matangazo ya mtandaoni, hata kwa majaribio ya digital yanayohusisha mamilioni ya wateja. Kwa ujumla, RA Lewis and Rao (2015) zinaonyesha ukweli wa msingi wa takwimu ambao ni muhimu kwa majaribio ya umri wa digital: ni vigumu kukadiria madhara madogo ya matibabu kati ya data ya matokeo ya pigo.
[ , ] Fanya sawa na swali la awali, lakini, badala ya simulation, unapaswa kutumia matokeo ya uchambuzi.
[ , , ] Fanya sawa na swali la awali, lakini tumia mchanganyiko wote na matokeo ya uchambuzi.
[ , , ] Fikiria kuwa umeandika memo iliyoelezwa hapo juu, na mtu kutoka idara ya uuzaji hutoa kipande kimoja cha habari mpya: wanatarajia uwiano wa 0.4 kati ya mauzo kabla na baada ya jaribio. Je! Mabadiliko haya yanapendekezwaje katika memo yako? (Maelezo: tazama kifungu cha 4.6.2 kwa zaidi juu ya mkaguzi wa makadirio ya tofauti-na-tofauti na tofauti-tofauti-makadirio.)
[ , ] Ili kuchunguza ufanisi wa programu mpya ya msingi ya huduma za ajira, chuo kikuu kilifanya jaribio la udhibiti randomized kati ya wanafunzi 10,000 wanaoingia mwaka wao wa mwisho wa shule. Usajili wa bure na habari ya kipekee ya kuingia kwenye akaunti ilipelekwa kupitia mwaliko wa kipekee wa barua pepe kwa wanafunzi 5,000 waliochaguliwa kwa hiari, wakati wanafunzi wengine 5,000 walikuwa katika kundi la udhibiti na hawakuwa na usajili. Miezi kumi na miwili baadaye, uchunguzi wa kufuatilia (bila uhaba) ulionyesha kuwa katika makundi yote ya matibabu na udhibiti, wanafunzi 70% walipata kazi ya wakati wote katika shamba lao waliochaguliwa (meza 4.6). Kwa hivyo, ilionekana kuwa huduma ya mtandao haikuwa na athari.
Hata hivyo, mwanasayansi wa data mwenye ujanja katika chuo kikuu aliangalia data karibu sana na akagundua kuwa 20% tu ya wanafunzi katika kundi la matibabu waliingia kwenye akaunti baada ya kupokea barua pepe. Zaidi ya hayo, na kwa kushangaza, kati ya wale ambao waliingia kwenye tovuti hiyo, asilimia 60 tu walipata ajira ya wakati wote katika shamba lao waliochaguliwa, ambayo ilikuwa chini kuliko kiwango cha watu ambao hawakuingia na kupungua kuliko kiwango cha watu katika hali ya kudhibiti (meza 4.7).
Jambo: Swali hili linakwenda zaidi ya nyenzo zilizotajwa katika sura hii, lakini huzungumzia masuala ya kawaida katika majaribio. Aina hii ya kubuni ya majaribio wakati mwingine huitwa design ya kukuza moyo kwa sababu washiriki wanahimizwa kushiriki katika matibabu. Tatizo hili ni mfano wa kile kinachoitwa noncompliance ( upande wa 5 wa Gerber and Green (2012) ).
[ ] Baada ya uchunguzi zaidi, ikawa kwamba jitihada iliyoelezwa katika swali la awali ilikuwa ngumu zaidi. Ilibadilika kuwa asilimia 10 ya watu katika kikundi cha kudhibiti walilipia huduma, na walifikia kiwango cha ajira cha 65% (meza 4.8).
Jambo: Swali hili linakwenda zaidi ya nyenzo zilizotajwa katika sura hii, lakini huzungumzia masuala ya kawaida katika majaribio. Tatizo hili ni mfano wa kile kinachoitwa noncompliance mbili (tazama sura ya 6 ya Gerber and Green (2012) ).
Gundi | Ukubwa | Kiwango cha ajira |
---|---|---|
Ufikiaji wa kweli wa tovuti | 5,000 | 70% |
Haipewa nafasi ya kufikia tovuti | 5,000 | 70% |
Gundi | Ukubwa | Kiwango cha ajira |
---|---|---|
Ufikiaji wa kweli wa tovuti na kuingia | 1,000 | 60% |
Ufikiaji unaofaa wa tovuti na haujaingia kamwe | 4,000 | 72.5% |
Haipewa nafasi ya kufikia tovuti | 5,000 | 70% |
Gundi | Ukubwa | Kiwango cha ajira |
---|---|---|
Ufikiaji wa kweli wa tovuti na kuingia | 1,000 | 60% |
Ufikiaji unaofaa wa tovuti na haujaingia kamwe | 4,000 | 72.5% |
Haipewa nafasi ya kufikia tovuti na kulipwa | 500 | 65% |
Haipewa fursa ya kufikia tovuti na haukulipa | 4,500 | 70.56% |