muhimu:
[ , ] Berinsky na wenzake (2012) kutathmini Mitambo Turk kwa sehemu na kujinakilisha tatu classic majaribio. Kuiga classic Asia Magonjwa kutunga majaribio na Tversky and Kahneman (1981) . Je, matokeo yako mechi Tversky na Kahneman ya? Je, matokeo yako mechi Berinsky na wenzake? Nini-kama kitu chochote-hii inatufundisha kuhusu kutumia Mitambo Turk kwa ajili ya majaribio ya utafiti?
[ , ] Katika kiasi fulani ulimi-katika-shavu karatasi yenye jina la "Sisi Je kwa Break Up," mwanasaikolojia kijamii Robert Cialdini, mmoja wa waandishi wa Schultz et al. (2007) , aliandika kwamba alikuwa kustaafu mapema kutokana na kazi yake kama profesa, katika sehemu kwa sababu ya changamoto yeye wanakabiliwa kufanya majaribio uwanja katika nidhamu (saikolojia) kwamba hasa inafanya majaribio ya maabara (Cialdini 2009) . Kusoma Cialdini ya karatasi, na kumwandikia barua pepe akimtaka upya wake kuvunja-up katika mwanga wa uwezekano wa majaribio digital. Kutumia mifano maalum ya utafiti kwamba kushughulikia malalamiko yake.
[ ] Ili kuamua iwapo ndogo mafanikio ya awali kufuli-katika au ataangamizwa, van de Rijt na na wenzake (2014) aliingilia kati katika mifumo nne tofauti bestowing ya mafanikio katika washiriki nasibu kuchaguliwa, na kisha kipimo na athari ya muda mrefu ya mafanikio haya holela. Je, unaweza kufikiria mifumo mingine ambayo unaweza kuendesha majaribio sawa? Kutathmini mifumo hii katika suala la masuala ya thamani ya kisayansi, algorithmic confounding (tazama Sura ya 2), na maadili.
[ , ] Matokeo ya majaribio unaweza wanategemea washiriki. Kujenga majaribio na kisha kuendesha kwenye Amazon Mitambo Turk (MTurk) kwa kutumia mikakati mbili tofauti ajira. Jaribu kuchukua majaribio na kuajiri mikakati ili matokeo itakuwa kama mbalimbali kama iwezekanavyo. Kwa mfano, mikakati yako kuajiri inaweza kuwa kuwaajiri washiriki asubuhi na jioni au fidia washiriki na kulipa juu na chini. Hizi ni aina ya tofauti katika mkakati wa kuajiri inaweza kusababisha mabwawa mbalimbali ya washiriki na matokeo tofauti majaribio. Jinsi tofauti gani matokeo yako kugeuka nje? Je, hiyo yatangaza kuhusu mbio majaribio juu MTurk?
[ , , , ] Fikiria kwamba ungekuwa mipango Emotional Contagion utafiti (Kramer, Guillory, and Hancock 2014) . Kutumia matokeo ya utafiti wa awali za uchunguzi na Kramer (2012) kuamua idadi ya washiriki katika kila hali hiyo. Masomo haya mawili si mechi kikamilifu ili kuwa na uhakika wa wazi orodha mawazo yote wewe kufanya:
[ , , , ] Jibu swali hapo juu, lakini badala ya kutumia utafiti mapema uchunguzi na Kramer (2012) kutumia matokeo kutoka mapema majaribio ya asili na Coviello et al. (2014) .
[ ] Wote Rijt et al. (2014) na Margetts et al. (2011) wote kufanya majaribio kwamba kujifunza mchakato wa watu kusaini dua. Kulinganisha na kulinganisha kubuni na matokeo ya tafiti hizo.
[ ] Dwyer, Maki, and Rothman (2015) uliofanywa majaribio uwanja mbili juu ya uhusiano kati kanuni za kijamii na tabia proenvironmental. Hapa ni abstract ya karatasi zao:
"Jinsi gani sayansi ya kisaikolojia kuwa itatumika kuhamasisha tabia proenvironmental? Katika tafiti mbili, hatua zenye lengo la kukuza uhifadhi wa nishati tabia katika bafu ya umma kuchunguza mvuto wa kanuni za maelezo na wajibu wa kibinafsi. Katika somo la 1, hadhi mwanga (yaani, juu au mbali) alikuwa manipulated kabla ya mtu aliingia unoccupied bafuni umma, dalili ya kawaida maelezo kwa ajili ya kuweka hiyo. Washiriki walikuwa kikubwa zaidi uwezekano wa kugeuka taa mbali kama walikuwa mbali walipoingia. Katika kifani 2, hali ziada ilikuwa ni pamoja na katika ambayo kawaida ya kugeuka mbali mwanga alikuwa alionyesha kwa makundi bali washiriki hawakuwa wenyewe kuwajibika kwa kumfanya juu. Binafsi wajibu moderated ushawishi wa kanuni za kijamii juu ya tabia; wakati washiriki walikuwa si kuwajibika kwa kurudia kwenye mwanga, ushawishi wa kawaida ilikuwa kupungua. Matokeo haya yanaonyesha jinsi maelezo kanuni na wajibu wa kibinafsi inaweza kudhibiti ufanisi wa hatua proenvironmental. "
Kusoma karatasi zao na kubuni replication ya utafiti 1.
[ , ] Kujenga juu ya swali uliopita, sasa kutekeleza mpango wako.
[ ] Kumekuwa na mjadala mkubwa kuhusu majaribio kutumia washiriki kuajiri kutoka Amazon Mitambo Turk. Sambamba, pia kumekuwa mjadala mkubwa kuhusu majaribio kutumia washiriki kuajiri kutoka wakazi wa shahada ya kwanza mwanafunzi. Kuandika mbili ukurasa memo kulinganisha na tofauti Turkers na wanafunzi wa vyuo vikuu kama watafiti washiriki. kulinganisha yako ni pamoja na majadiliano ya masuala yote ya sayansi na vifaa.
[ Kitabu] Jim Manzi ya usiodhibitiwa (2012) ni kuanzishwa ajabu katika nguvu ya majaribio katika biashara. Katika kitabu yeye ilipeleka hadithi hii:
"Mimi mara kwa mara nyingine katika mkutano na kweli biashara fikra, binafsi alifanya billionaire ambaye alikuwa kina, Intuitive understating ya madaraka ya majaribio. Kampuni yake alitumia rasilimali muhimu kujaribu kujenga kubwa maonyesho dirisha kuhifadhi kwamba itakuwa kuvutia wateja na ongezeko mauzo, kama hekima ya kawaida alisema wao lazima. Wataalam makini majaribio kubuni baada ya kubuni, na katika vikao vya binafsi mtihani mapitio kwa kipindi cha miaka naendelea kuonyesha hakuna causal athari kubwa ya kila kuonyesha kubuni mpya juu ya mauzo. Senior masoko na merchandising watendaji alikutana na Mkurugenzi Mtendaji wa mapitio ya matokeo haya ya kihistoria mtihani katika toto. Baada ya kuwasilisha yote ya data ya majaribio, wao alihitimisha kuwa hekima ya kawaida ilikuwa na makosa-kwamba dirisha maonyesho si gari mauzo. kitendo chao ilipendekeza mara ili kupunguza gharama na juhudi katika eneo hili. Hii kasi alionyesha uwezo wa majaribio ya kugeuza hekima ya kawaida. majibu Mkurugenzi Mtendaji wa ilikuwa rahisi: 'hitimisho langu ni kwamba wabunifu yako si nzuri sana.' Ufumbuzi wake lilikuwa kuongeza juhudi katika kuhifadhi kuonyesha kubuni, na kupata watu wapya kufanya hivyo. " (Manzi 2012, 158–9)
Ni aina ya uhalali ni wasiwasi wa Mkurugenzi Mtendaji?
[ ] Kujenga juu ya swali uliopita, kufikiria kwamba wewe walikuwa kwenye mkutano ambapo matokeo ya majaribio yalijadiliwa. ni maswali manne ambayo unaweza kuuliza, moja kwa kila aina ya uhalali (takwimu, kujenga, ya ndani na nje) ni nini?
[ ] Bernedo, Ferraro, and Price (2014) masomo saba mwenye umri wa athari za maji kuokoa kuingilia ilivyoelezwa katika Ferraro, Miranda, and Price (2011) (ona Kielelezo 4.10). Katika mada hii, Bernedo na wenzake pia kutafuta kuelewa utaratibu nyuma athari kwa kulinganisha tabia ya kaya ambazo zina na si wakiongozwa baada ya matibabu alitolewa. Yaani, takribani, wanajaribu kuona kama matibabu wanashikiliwa nyumbani au mmiliki wa nyumba.
[ ] Katika unafuatia Schultz et al. (2007) , Schultz na wenzake kufanya mfululizo wa majaribio tatu kuhusu athari za kanuni za maelezo na injunctive juu ya tabia tofauti ya mazingira (kitambaa utumiaji) katika mazingira mawili (hoteli na boende condominium) (Schultz, Khazian, and Zaleski 2008) .
[ ] Katika kukabiliana na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) mbio mfululizo wa majaribio ya maabara-kama kujifunza mpango wa bili za umeme. Hapa ni jinsi gani wao kueleza ni katika abstract:
"Katika majaribio ya utafiti yenye makao yake, kila mshiriki aliona muswada hypothetical umeme kwa ajili ya familia na matumizi ya juu kiasi umeme, kufunika habari kuhusu (a) matumizi ya kihistoria, (b) kulinganisha na majirani, na (c) matumizi ya kihistoria na appliance kuvunjika. Washiriki waliona aina zote habari katika moja ya tatu miundo ikiwa ni pamoja na (a) meza, (b) bar grafu, na (c) grafu icon. Sisi kutoa taarifa ya utafiti kuu tatu. Kwanza, walaji kuelewa kila aina ya umeme kutumia maelezo zaidi wakati ilikuwa iliyotolewa katika meza, labda kwa sababu meza kuwezesha rahisi hatua kusoma. Pili, upendeleo na nia ya kuokoa umeme walikuwa nguvu kwa kihistoria matumizi ya habari, uhuru wa format. Tatu, watu binafsi na chini ya kusoma na kuandika nishati kueleweka taarifa zote chini. "
Tofauti na wengine kufuatilia zilizofanywa, matokeo kuu ya riba katika Canfield, Bruin, and Wong-Parodi (2016) ni taarifa ya tabia si tabia halisi. ni uwezo na udhaifu wa aina hii ya utafiti katika utafiti mkakati mpana zaidi kukuza akiba ya nishati ni nini?
[ , ] Smith and Pell (2003) ni satirical Uchambuzi wa matokeo ya tafiti kuonyesha ufanisi wa miamvuli. Wanatamatisha:
"Kama ilivyo kwa hatua nyingi nia ya kuzuia magonjwa, ufanisi wa miamvuli haijawahi wanakabiliwa na tathmini ya ukali kwa kutumia majaribio yaliyodhibitiwa. Mawakili wa dawa ushahidi makao na kukosoa kupitishwa kwa hatua tathmini na kutumia data tu za uchunguzi. Tunadhani kwamba kila mtu anaweza kufaidika kama wahusika wakuu wengi wenye msimamo mkali wa dawa ushahidi makao kupangwa na walishiriki katika kipofu mara mbili, randomized, Aerosmith kudhibitiwa, crossover kesi ya parachute. "
Kuandika op-ed mzuri kwa ajili ya gazeti ujumla wasomaji, kama vile New York Times, akisema dhidi fetishization ya ushahidi majaribio. Kutoa maalum, mifano halisi. Hint: Tazama pia, Bothwell et al. (2016) na Deaton (2010)
[ , , ] Tofauti-katika-tofauti estimators ya athari matibabu inaweza kuwa sahihi zaidi kuliko tofauti-katika-maana estimators. Kuandika memo na mhandisi msimamizi wa A / B kupima katika vyombo vya habari kijamii kampuni ya kuanza kueleza thamani ya tofauti-katika-tofauti mbinu kwa ajili ya kuendesha online majaribio. memo lazima ni pamoja na taarifa ya tatizo, baadhi Intuition kuhusu hali ya chini ambayo tofauti-katika-tofauti estimator outperform tofauti-katika-maana estimator, na utafiti rahisi simulation.
[ , ] Gary Loveman alikuwa profesa katika Harvard Business School kabla ya kuwa Mkurugenzi Mtendaji wa Harrah ya, moja ya kampuni kubwa casino katika dunia. Wakati alihamia Harrah ya, Loveman kubadilishwa kampuni na mara kwa mara flier-kama programu ya uaminifu kwamba zilizokusanywa kubwa kiasi ya data kuhusu tabia ya wateja. Juu ya mfumo huu daima-on kipimo, kampuni ya kuanza mbio majaribio. Kwa mfano, wanaweza kuendesha majaribio kutathmini athari za kuponi kwa ajili ya bure hoteli usiku kwa wateja na maalum kamari mfano. Hapa ni jinsi gani Loveman ilivyoelezwa umuhimu wa majaribio kwa mazoea Harrah ya kila siku ya biashara:
"Ni kama huna kuwanyanyasa wanawake, huna kuiba, na nimepata kuwa na kundi la kudhibiti. Hii ni moja ya mambo ambayo unaweza kupoteza kazi yako kwa utafutaji Harrah's-si mbio kundi la kudhibiti. " (Manzi 2012, 146)
Kuandika barua pepe kwa mfanyakazi mpya akielezea ni kwa nini Loveman anadhani ni muhimu sana kuwa na kundi la kudhibiti. Unapaswa kujaribu ni pamoja na mfano-ama kweli au alifanya up-to kuelezea hatua yako.
[ , ] Majaribio mpya ina lengo la kukadiria athari za kupokea kuwakumbusha ujumbe wa maandishi juu ya chanjo matumizi. 150 kliniki, kila mmoja kwa wagonjwa 600 na haki, wako tayari kushiriki. Kuna fasta gharama ya dola 100 kwa kila zahanati unataka kufanya kazi na, na ni gharama ya dola 1 kwa kila ujumbe wa maandishi kwamba unataka kutuma. Zaidi ya hayo, kliniki yoyote kwamba wewe ni kufanya kazi na watapima matokeo (kama mtu alipata chanjo) kwa ajili ya bure. Kudhani kuwa wewe kuwa na bajeti ya dola 1,000.
[ , ] Tatizo kubwa na kozi online ni msuguano; wanafunzi wengi kwamba kuanza kozi kuishia kuacha-nje. Fikiria kuwa wewe ni kufanya kazi katika online kujifunza jukwaa, na designer katika jukwaa imeunda Visual maendeleo bar kwamba yeye anadhani itasaidia kuzuia wanafunzi kutoka kuacha shaka. Unataka mtihani athari za maendeleo bar juu ya wanafunzi katika kubwa computational shaka sayansi ya kijamii. Baada ya kushughulikia masuala yoyote ya kimaadili ambayo inaweza kutokea katika majaribio, wewe na wenzako kupata wasiwasi kwamba bila shaka wanaweza kuwa na wanafunzi kutosha reliably kuchunguza madhara ya bar maendeleo. Katika mahesabu chini unaweza kudhani kuwa nusu ya wanafunzi watapata maendeleo bar na nusu si. Zaidi ya hayo, unaweza kudhani kwamba hakuna kuingiliwa. Kwa maneno mengine, unaweza kudhani kuwa washiriki tu walioathirika na kama wao kupokea matibabu au kudhibiti; wao si iliyosababisha na kama watu wengine alipata matibabu au kudhibiti (kwa ufafanuzi rasmi zaidi, angalia Gerber and Green (2012) , Ch. 8). Tafadhali kuweka wimbo wa mawazo yoyote ya ziada ambayo kufanya.
[ , ] Katika karatasi lovely, Lewis and Rao (2015) vividly kuelezea msingi wa takwimu kiwango cha juu ya majaribio hata mkubwa. karatasi-ambayo awali alikuwa na cheo provocative "On Karibu-haiwezekani ya Upimaji Returns kwa matangazo" -Shows jinsi ni vigumu kupima kurudi kwenye uwekezaji wa matangazo online, hata kwa majaribio digital kuwashirikisha mamilioni ya wateja. Zaidi kwa ujumla, karatasi inaonyesha wazi kwamba ni vigumu kukadiria athari ndogo matibabu kukiwa data kelele matokeo. Au alisema diffently, karatasi unaonyesha kuwa inakadiriwa matibabu athari itakuwa na vipindi kubwa kujiamini wakati kiwango-kupotoka athari-to-(\ (\ Frac {\ delta \ bar {y}} {\ sigma} \)) uwiano ni ndogo. muhimu ujumla somo kutoka kwa karatasi hii ni kwamba matokeo kutoka majaribio na ndogo athari-to-kiwango-kupotoka uwiano (kwa mfano, ROI na kampeni ad) watakuwa na unsatisfying. Changamoto yako itakuwa kuandika memo kwa mtu katika idara ya masoko wa kampuni yako evaluting majaribio iliyopangwa kupima ROI ya kampeni ad. memo yako zinapaswa kuungwa mkono na grafu ya matokeo ya simuleringar kompyuta.
Hapa ni baadhi ya taarifa za msingi kwamba unaweza haja. Wote wa maadili haya namba ni mfano wa majaribio halisi ilivyoripotiwa katika Lewis and Rao (2015) :
ROI, ujazo muhimu kwa ajili ya kampeni online ad, inaelezwa kuwa faida halisi kutoka kampeni (faida ya jumla kutoka kampeni ukitoa gharama za kampeni) kugawanywa na gharama za kampeni. Kwa mfano kampeni kwamba hakuwa na athari juu ya mauzo ingekuwa ROI ya -100% na kampeni ambapo faida yanayotokana walikuwa sawa na gharama ingekuwa ROI ya 0.
mauzo ya maana kwa wateja ni $ 7 na kupotoka kiwango cha $ 75.
kampeni hiyo inatarajiwa kuongeza mauzo kwa $ 0.35 per mteja ambayo sambamba na kuongezeka kwa faida ya $ 0,175 kwa wateja. Kwa maneno mengine, pato la kiasi ni 50%.
iliyopangwa ukubwa wa majaribio ni watu 200,000, nusu katika kundi matibabu na nusu katika kundi la kudhibiti.
gharama za kampeni ni $ 0.14 kwa kila mshiriki.
Kuandika memo evaluting jaribio hili. Je, wewe kupendekeza uzinduzi jaribio hili kama ilivyopangwa? Kama ni hivyo, kwa nini? Kama siyo, nini mabadiliko gani wewe kupendekeza?
memo nzuri kushughulikia kesi hii maalum; memo bora itakuwa kujumlisha kutoka kesi hii kwa namna moja (kwa mfano, kuonyesha jinsi mabadiliko uamuzi kama kazi ya uwiano athari-to-kiwango-kupotoka); na memo kubwa atawasilisha matokeo kikamilifu jumla.
[ , ] Je, sawa na swali uliopita, lakini badala ya simulation unapaswa kutumia matokeo ya uchambuzi.
[ , , ] Je, sawa na swali uliopita, lakini kutumia zote mbili simulation na matokeo ya uchambuzi.
[ , , ] Fikiria kwamba umeandika memo ilivyoelezwa hapo juu-kwa kutumia aidha simulation, matokeo ya uchambuzi, au wote wawili-na mtu kutoka idara ya masoko inapendekeza kutumia tofauti-katika-tofauti estimator badala ya tofauti katika njia estimator (tazama sehemu ya 4.6.2) . Kuandika mpya mfupi memo kueleza jinsi 0.4 uwiano kati ya mauzo kabla ya majaribio na mauzo baada ya majaribio bila kubadilisha uamuzi wako.
[ , ] Ili kutathmini ufanisi wa mpya mtandao msingi huduma kazi, kazi chuo kikuu huduma ofisi uliofanywa randomized kudhibiti kesi miongoni mwa wanafunzi 10,000 kuingia mwaka wao wa mwisho wa shule. michango bure na ya kipekee umeingia katika maelezo alitumwa kwa njia ya kipekee email mwaliko wa 5000 ya wanafunzi nasibu kuchaguliwa, wakati mwingine wanafunzi 5,000 ni katika kundi la kudhibiti na hawana michango. Miezi kumi na mbili baadaye, kufuatilia utafiti (na hakuna majibu yasiyo) inaonyesha kwamba katika makundi yote mawili matibabu na udhibiti, 70% ya wanafunzi kuwa kuulinda ya muda ajira katika fani yao waliochaguliwa (Meza 4.5). Hivyo, inaonekana kwamba huduma ya mtandao msingi hakuwa na athari.
Hata hivyo, data wajanja mwanasayansi katika chuo kikuu inaonekana katika data bit kwa karibu zaidi na kugundua kwamba 20% tu ya wanafunzi katika kundi matibabu milele watumiaji katika akaunti baada ya kupokea barua pepe. Zaidi ya hayo, na kwa kiasi fulani ya kushangaza, miongoni mwa wale ambao watumiaji katika tovuti tu 60% umeiwezesha ya muda ajira katika fani yao waliochaguliwa, ambayo ilikuwa chini ya kiwango kwa watu kwamba hakuwa na kuingia katika na chini ya kiwango kwa watu katika hali kudhibiti (Meza 4.6).
Hint: Swali hili inakwenda zaidi ya vifaa kufunikwa katika sura hii, lakini masuala ya kawaida katika majaribio. Aina hii ya kubuni majaribio wakati mwingine inaitwa kubuni faraja kwa sababu washiriki wanahimizwa kushiriki katika matibabu. Tatizo hili ni mfano wa kile kinachoitwa upande mmoja kutofuata (tazama Gerber and Green (2012) , Ch. 5)
[ ] Baada ya uchunguzi zaidi, ni zamu nje kwamba majaribio ilivyoelezwa katika swali uliopita alikuwa hata ngumu zaidi. Ni zinageuka kuwa 10% ya watu katika kundi la kudhibiti kulipwa kwa ajili ya kupata huduma, na wao kuishia na kiwango cha ajira ya 65% (Jedwali 4.7).
Hint: Swali hili inakwenda zaidi ya vifaa kufunikwa katika sura hii, lakini masuala ya kawaida katika majaribio. Tatizo hili ni mfano wa kile kinachoitwa kuwili kutofuata (tazama Gerber and Green (2012) , Ch. 6)
Group | ukubwa | kiwango cha ajira |
---|---|---|
Nafasi ya kupata tovuti | 5,000 | 70% |
Si nafasi ya kupata tovuti | 5,000 | 70% |
Group | ukubwa | kiwango cha ajira |
---|---|---|
Nafasi ya kupata tovuti na watumiaji katika | 1,000 | 60% |
Nafasi ya kupata tovuti na kamwe watumiaji katika | 4,000 | 85% |
Si nafasi ya kupata tovuti | 5,000 | 70% |
Group | ukubwa | kiwango cha ajira |
---|---|---|
Nafasi ya kupata tovuti na watumiaji katika | 1,000 | 60% |
Nafasi ya kupata tovuti na kamwe watumiaji katika | 4,000 | 72.5% |
Si nafasi ya kupata tovuti na kulipwa kwa ajili yake | 500 | 65% |
Si nafasi ya kupata tovuti na hawajalipa kwa ajili yake | 4,500 | 70.56% |