[ , ] Berinsky eta lankideek (2012) ebaluatu MTurkek hiru esperimentu klasiko errepikatuz. Erreplikatu Asiako gaixotasun klasikoen framing esperimentua Tversky and Kahneman (1981) . Zure emaitzak Tversky eta Kahneman-enekin bateragarriak dira? Zure emaitzak Berinsky eta lankideekin bat datoz? Nolanahi ere, horrek erakusten digu MTurk inkesta esperimentuak erabiltzeari buruz?
[ , ] "We Have to Break Up" izeneko paper zertxobait goibel batean, Robert Cialdini psikologo soziala, Schultz et al. (2007) , idatzi zuen irakasle gisa bere lanetik hasita erretiratu zela, batez ere erronkei aurre egin zitzaien esperimentuetan egiten zituen erronkei esker (psikologia), batez ere laborategien esperimentuak egiten (Cialdini 2009) . Irakurri Cialdini-ren papera, eta mezu elektroniko bat idaztea eskatuko dio esperimentuak digitalizatzeko aukerak aztertzeko. Erabili ikerketaren adibide zehatzak bere kezkak zuzentzeko.
[ ] Hasierako arrakasta arrakastatsuak blokeatuta edo desagertzen diren ala ez zehazteko, van Rijt eta lankideek (2014) lau ausazko hautatutako parte hartzaileen arrakasta lortzeko aukera ematen duten lau sistema desberdinetan parte hartu zuten eta arrakasta arbitrario horren eragin luzeak neurtu zituen. Esperimentazio antzekoak exekutatu ditzakezun beste sistema batzuen ustez? Sistemak ebaluatzea balio zientifikoaren, konfuzio algoritmikoaren (ikus 2. kapitulua) eta etikaren inguruko gaietan.
[ , ] Esperimentuaren emaitzak parte-hartzaileen araberakoak izan daitezke. Sortu esperimentu bat eta exekutatu MTurk-en bi kontratazio estrategia desberdinetan. Saiatu esperimentua eta hautaketa estrategiak hautatzeko, emaitzak ahalik eta gehien desberdinak izan daitezen. Esate baterako, zure kontratazio estrategiak goizeko eta arratsaldeetako parte-hartzaileak biltzea izan liteke, edo soldata altu eta baxuko parte-hartzaileak konpentsatzeko. Kontratazio estrategian dauden desberdintasun motak parte-hartzaileen eta emaitza esperimental desberdinen igerilekuak izan litezke. Zein desberdintasun gertatu dira zure emaitzak? Zer erakusten du MTurk-en esperimentuak martxan jartzeko?
[ , , ] Imajinatu Emotional Contagion esperimentu (Kramer, Guillory, and Hancock 2014) plangintza egitea. Kramer (2012) lehenago behaketa-azterketa baten emaitzak erabiltzea, baldintza bakoitzean parte-hartzaile kopurua erabakitzeko. Bi ikasketa horiek ez datoz bat ezin hobeto, beraz, zuk zeuk egin ditzakezun hipotesi guztiak modu esplizituan zerrendatu behar dituzu:
[ , , ] Galdera berriro erantzutea, baina oraingoan Kramer (2012) behaketa-azterketa lehenbailehen erabili baino lehen, erabili Lorenzo Coviello et al. (2014) .
[ ] Margetts et al. (2011) eta van de Rijt et al. (2014) egindako eskaera egin duten pertsonen prozesua aztertzen duten esperimentuak egiten ditu. Ikasketa horien diseinu eta aurkikuntzak alderatu eta kontrastatu.
[ ] Dwyer, Maki, and Rothman (2015) bi arlo esperimentu egin zituzten gizarte-arau eta pro-ingurumen jokabideen arteko erlazioan. Hona hemen paperaren laburpena:
"Zientzi psikologikoa nola erabili ahal izateko ingurumenaren portaera sustatzeko? Bi ikerlanetan, bainugela publikoetako energia kontserbazio-portaera sustatzeko esku-hartzeak aztertu zituzten arau deskriptiboen eta erantzukizun pertsonalaren eraginak. 1. azterketan, argiaren egoera (hau da, aktibatu edo desaktibatuta) manipulatu egin zen norbait sartu zen unoccupied bainugela publikoan sartu aurretik, ezarpen horren arau deskriptiboa seinalatuz. Parte-hartzaileek argi eta garbi egon litezkeen argiak piztu zirenean sartu zirenean. 2. azterketan, baldintza gehigarri bat sartu zen argiaren desaktibatze arauaren arabera konfederatu batek frogatu zuen, baina parte-hartzaileek ez zuten beraiek burutzeko ardura. Norberaren erantzukizuna jokabidean arau sozialen eragina moderatu zen; Argi dagoena ez zen arduratzen arduradunek arauaren eragina gutxitu egin zuten. Emaitza horiek adierazten dute nola deskripzio arauek eta erantzukizun pertsonalak ingurumenaren aldeko esku-hartzeen eraginkortasuna arautzen dutela ".
Irakurri bere papera eta azterketaren erreplikazioa diseinatu 1.
[ , ] Aurreko galderari jarraiki, orain zure diseinua egin.
[ ] MTurk-ek kontratatutako parte-hartzaileek egindako esperimentuei buruzko eztabaida handia izan da. Paraleloki, esperimentuei buruzko eztabaida handia ere izan da ikasleen ikasketetako ikasleen artean kontratatutako parte-hartzaileen bidez. Bi orriko ohar bat idaztea, Turkarrek eta graduondokoak alderatuz ikerlari gisa. Zure konparaketa gai zientifiko eta logistikoei buruz eztabaidatu behar da.
[ ] Jim Manziren liburua Uncontrolled (2012) negozioan esperimentazio ahalmenari buruzko sarrera ederra da. Liburu honetan honako istorioa eman zuen:
"Behin nengoen, benetako negoziozko jenio batekin, esperimentuen indarraren azpian sakon eta intuitibo bat zegoen multimilari bat. Bere konpainiak baliabide esanguratsuak eman zituen kontsumitzaileak erakartzeko eta salmentak handitzeko erakarpen leiho erakargarriak sortzeko nahian, ohiko jakinduriak esan bezala. Adituen kontu handiz probatu diseinua diseinatu ondoren, eta azterketa saio indibidualen saioetan zehar mantendu ez bistaratze diseinu berri bakoitzaren eragin kausal esanguratsua saltzen. Senior marketing eta merchandising exekutiboak CEO batera ezagutu test historiko horiek emaitzak toto guztiak. Datu esperimental guztiak aurkeztu ondoren, jakintzaren konbentzionalak oker zeudenela ondorioztatu zuten: leihoek ez dutela saltzen. Gomendatutako ekintza hau kostuak eta ahalegina murriztea zen arlo horretan. Hau nabarmen frogatu esperimentazio gaitasuna ohiko jakinduria gainditu. CEOren erantzuna sinplea zen: "Nire ustez, zure diseinatzaileak ez dira oso onak". Bere konponbidea denda pantailako diseinuan ahalegina handitzea zen eta jende berria lortzeko ". (Manzi 2012, 158–9)
Zertarako balio du CEOaren kezka?
[ ] Aurreko galderari jarraiki, imajinatu esperimentuen emaitzak eztabaidatu ziren bileran. Zer galdetu dezakezun lau galderek balio-mota bakoitzerako (estatistikoa, eraikuntza, barnekoa eta kanpokoa)?
[ ] Bernedo, Ferraro, and Price (2014) Ferraro, Miranda, and Price (2011) deskribatutako ur-aurrezteko esku-hartzearen zazpi urteko efektua aztertu dute (4.11. Irudia). Artikulu honetan, Bernedo eta lankideek efektuaren atzean mekanismoa ulertu nahi zuten, tratamendua eman eta tratatu ondoren ez zuten etxebizitzaren portaera alderatuz. Hau da, gutxi gorabehera, tratamenduak etxean edo etxeko jabeak eragina izan duen ala ez.
[ ] Schultz et al. (2007) , Schultzek eta lankideek hiru esperimentu egin dituzte bi inguruneetan (hotela eta aldizkako kondominium batean) ingurumen jokabidearen ( (Schultz, Khazian, and Zaleski 2008) ) erabilerari buruzko arauak deskribatzeko eta irizpideen eragina (Schultz, Khazian, and Zaleski 2008) .
[ ] Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) lan elektrikoen diseinua aztertzeko lab-antzeko esperimentuak egin zituen. Hona hemen nola deskribatzen dute abstraktuan:
"Inkestan oinarritutako esperimentu batean, parte-hartzaileek elektrizitate-faktore hipotetikoa ikusi zuten elektrizitatearen erabilera nahiko altua duten familiak, erabilera historikoari buruzko informazioa estaltzen dutenak, (b) bizilagunekiko konparazioak, eta (c) erabilera historikoa tresna-banaketan. Parte-hartzaileek mota guztietako informazio mota guztiak ikusi zituzten, besteak beste (a) taulak, (b) bar grafikoak eta (c) ikono grafikoak. Hiru aurkikuntza nagusien berri ematen dugu. Lehenik eta behin, kontsumitzaileek mahai batean aurkezten ziren gehien erabiltzen den elektrizitate-informazio motak ulertu zituzten agian, agian taulak puntu errazak irakurtzen dituztelako. Bigarrenik, elektrizitatea aurrezteko lehentasunak eta asmoak erabiltzeko informazio historikoa izan zuten, formatuetatik kanpo. Hirugarrenik, energia gutxiago duten alfabetatzeak dituzten pertsonak informazio guztia gutxiago ulertu dute ".
Jarraipeneko beste ikasketek ez bezala, Canfield, Bruin, and Wong-Parodi (2016) interesen emaitza nagusiak portaera adierazten du, ez benetako portaera. Zein dira ikerketaren mota honen indarguneak eta ahulguneak energia aurreztea sustatzen duen ikerketa-programa zabalago batean?
[ , ] Smith and Pell (2003) aurkezten zituzten paraxuteen eraginkortasuna frogatzen duten ikerketetan. Bukatu dute:
"Pazienteak saihesteko xedea duten esku-hartze askotan bezala, paraxutuen eraginkortasuna ez da ebaluazio zorrotza egin, ausazko kontrolatutako entsegu erabiliz. Ebidentzian oinarritutako medikuntzako abokatuek kritikatu dute behaketaren datuak bakarrik erabiliz ebaluatutako esku hartzeak hartzea. Gure ustez, denek mesede egin diezazkioketen medikuntzako froga erradikalenen artean, parasitoaren proba bikoitzeko, ausazko, plazebo kontrolatu eta gurutze bikoitzean parte hartu zuten. "
Irakurle orokorreko egunkarientzako egokia den idazketa bat egitea, New York Times-ekin , ebidentzia esperimentalaren fetitxizazioaren aurka argudiatuz. Emandako adibide espezifikoak eta zehatzak. Aholkua: Ikus Deaton (2010) eta Bothwell et al. (2016) .
[ , , ] Tratamenduaren efektuaren desberdintasunen arteko diferentziak desberdintasunaren batez besteko estimatzaileak baino zehatzagoak izan daitezke. Idatzi ohar bat A / B probako arduradun baten ingeniaritzapean hasierako gizarte-komunikabideetako enpresetan, lineako esperimentu bat martxan jartzeko desberdintasun diferentearen balioa azaltzeko. Oharrak arazoaren adierazpen bat sartu beharko luke, diferentzia diferentzialaren zenbateslearen desberdintasunaren gaineko aldea gainditzen duten baldintzei buruzko intuizioa eta simulazio simulazioen azterketa.
[ , ] Gary Loveman Harvard Business Schooleko irakaslea izan zen Harrah's, munduko kasinoko enpresa handienetakoa zen CEO bihurtu aurretik. Harrah-era eraman zuenean, Loveman-ek leialtasun-maiztasunaren programa bat eraldatu zuen konpainia, bezeroaren jokabideari buruzko datu kopuru izugarriak bildu zituenean. Etengabeko neurketa sistemaren gainean, enpresak esperimentuak martxan jarri zituen. Esate baterako, esperimentua egin dezakete kupoi baten efektua ebaluatzeko, hoteleko gau librea gaueko joko zehatz batengatik bezeroentzat. Hona hemen nola Lovemanek esperimentazioa Harrah-ren negozio eguneroko praktiken garrantziari buruz deskribatu zuen:
"Ez zaituztete asasinatu emakumeak, ez duzu lapurtzen, eta kontrol-talde bat eduki behar duzu. Harrah-en lanean galtzen duzuen gauza bat da, ez kontrol-talde bat exekutatzen " (Manzi 2012, 146)
Idatzi e-posta mezu berri bat langile berri bati zergatik Loveman-ek kontrola taldea izatea garrantzitsua dela uste duela esaten du. Adibide bat sartu behar zenuke, bai benetakoa edo osatua, puntua ilustratzeko.
[ , ] Esperimentu berri baten helburua da testu mezuen gogorarazpenak jasotzea eragiten duen txertoaren erabilerari buruz. Ehun eta berrogeita hamar klinika, bakoitza 600 paziente jasotzen dituztenak, parte hartzeko prest daude. 100 $ -ko kostu finkoa dago, lan egin nahi duzun klinikarekin, eta $ 1 kostatzen da bidali nahi duzun testu mezu bakoitzean. Gainera, lan egiten duten edozein klinikek emaitzak (norbait txertoa jaso duen ala ez) dohainik neurtuko du. Demagun $ 1,000 aurrekontua duzula.
[ , ] Ikastaroen inguruko arazo nagusiak desegitea da: ikastaroak hasten dituzten ikasle askok desagertu egiten dira. Imajinatu online ikaskuntza plataforman ari zarela lanean, eta plataforma batean diseinatzaile batek aurrerapen bisualerako barra bat sortu du, ikasleei ikastaroaren etetea saihesteko. Ikasleen aurrerapen-barraren efektua probatu nahi duzu gizarte zientzien kalkuluetan. Esperimentuan sor daitezkeen arazo etikoak zuzendu ostean, zuk eta zure lankideek kezkatuta egon beharko lukete ikastaroan agian ez dituztela ikasleen aurrerapen-barrako efektuak modu fidagarrian antzeman. Hurrengo kalkuluetan, ikasleen erdia progresio-barraren eta ez erdiaren erdia jasoko da. Gainera, interferentziarik ez dagoela suposatu dezakezu. Beste era batera esanda, parte-hartzaileek tratamendua edo kontrola jasotzen duten ala ez adierazten dute bakarrik; beste pertsona batek tratamendua edo kontrola jasotzen duten ala ez (definizio formalago baterako, ikusi Gerber and Green (2012) 8. kapitulua) Gerber and Green (2012) ). Jarrai ezazu egiten duzun edozein hipotesi osagarri.
[ , , ] Imajinatu teknologiako enpresako datuak zientzilari gisa ari zarela. Marketineko saileko batek zure laguntza eskatuko dizu, inbertsioaren itzulera (ROI) lineako iragarki kanpainako kanpainan neurtzeko esperimentu bat ebaluatzeko. ROI kanpainako irabazi garbia gisa definitzen da, kanpainaren kostuaren arabera banatuta. Adibidez, salmentetan eraginik ez duen kanpaina% -100ko ROI izan beharko luke; kanpaina bat sortutako irabaziak kostu berdinak izan ziren 0 ROI izan liteke; eta kostu bikoitza sortutako irabaziak bikoiztu egin ziren kanpaina bat% 200 ROI izango litzateke.
Esperimentua abiarazi aurretik, marketineko sailak informazioa ematen du aurreko ikerketetan oinarrituta (benetan, Lewis eta Rao-k (2015) benetako online iragarkien kanpainen ohiko balioak dira):
Proposatutako esperimentu hau ebaluatzen duen ohar bat idaztea. Zure oharrak sortutako simulazio baten froga erabili beharko luke eta bi arazo nagusi aurre egin beharko lituzke: (1) Esperientzia hau martxan jartzea gomendatzen al litzateke? Hala bada, zergatik? Ez bada, zergatik ez? Ziurta zaitez erabakiak hartzeko erabiltzen dituzun irizpideei buruz. (2) Esperientzia honen gomendatzen duzun laginaren tamaina? Berriz ere ziurtatu erabakia hartzeko erabiltzen dituzun irizpideei buruzko argia izateko.
Ohar on batek kasu zehatz hori zuzenduko du; Oro har, hobeto esanda, kasu honetan modu orokorrean orokortuko da (adibidez, nola erabakitzen da kanpainaren eraginen tamainaren arabera); eta oroigarri bikainak emaitza erabat orokorra aurkezten du. Zure oharrak grafikoak erabili behar ditu zure emaitzak ilustratzeko.
Hona hemen bi aholku. Lehenik eta behin, marketineko sailak alferrikako informazioa eman zezakeen eta beharrezko informazioa ez eman zezaketen. Bigarrenik, R erabiltzen ari bazara, kontuan izan rnnorm () funtzioak ez duela jende askok espero duen modurik egiten.
Jarduera hau praktikara eramango zaitu, potentzia aztertuz, simulazioak sortuz eta zure emaitzak hitz eta grafikekin komunikatuz. Esperimentuaren edozein analisi potentziala burutzeko lagungarri izan beharko zenuke, ROI estimatzeko diseinatutako esperimentuak ez ezik. Jarduera honek probabilitate estatistiko eta potentzia analisiarekin esperientzia duzula ematen du. Energia analisia ezagutzen ez baduzu, Cohen (1992) "A Power Primer" irakur dezakezula gomendatzen dut.
Jarduera hau RA Lewis and Rao (2015) artikulu RA Lewis and Rao (2015) inspiratu zen, eta bizidunek esperientzia masiboen oinarrizko mugaketen estatistikak erakusten dituzte. Bere papera, jatorriz, "Publizitatea itzultzeko neurririk ezaren inguruko probokazio" titulua erakutsi zuen. Horrek erakusten du zein zaila den online iragarkien inbertsioaren itzulera neurtzeko, nahiz eta esperimentazio digitalak milioika bezeroekin izan. Oro har, RA Lewis and Rao (2015) oinarrizko gertaera estatistiko bat ilustratzen du, hau da, bereziki garrantzitsua da adin digitaleko esperimentuen kasuan: ez da zaila tratamendu efektu txikiak kalkulatzea emaitza zaratatsuen artean.
[ , ] Egin aurreko galderari dagokionez, baina, simulazio baino gehiago, emaitza analitikoak erabili beharko zenituzke.
[ , , ] Egin aurreko galderari dagokionez, baina simulazio eta emaitzak analitikoak erabili.
[ , , ] Imajinatu goiko deskribatutako oharra idatzi duzula eta marketineko sailekoak informazio berri bat eskaintzen duela: esperimentuaren aurretik eta ondorengo salmenten arteko 0,4 korrelazioa espero dute. Nola aldatzen da zure oharraren gomendioak? (Aholkua: ikus 4.6.2 atala, zenbatesleen batez besteko aldea eta desberdintasunaren araberako zenbatesleari buruz gehiago jakiteko).
[ , ] Web-oinarritutako enplegu-laguntza programa berri baten eraginkortasuna ebaluatzeko, unibertsitateak ausazko kontrol-proba bat egin du 10.000 ikaslek azken ikasturtean sartzeko. Doako harpidetza, log-en informazio berezia jaso zuen 5.000 ale ausazko hautatutako ikasleen posta elektronikoaren eskaera esklusibo bidez. Beste 5.000 ikaslek kontrol-taldea izan zuten eta ez zuten harpidetza. Hamabi hilabete beranduago, jarraipen-inkesta batek (erantzunik gabe) erakutsi zuen tratamendu eta kontrol taldeetan, ikasleen% 70k enplegu osoko denboran segurua izan zutenei (4.6 taula). Horrela, webeko zerbitzuak ez zuen eraginik izan.
Hala eta guztiz ere, unibertsitateko datu zientifiko argi batek datu batzuk begiratu zituen eta tratamendu-taldean ikasleen% 20 bakarrik igorri zitzaizkion posta elektronikoa jaso ondoren. Aurrerago, eta zertxobait harrigarriro, webgunean sartzen hasi zirenen artean,% 60k lanaldi osoko enplegua lortu zuen bere aukeratutako eremuan, pertsonen tasa baino baxuagoan erregistratu ez zen pertsonen tasa baino baxuagoa baitzen kontrol-egoeran (4.7 taula).
Aholkua: Galdera honek kapitulu honetan estaltzen duen materialetik haratago doa, baina esperimentuan ohikoak diren gaiak jorratzen ditu. Diseinu esperimental mota hau, batzuetan, animaziozko diseinua da , parte-hartzaileek tratamenduan parte hartzera animatzen baitituzte. Arazo hau alde bakarreko ez-betetze izenekoaren adibidea da (ikusi Gerber and Green (2012) 5) kapituluan Gerber and Green (2012) ).
[ ] Azterketa gehiago egin ondoren, aurreko galderan azaldutako esperimentua zailagoa zen. Kontrol taldean% 10k zerbitzura sartzeko ordaindu zuen, eta% 65eko okupazio-tasa izan zuten (4.8 taula).
Aholkua: Galdera honek kapitulu honetan estaltzen duen materialetik haratago doa, baina esperimentuan ohikoak diren gaiak jorratzen ditu. Arazo hau bi aldeetako konpromisoa deitzen denaren adibidea da (ikusi Gerber and Green (2012) kapituluan Gerber and Green (2012) ).
Group | Tamaina | Enplegu tasa |
---|---|---|
Emandako sarbidea webgunera | 5.000 | % 70 |
Ez da webgunera sarbidea eman | 5.000 | % 70 |
Group | Tamaina | Enplegu tasa |
---|---|---|
Emandako sarbidea webgunera eta saioa hasi da | 1.000 | 60% |
Emandako sarbidea webgunera eta inoiz saioa hasi da | 4.000 | % 72,5 |
Ez da webgunera sarbidea eman | 5.000 | % 70 |
Group | Tamaina | Enplegu tasa |
---|---|---|
Emandako sarbidea webgunera eta saioa hasi da | 1.000 | 60% |
Emandako sarbidea webgunera eta inoiz saioa hasi da | 4.000 | % 72,5 |
Webgunera sarbidea eman eta ordaindu egin du | 500 | 65% |
Webgunera sarbidea eman eta ez du ordaindu | 4.500 | % 70,56 |