Qûfle:
[ , ] Berinsky û hevalên (2012) dinirxîne û Mechanical Turk di part by gelée sê tecrûbeyên klasîk. Eraqê bin ezmûna framing Nexweşîya Asian klasîk ji aliyê Tversky and Kahneman (1981) . Gelo encamên xwe match Tversky û ya Kahneman? Gelo encamên xwe match Berinsky û hevalên xwe? Çi-eger tiştek-ev ji me re li ser bikaranîna Mechanical Turk ji bo tecrûbeyên lêkolînê hînî?
[ , ] Di nivîsareka hinekî zimanê-li-lama te ya bi navê "Em Have to break up," ji psîkolojiya civakî Robert Cialdini, yek ji nivîskarên ji Schultz et al. (2007) , nivîsandiye ku ew jî nikare hat zû ji karê xwe wekî profesor, di beşek ji ber ku ji zehmetiyên ku ew rû bi rû kirina tecrûbeyên qadê di dîsîplîna (psîkolojiyê) ku bi giranî lêkolîn, tecrûbeyên lab (Cialdini 2009) . Read paper Cialdini da, û wî nivîsandina an email ji wî lava di ber çav re xwe break-up, di ronahiyê de ji derfetên ji tecrûbeyên digital. Bi kar tînin wergerandî taybetî yên lêkolînê ku xema wî.
[ ] Ji bo ku, ka gelo serkeftinên destpêkê biçûk lock-in an bêhêz in, van de Rijt û û hevalên (2014) mudaxeleyî nav çar sîstemên cuda û nîvcîmayî, serkeftina li ser beşdaran korfelaqî hilbijartî, û paşê demeke dirêj bandora vê serkeftinê keyfî tê pîvandin. Gelo hûn dikarin ji sîstemên din bawer in ku, tu dikarî tecrûbeyên similar birevin? Nirxandina van sîstemên di warê pirsên nirxê zanistî, çirr algorithmic, û rewiştê (Beşa 2 binêrin).
[ , ] Encamên ceribandina dikarin li ser beşdaran girêdayî ye. Create an ceribandineke û paşê ew bi rê ve li ser Amazon Mechanical Turk (MTurk) bikaranîna du stratejiyên recruitment cuda. Hewl dide ku wî perî ceribandineke û peydakirina stratejiyên, da ku encamên wê bibin wek hev cuda bikin. Ji bo nimûne, stratejiyên recruitment te be ji bo peydakirina beşdaran, di sibe û êvarê yan tezmînata beşdaran bi meaş bilind û nizm. Van cure cudahiyên di stratejiya recruitment nikaribû ji Gola Xamirpêtê ya cuda yên beşdaran, û encamên ceribandinê de cuda bibe. Çawa cuda encam te berê xwe neda derket? Çi ku eşkere li ser dixebite Ceribandinên li ser MTurk?
[ , , , ] Bifikirin ku hûn plan dikirin di xebatê de rîska Emotional (Kramer, Guillory, and Hancock 2014) . Bi kar tînin, bi encamên ji lêkolîneke observational berê de ji aliyê Kramer (2012) ji bo biryarê bide ku hejmara beşdaran li hev şertê. Ev her du xebatên nagirin bêqisûr ewqas bawer bi eşkere hemû hîpotezên ku hûn wan di lîsteya be:
[ , , , ] Bersîva vê pirsa li jor, di heman demê de bêtir ji bikaranîna vê lêkolînê observational berê de ji aliyê Kramer (2012) bi kar tînin, bi encamên ji ceribandina xwezayî berê de ji aliyê Coviello et al. (2014) .
[ ] Herdu Rijt et al. (2014) û Margetts et al. (2011) , herdu tecrûbeyên ku bixwînim di pêvajoya gelê îmzakirina daxwaznameya xwe bimeşîne. Compare û berevajî vê li design û dîtinên ji van xebatên.
[ ] Dwyer, Maki, and Rothman (2015) du Ceribandinên li qadê li ser têkiliya di navbera normên civakî û helwesta proenvironmental kirin. Here razber de ji rojnameya xwe de ye:
"Çawa bibe zanistê derûnî bi kar bînin ji bo teşwîq helwesta proenvironmental? Li du xebatên, bi mudaxeleyên armanca muameleyên conservation enerjiyê li bathrooms giştî bandorê li ser normên niviskî ne û berpirsiyariya şexsî lêkolînkirin. Di Mijar 1 de, statuya ronahiya (ango, li ser an off) berî yekî ketin an Salle de raya giştî li mal in, daye xuyakirin ku normeke niviskî ne ji bo ku mîhengê manîpule kirin. Beşdarên bi girîngî zêdetir ji berê xwe bi ronahiya off, eger ew bûn, gava ew çûn bûn. Di Mijar 2, an rewşa dî jî di nav de bû, di ku de norm yên vemirandina ronahiyê de ji aliyê konfederal nîşan kirin, di heman demê de beşdar bûn, bi xwe ne ji bo şûn de ew li ser. berpirsiyariya şexsî moderatoriya bandora normên civakî li ser şêlên; dema ku beşdarên berpirsiyar bo zivirî û li ser ronahiyê de bûn, ne, bandora norm kêmtir bû. Ev encam nîşan dide çawa normên û berpirsiyariya şexsî ne niviskî ne, dibe ku bandora wê ji mudaxeleyên proenvironmental tên tertîb kirin. "
Read rojnameya xwe û design a Epiderm ji xwendinê 1.
[ , ] Avakirina li ser pirsa berê, niha pêk bîne design xwe.
[ ] Hatiye nîqaşên girîng li ser tecrûbeyên bikaranîna beşdaran wergirtin ji Amazon Mechanical Turk heye. Di heman demê de, li wir hatiye bi nîqaşên girîng li ser tecrûbeyên bikaranîna beşdaran wergirtin ji gelên Xwendekarê lîsans bû. Hewe a memo du-page di danberheva û dijîhev yên di Turkers û Undergraduates wek lêkolîner beşdaran. berhevdana te divê nirxandinek li ser her du babetên zanistî û lojîstîk de.
[ Book] Jim Manzi ya kontrol kirin (2012) a bi cî ecêb nav hêza Ezmûna di biznisê de ye. Di pirtûkê de ew AFPyê vê nûçeyê:
"Ez carekê di civînê de bi bilîmet business rastîn, a milyarder self-made ku a kûr, nagire bînbar de yên ku bi hêza tecrûbeyên bû. şîrketa xwe derbas çavkaniyên girîng hewl ji bo afirandina mezin store window displays ku wê serfkarên û zêdekirina firotina dikişandim, wek şehrezayiyê konvansiyonel, got, bila ew. Pispor bi baldarî design piştî design ceribandin, û di şexsî danişînên review test li maweya sal nîşandana tu bandora sedemên girîng ya her design display nû li ser firotina. marketing û Merchandising Senior rêveberên bi CEO re hevdîtin ji bo lîsteya van encamên testa dîrokî li toto. Piştî pêşkêşkirina hemû daneyên eksperiyê, ew wê encamê ku şehrezayiya adetî bû çewt e-ku window displays do firotina cinan ne. çalakiyê de tê pêşniyarkirin wan ji bo kêmkirina mesrefên û hewldanên di vî warî de bû. Ev dramatîk a kapasîteya Ezmûna ji bo lêdana şehrezayiya adetî nîşan da. Bersiva ku ji berpirsiyariya me ya hêsan bû: 'encamê de min ev e, ku avaker te ne pir baş ne.' Çareserkirina wî ew bû ji bo zêdekirina hewldanên li design store display, û ji bo kesên nû ji bo wê çi bikin. " (Manzi 2012, 158–9)
Ku type of derbasdariya xwe ji xema ya CEO ye?
[ ] Avakirina li ser pirsa berê de, xeyal kirin ku hûn di civînê de ku encamên ezmûnên gotûbêj kirin bûn. çar pirsên ku we bipirsim jî, yek ji bo her cure derbasdariya xwe (îstatîstîk, avakirina, navxweyî, û ji derve) çi ne?
[ ] Bernedo, Ferraro, and Price (2014) de perwerdeya bandora heft salî de di mudaxaleya teserûfa avê ku di Ferraro, Miranda, and Price (2011) (binêrin li Xiflteya 4.10). Di vê gotarê de, Bernedo û hevalên xwe jî hewl didin ku fêm kirin bi paş bandora riya danberheva Helwesta malbatan ku xwedî û naliya ne kirine, piştî dermankirinê teslîmî mirinê hat kirin. Ku e, yanî, ew hewl didin ji bo dîtina ka tedawiya jiyîn malê, yan jî malxwê.
[ ] Di follow-up to Schultz et al. (2007) , Schultz û hevkarên serxistina rêze sê Ceribandinên li ser bandora normên salixdayî û injunctive li ser helwestên cuda jîngehê (reuse pêşgîra) li du hevgirêdana (a hotel û xanîyên koperatîfê timeshare) (Schultz, Khazian, and Zaleski 2008) .
[ ] Di bersiva xwe de Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) bezî rêze tecrûbeyên-lab wek ji bo lêkolînên li design ji fatûrayên elektrîkê. Li vir çawa ew jî, di razber salix:
"Di ezmûneke-bingeha lêkolînê, her beşdarekî ji bo malbatekê bi bikaranîna elektrîkê nisbeten bilind dît ku fatûrayên elektrîkê ferezî, li ser agahiyên li ser (a) bi kar dîrokî, (b) danberhevê ji bo cîranên xwe, û (c) bi kar dîrokî bi hev deranîna tistan. Beşdarên, dît ku hemû cureyên agahiyên di yek ji sê formatên di nav wan de (a) maseyên, (b) diagram bar, û (c) diagram icon. Em li ser sê dîtinên sereke rapor. Yekem, berxwer hev type of information elektrîkê-bikaranîna herî gava ku ew di ser sifrê kirin bû, belkî ji ber ku maseyên hêsankirina xwendina xala sade. Duyemîn, tercîhên û niyeta to save elektrîkê herî xurt ji bo agahiyên bikaranîna dîrokî bûn, serbixwe yên format. Sêyem, kesên bi xwendin û enerjiyê kêmtir hemû agahiyên kêm tê fêmkirin. "
Berevajî din xebatên follow-up, ku encama sereke yên balkêşiyê li Canfield, Bruin, and Wong-Parodi (2016) helwesta helwesta rastî ragihandin ne. li hêz û qelsbûnê vê type of xebatê de di bernameya lêkolînê berfireh di pêşvebirina teserûfên enerjîyê çi ne?
[ , ] Smith and Pell (2003) a meta-analîza gotaręn xwe ji lêkolînên di xwenîşandanê de û bandora parachutes e. Ew vê encamê:
"Ji ber ku bi gelek mudaxeleyên ku bi armanca pêşîlêgirtina tenduristiyê nexweş, bandora parachutes hatiye dîtin ji bo nirxandinê ku bi hûrbînî bi bikaranîna darizandinên bin kontrola randomized rûbirû ne. Parêzvanên ên tibê delîl qebûlkirina mudaxeleyên bi bikaranîna Daneyên tenê observational nirxand û rexne kir. Em guman dikin, ku hemû bi kêrî eger li kêlekê herî radîkal ên tibê delîl lidarxistin û di kor cot bûn, randomized, placebo kontrolkirin, doza strukturan de ji parachute. "
Hewe an op-ed minasib ji bo rojnameya xwendevanên giştî, yên wekî The New York Times, munaqeşê li dijî fetishization delîlên experimental. Ne, mînakên berbiçav taybet. Hint: Binêre, Bothwell et al. (2016) û Deaton (2010)
[ , , ] Cudahiya di-in-cudahiyên estimators ji bandora dermanî dikare bê vebir zêdetir estimators cudahiya-li-mean. Hewe a memo to muhendis li ser testkirina A / B li şîrketek medya civakî de start-up de, bi mijara nirxa ku nêzîkbûna cudahiya-li-cudahiyên ji bo xebitandina ceribandina bike. The memo divê daxuyaniyekê de ji vê pirsgirêkê, hin intuition li ser şert û mercên ku di bin de estimator cudahiya-li-cudahiya wê estimator cudahiya-li-mean outperform, û lêkolîneke simulation basît in.
[ , ] Gary Loveman profesor li Harvard Business berî dibe berpirsiyariya me ya li Harrah, ku yek ji mezintirîn şîrketên casino li dinyayê bû. Dema ku ew ji ya Harrah bar kir, Loveman şîrketa bi bernameyeke dilsoziya-flier wek caran ku mîqdarên mezin ên data li ser helwesta mişterî berhev guhertin. Li ser vê sîstemê pîvana herdem-on, şîrketa dest bi bez tecrûbeyên. Ji bo nimûne, ku ew ceribandina ji bo nirxandina bandora coupon bo hotel şev ji bo mişterî bi pattern qumarê taybet birêvebirin. Li vir çawa Loveman li ser girîngiya Ezmûna ji bo pêkanînên karûbarên rojane Harrah binavkirin:
"Ev jî wek we jinan negerin, ne, hûn diziyê ne, û hûn rabû kiriye ji bo ku komeke kontrolê. Ev yek ji tiştên ku tu karê xwe ji bo li Harrah's-ne komeke kontrol dixebite winda ye. " (Manzi 2012, 146)
an email ji karmendê nû şîrove çima Loveman difikire, ev yek ne ewqas giring ji bo ku koma kontrol hewe. Divê tu hewl da ku mînaka-yan jî rast an kir up-to biriyan xala xwe.
[ , ] A ceribandineke nû armanc dike ku texmîn dikin, ku bandora wergirtina text ixtar peyamek li ser standina derzîlêdanê. 150 klînîkan, her yek bi 600 nexweşên ku mafê, ji bo ku tevlî bibin. ji mesrefa sabît ji 100 dolar ji bo her klînîka ku tu dixwazî ji bo xebatê bi hene, û ev buha 1 dollar ji bo her peyva text, ku tu dixwazî ji te re bişînin. Zêdetir, serî li nexweşxaneyan, ku tu bi kar bi wê encamên wê bipîvin for free (gelo yekî aşî standiye). Hizir dikin ku hûn xwedî butçeya ji 1000 dolaran.
[ , ] A pirsgirêka mezin bi kursên bike peritîn e; gelek xwendekarên ku ders dest pê heta dawî ji goşeyeke-out. Bifikirin ku hûn bi xebata di platformeke fêrbûna bike, û a designer li platform a bar pêşketin dîtbarî ku ew difikire ku ji zankoyeke kursa pêşî li xwendekaran re dê alîkar tên afirandin hatiye. Hûn dixwazin ji bo ceribandinê bandora bar pêşketinên li ser xwendekarên li kurseke mezin computational zanistên civakî de. Piştî çareserkirina hemû pirsgirêkên etîk ku di ezmûna rabe, tu û hevalên xwe bi fikar ku bêguman bibe xwendekarên têra xwe bi şewazeke jixweber bandorên bar pêşketin heye ne bistînin. Di nav hesabên li jêr hûn dikarin ku ji nîvî ji xwendekarên ferz bikin li bar pêşketin û nîv qebûl nakin. Zêdetir, hûn dikarin îddîa dike ku tu têkilîya hene. Bi gotineke din, tu wisa hizir dikin ku beşdarên bi tenê ji aliyê gelo ew tedawî yan jî kontrola standiye bandor; ew bi bi destê ka kesên din tedawiya yan jî kontrola (ji bo pênase fermî zêdetir, dîtina pêşwaziya rastarast Gerber and Green (2012) , Ch. 8). Ji kerema xwe ve track tu bêy din ku hûn wan bigirin.
[ , ] Di nivîsareka bedew, Lewis and Rao (2015) li meha biriyan a tahdîdeke îstatîstîkî bingehîn yên tecrûbeyên heta mezin. Ku di kaxezê de-ku di destpêkê de bi sernavê provokatîf "On the Near-nabe ji Pêvek vegere bo Advertising" hebû -shows Çiqas zehmet e ku dipîve vegera li ser veberhênanê yên ads bike, heta bi tecrûbeyên dîjîtal tevlêkirina milyon mişterî. Bi awayekî giştî, ku di kaxezê de bi awayekî zelal nîşan dide ku, gelek zehmet e ku texmîn dikin bandora tedawiya biçûk di nava welat encama xirecir e. An jî diyar kir diffently, ku di kaxezê de nîşan dide ku bandora tedawiya tê texmîn kirin dê bi navberan bawerî mezin hene dema ku bandora-to-standard-rêjê (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) ratio biçûk e. Dersê giştî girîng ji vê gotarê ew e ku encam ji tecrûbeyên bi ratio biçûk bandora-to-standard-rêjê (wek nimûne, ROI kampanyayên ad) ê de tişta ku bê. dijwarîya te wê ji bo nivîsandina memo ji bo kesekî ku di beşa marketing şirketa we evaluting ezmûneke plankirin ku bipîvin ROI kampanyaya ad. memo te divê bi diagram ji encamên şêwekarên dibe destek.
Li vir hinek agahî background ku hûn hewce ye. Hemû ji van nirxên hejmara tîpîk ji tecrûbeyên rast ragihandin in Lewis and Rao (2015) :
ROI, a metric key ji bo kampanyayên ad bike, tê danasîn ji bo feyda net ji kampanyayê de (qezencê, derewîn û ji mesrefa kampanyaya minus yên kampanya) de dabeş ji aliyê mesrefa ya kampanyayê. Ji bo nimûne kampanya ku tu bandora wê li ser firotina ê ROI ji -100% û kampanyaya ku qezencên ji bo mesrefên wekhev ê ROI of 0 xwedî bûn xwedî bû.
navê de firotina per mişterî $ 7 bi rêjê standard ji 75 $ e.
kampanyayê de tê payîn ji bo zêdekirina firotina destê 0.35 $ per mişterî ku rêje ji bo zêdekirina qezencê ji 0.175 $ per mişterî. Bi gotineke din, dengên derewîn û% 50 e.
li size plan ji ezmûna 200,000 kes, nîv Di pula tedawiyê û nîv Di pula kontrola e.
mesrefa kampanyaya 0.14 $ per beşdar e.
Hewe a memo evaluting vê ceribandinê. Dê pêşniyar dikin ku tu di destpêkirina vê ezmûna wek plankirî? Heke wisa ye, çima? Eger ne, çi guhertin dê pêşniyar dikin?
A memo baş ji vê dozê taybet çareserkirina wê; a memo baştir dê ji vê rewşê de, di yek rê generalize (wek nimûne, nîşan dide çawa Guherandinên biryara ku li gor rêjeya bandora-to-standard-rêjê); û a memo mezin dê di encama bi temamî gelemperî bibin.
[ , Gelo di heman wek pirsa berê, lê bêtir ji simulation divê tu encam analytic bi kar tînin.
[ , , Gelo di heman wek pirsa berê, di heman demê de hem bi simulation û encamên analytic.
[ , , ] Bifikirin ku hûn memo li jor behsa-kar, yan simulation, results analytic, an hem-û yek ji beşa marketing de şîretê dike ku bikaranîna estimator cudahiya-li-cudahiyên bêtir ji cudabûnek di rêyên estimator nivîsiye (Beþ 4.6.2 dîtina) . Hewe a memo kurttir nû şîrove çawa heyînî 0.4 di navbera firotina berî ezmûna û firotina piştî ezmûna dê encamên xwe naguhêrim.
[ , ] Bi armanca nirxandina bandora xizmeteke nuh-based web pîşeyê, a ofîsa xizmetên career zanîngehê doza kontrol randomized nav 10,000 xwendekar dikevin sala dawî xwe yên dibistanê. A abonetiyê, free bi agahî log-li yekane rêya vexwendina email exclusive ji 5,000 ji xwendekarên bi korfelaqî hilbijartî re hat şandin, di dema ku 5,000 xwendekarên din jî Di pula kontrola in û a Tevlêbûn bi xwedî ne. Diwanzdeh mehan paşê, lêkolînê follow-up (bi no non-bersiva) nîşan dide ku di her du komên tedawî û kontrola xwe, 70% ji xwendekarên kar full-time di zeviya xwe bijartin (Table 4.5) temînateke kirine. Bi vî awayî, wisa xuya ye ku xizmeta-based web tu bandora wî.
Lê belê, ku zanaya welat bi aqilmendan li zanîngehê, li welat nêrî hinekî ji nêz ve zêdetir û dîtin, ku tenê 20% ji xwendekarên Di pula tedawiya li her û her di nav account piştî bi destxistina email têketî. Din, û hinek ne ecêb e, ji nav wan kesên ku nav malpera têketî tenê 60% kar full-time di zeviya xwe bijartin, ku kêmtir ji rêjeya ji bo kesên ku qet nikarim têkevim, û kêmtir rêjeya ji bo kesên ku di dawî temînateke kiribû rewşa kontrola (Table 4.6).
Hint: Ev pirs derveyî materyal daxilê di vê beşê de diçe, di heman demê de xalên hevbeş di tecrûbeyên behsa. Ev type of design ceribandinê de jî hin caran bi navê an design moraleke ji ber ku beşdarên bi teşebusên di tedawiya teşwîqkirin. Ev pirsgirêk, mînaka tiştên ku bi navê yek-cûr'e, non-didina e (dîtina Gerber and Green (2012) , Ch 5.)
[ ] Piştî kontrolê zêdetir, ev derkeve holê ku ezmûna ku di pirsa berê hê zêdetir tevlîhev bû. Derket holê ku 10% ji gelê Di pula kontrola ji bo ketina xizmeta dayîn, û ew bi rêjeya ji sedî 65 (Table 4.7) bi dawî bû.
Hint: Ev pirs derveyî materyal daxilê di vê beşê de diçe, di heman demê de xalên hevbeş di tecrûbeyên behsa. Ev pirsgirêk, mînaka tiştên ku bi navê du-cûr'e, non-didina e (dîtina Gerber and Green (2012) , Ch 6).
Kom | Mezinayî | rêjeya îstîhdamê |
---|---|---|
access dayîn ji bo malpera | 5,000 | 70% |
access to malpera dayîn | 5,000 | 70% |
Kom | Mezinayî | rêjeya îstîhdamê |
---|---|---|
Dayîn access to malpera û têketî | 1,000 | 60% |
access dayîn malperê û qet têketî | 4,000 | 85% |
access to malpera dayîn | 5,000 | 70% |
Kom | Mezinayî | rêjeya îstîhdamê |
---|---|---|
Dayîn access to malpera û têketî | 1,000 | 60% |
access dayîn malperê û qet têketî | 4,000 | 72,5% |
access to malpera dayîn û ji bo wê pere | 500 | 65% |
access to malpera dayîn ne û ew ji bo wê bidin ne | 4,500 | 70,56% |