aktivecoj

Ŝlosilo:

• grado de malfacileco: facila , mediumo , malmola , tre malfacile
• postulas matematiko ( )
• postulas kodigon ( )
• datenkolektado ( )
• miaj favoritos ( )

1. [ , ] Berinsky kaj kolegoj (2012) taksas Mechanical Turk parte de repliki tri klasikaj eksperimentoj. Repliki la klasika aziaj Malsano enkadrigo eksperimento de Tversky and Kahneman (1981) . Fari viajn rezultojn matĉo Tversky kaj Kahneman la? Fari viajn rezultojn matĉo Berinsky kaj kolegoj? Kio-se io-tio ĉi instruu nin pri uzanta Mechanical Turk por enketo eksperimentoj?

2. [ , ] En iom lango-en-vango papero titolita "We Have al Break Up", la socia psikologo Roberto Cialdini, unu el la aŭtoroj de Schultz et al. (2007) , skribis ke li estis retiriĝi frue de sia laboro kiel profesoro, delvis pro la defioj alfrontis faras kampon eksperimentoj en disciplino (psikologio) kiu ĉefe faras laboratorio eksperimentoj (Cialdini 2009) . Legi Cialdini la papero kaj skribi lin retmesaĝon instigante lin por rekonsideri sian rompo en lumo de la ebloj de ciferecaj eksperimentoj. Uzi specifajn ekzemplojn de esploro kiu traktas siajn konzernojn.

3. [ ] Por determini ĉu malgranda komencaj sukcesoj ŝlosi -in aŭ velkos, van de Rijt kaj kaj kolegoj (2014) intervenis en kvar malsamaj sistemoj ĵetus sukceso sur hazarde elektitaj partoprenantoj, kaj tiam mezuris la longtempa efikoj de tiu arbitra sukceso. Povas vin pensas de aliaj sistemoj en kiuj oni povus kuri similaj eksperimentoj? Taksi tiujn sistemojn laŭ temoj de scienca valoro, algoritma konfuzante (vidu Ĉapitro 2), kaj etiko.

4. [ , ] La rezultoj de eksperimento povas dependi de la partoprenantoj. Krei eksperimenton kaj ruli ĝin en Amazon Mechanical Turk (MTurk) uzante du malsamaj varbado strategioj. Provu elekti la eksperimento kaj varbado strategioj por ke la rezultoj estos tiel malsamaj kiel ebla. Ekzemple, via varbado strategioj povus varbi partoprenantojn matene kaj vespere aŭ kompensi partoprenantoj kun altaj kaj malaltaj salajro. Tiuj specoj de diferencoj en varbado strategio povus konduki al malsamaj naĝejoj de partoprenantoj kaj malsamaj eksperimentaj rezultoj. Kiom malsamaj faris viajn rezultojn rezulti? Kion tio malkaŝas pri kurante eksperimentoj sur MTurk?

5. [ , , , ] Imagu ke vi planis la Emocia kontaĝas studo (Kramer, Guillory, and Hancock 2014) . Uzi la rezultojn de pli frua observa studo de Kramer (2012) por decidi la nombro de partoprenantoj en ĉiu kondiĉo. Tiuj du studoj ne kongruas perfekte tiel nepre eksplicite listigi ĉiujn la supozoj ke vi faru:

   1. Kuri simulación kiu decidos kiom da partoprenantoj estus necesa por detekti efikon kiel granda kiel la efekto en Kramer (2012) kun \ (\ alpha = 0,05 \) kaj \ (1 - \ beta = 0,8 \).
   2. Fari la saman ŝtonon analitike.
   3. Donitaj la rezultoj de Kramer (2012) estis Emocia kontaĝas (Kramer, Guillory, and Hancock 2014) super-funkciigita (te ĉu ĝi havas pli partoprenantoj ol necesa)?
   4. El la supozoj kiujn vi faris, kion havas la plej grandan efikon sur via kalkulo?

6. [ , , , ] Respondu la demandon supre, sed anstataŭ uzi la pli fruaj observa studo de Kramer (2012) uzas la rezultojn de pli frua natura eksperimento de Coviello et al. (2014) .

7. [ ] Ambaŭ Rijt et al. (2014) kaj Margetts et al. (2011) ambaŭ realigas eksperimentojn kiuj studas la procezon de personoj subskribi peticion. Kompari kaj kontrastigi la dezajno kaj trovoj de tiuj studoj.

8. [ ] Dwyer, Maki, and Rothman (2015) kondukis du kampo eksperimentoj sur la rilato inter sociaj normoj kaj proenvironmental konduto. Jen la abstrakta ilia papero:

   "Kiel povus psikologia scienco esti utiligita por instigi proenvironmental konduto? En du studoj, intervenoj celas antaŭenigi energio konservado konduto en publika banĉambroj ekzamenis la influoj de priskriba normoj kaj persona respondeco. En Studo 1, la lumo statuso (te, sur aŭ for) estis manipulita antaŭ iu eniris al neokupita publika banejo, signalante la priskriba normo por tiu opcio. Partoprenantoj estis signife pli verŝajna turni la lumoj ekstere se ili ekstere kiam ili eniris. En Studo 2, plia kondiĉo estis inkludita en kiuj la normo de elŝalti la lumon pruvis per interligo, sed partoprenantoj ne sin respondeca turnante ĝin. Persona respondeco moderigis la influo de sociaj normoj sur konduto; kiam partoprenantoj estis ne respondeca ŝaltante la lumon, la influo de la normo estis malpliigita. Tiuj rezultoj indikas kiom priskriba normoj, kaj persona respondeco eble reguligos la efikecon de proenvironmental intervenoj. "

   Legi iliajn papero kaj desegni replicación de studo 1.

9. [ , ] Konstruante sur la antaŭa demando, nun portu vian dezajno.

   1. Kiel la rezultoj komparas?
   2. Kio povus klarigi tiujn diferencojn?

10. [ ] Okazis substanca debato pri eksperimentoj uzante partoprenantojn varbis de Amazon Mechanical Turk. Paralele, ekzistas ankaŭ estis substanca debato pri eksperimentoj uzante partoprenantoj varbitaj de bakalaŭra studento loĝantaroj. Skribi dupaĝa memo komparante kaj kontrastaj la Turkers kaj studentoj kiel esploristoj partoprenantoj. Via parabolo inkludas diskuton de ambaŭ sciencaj kaj loĝistikaj problemoj.

11. [ ] Jim Manzi libro Uncontrolled (2012) estas mirinda enkonduko al la potenco de experimentación en negoco. En la libro li elsendis tiun rakonton:

    "Mi iam en kunveno kun sincera negoco genio, mem-faris miliardulo kiu havis profundan, intuician understating de la potenco de eksperimentoj. Lia firmao foruzis signifajn rimedojn provas krei granda vendejo fenestro ekranoj kiuj altirus konsumantoj kaj kreskoj vendoj, kiel konvencia saĝeco diris ili devus. Fakuloj zorge elprovita dezajno post dezajno, kaj en individua testo revizio kunsidoj dum periodo de jaroj tenis montranta neniun signifan kaŭzan efikon de ĉiu nova ekrano dezajno sur vendoj. Altranga marketing kaj merchandising ekzekutivoj renkontis la CEO revizii tiujn historiajn rezultoj en toto. Post prezenti ĉiujn la eksperimentaj datumoj, ili finis ke la konvencia saĝeco estis malĝusta-tiu fenestro ekranoj ne forpelos vendoj. Ilia rekomendita ago estis redukti kostojn kaj penado en ĉi tiu areo. Tiu draste pruvis la kapablon de experimentación renversi konvencia saĝeco. La CEO respondo estis simpla: 'Mia konkludo estas ke via diseñadores ne tre bona. " Lia solvo estis pliigi penado en vendejo montriĝo dezajno, kaj akiri novajn homojn por fari. " (Manzi 2012, 158–9)

    Kio tipo de valideco estas la maltrankvilo de la CEO?

12. [ ] Konstruante sur la antaŭa demando, imagu ke vi estis ĉe la renkontiĝo kie la rezultoj de la eksperimentoj estis diskutita. Kio estas kvar demandoj kiujn vi povus demandi, por ĉiu tipo de valideco (statistika, konstrui, internaj kaj eksteraj)?

13. [ ] Bernedo, Ferraro, and Price (2014) studas la sepjara efekto de la akvo ŝparado interveno priskribita en Ferraro, Miranda, and Price (2011) (vidu Figuro 4.10). En tiu papero, Bernedo kaj kolegoj ankaŭ serĉas kompreni la mekanismon malantaŭ la efekto komparante la konduto de domanaroj kiuj havas kaj ne movis post la traktado estis transdonita. Te, malglate, ili provos vidi ĉu la traktado kunpremis la hejmo aŭ la domposedanto.

    1. Legi la paperon, priskribi sian dezajnon kaj resumas liajn trovojn. b) Ĉu ilia trovoj efiki kiel vi devus taksi la koston-efikeco de similaj intervenoj? Se jes, kial? Se ne, kial ne?

14. [ ] En sekvaĵo al Schultz et al. (2007) , Schultz kaj kolegoj elfaras serion de tri eksperimentojn sur la efiko de priskribaj kaj prescriptiva normoj sur malsama media konduto (tuko reutilización) en du kuntekstoj (hotelo kaj tempo dividita condominio) (Schultz, Khazian, and Zaleski 2008) .

    1. Resumi la dezajno kaj trovoj de tiuj tri eksperimentoj.
    2. Kiel, se entute, ĉu ili ŝanĝas vian interpreton de Schultz et al. (2007) ?

15. [ ] En respondo al Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) prizorgis serion de laboratorio-similaj eksperimentoj por studi la dezajno de elektra bekojn. Jen kiel ili priskribas lin en la abstrakta:

    "En enketo bazita eksperimento, ĉiu partoprenanto vidis hipoteza elektro beko por familio kun relative alta elektro uzo, kovrante informo pri (a) historia uzo, (b) komparoj al najbaroj, kaj (c) historia uzo kun aparato rompo. Partoprenantoj vidis cxiujn informojn tipoj en unu el tri formatoj inkluzive (al) tabloj (b) trinkejo grafeoj kaj (c) ikono grafikaĵoj. Ni raportas pri tri ĉefaj trovoj. Unua, konsumantoj komprenis ĉiu tipo de elektro-uzo informo la plej kiam estis prezentita en tablo, eble ĉar tabloj faciligi simplan punkton legado. Dua, preferoj kaj intencoj ŝpari elektron estis la plej forta dum la historia uzo informo, sendependa de formato. Tria, individuoj kun malalta energio alfabetigo komprenis tutan informon malpli. "

    Kontraste aliaj sekvado studoj, la ĉefa rezulto de intereso en Canfield, Bruin, and Wong-Parodi (2016) informis konduto ne fakta konduto. Kio estas la fortoj kaj malfortoj de tiu tipo de studo en pli larĝa esplorprogramo antaŭeniganta energio ŝparadoj?

16. [ , ] Smith and Pell (2003) estas satira meta-analizo de studoj pruvas la efikecon de paraŝuto. Ili konkludas:

    "Kiel kun multaj intervenoj celis malhelpi malfortikeco, la efikeco de paraŝuto ne estis submetitaj al rigora pritakso uzante randomigitaj kontrolitaj provoj. Rekomendantoj de evidenteco bazita medicino kritikis la adopto de intervenoj taksita uzante nur observa datumoj. Ni pensas ke ĉiuj povu profitigi se la plej radikalaj ĉefroluloj de evidenteco bazita medicino organizita kaj partoprenis en duobla blinda, hazardigitaj, placebo kontrolita, crossover elprovo de la paraŝuto. "

    Skribi ĉefartikolo taŭga por ĝenerala legantaro ĵurnalo, kiel ekzemple The New York Times, argumentante kontraŭ la fetishization de eksperimentaj pruvoj. Provizi specifajn, konkretajn ekzemplojn. Konsileto: Vidu ankaŭ, Bothwell et al. (2016) kaj Deaton (2010)

17. [ , , ] Diferenco-en-diferencoj proksimumas de traktado efiko povas esti pli preciza ol diferenco-en-meznombro proksimumas. Skribi noton al inĝeniero komisiita de A / B testado ĉe noventrepreno sociaj amaskomunikiloj kompanio klarigante la valoro de la diferenco-en-diferencoj alproksimiĝo lanĉadon reta eksperimento. La memo devus inkluzivi deklaron de la problemo, iuj intuicio pri la kondiĉoj sub kiuj la diferenco-en-diferenco proksimumilo estos outperform la diferenco-en-meznombro proksimumilo kaj simpla simulado studo.

18. [ , ] Gary Loveman estis profesoro ĉe Harvard Komerca Lernejo antaŭ iĝi la CEO de Harrah la, unu el la plej grandaj kazinoj firmaoj en la mondo. Kiam li moviĝis al Harrah la, Loveman transformis la entreprenon kun oftaj vojaĝantoj-kiel lojaleco programo kiu kolektis terura kvantoj de datumoj pri kliento konduto. Sur supro de tiu ĉiam-sur mezurado sistemo, la kompanio komencis kuri eksperimentoj. Ekzemple, ili povus kuri eksperimenton por taksi la efikon de kupono por libera hotelo nokto por klientoj kun specifaj hazardludo ŝablono. Jen kiel Loveman priskribis la gravecon de eksperimentado por Harrah la ĉiutaga negoco praktikoj:

    "Estas kiel vi ne persekutadi virinoj, vi ne ŝtelas, kaj vi devas havi kontrolgrupo. Tiu estas unu el la aĵoj kiujn vi povas perdi vian laboron dum Harrah's-ne kuranta kontrolgrupo. " (Manzi 2012, 146)

    Skribi retmesaĝon al nova oficisto klariganta kial Loveman pensas ĝi estas tiel grave havi kontrolgrupo. Vi devus provi inkluzivi ekzemplo: aŭ vera aŭ faris supren-ilustri vian punkton.

19. [ , ] Nova eksperimento celas taksi la efikon de ricevanta tekstmesaĝo recordatorios sur vakcinado asimiladon. 150 klinikoj, ĉiu kun 600 elekteblaj pacientoj, pretas partopreni. Ekzistas fiksa kosto de 100 dolaroj por ĉiu kliniko vi volas labori kun, kaj ĝi kostas 1 dolaro por ĉiu tekstmesaĝo ke vi volas sendi. Plui, ajna klinikoj ke vi laboras kun mezuros la rezulton (ĉu iu ricevis vakcinado) senpage. Supozu ke vi havas buĝeton de 1000 dolaroj.

    1. Sub kio kondiĉoj povus gxin pli bone enfokusigi viajn rimedojn en malgranda nombro de klinikoj kaj sub kio kondiĉoj povus gxin pli bone disvastigi ilin pli vaste?
    2. Kio faktoroj determinus la plej malgranda efiko grandeco kiu vi povos fidinde detekti kun via buĝeto?
    3. Skribi noton klarigante tiujn komerco-offs al potenciala grava financanto.

20. [ , ] Grava problemo kun retaj kursoj estas eluziĝo; multaj studentoj kiuj komencas kursoj finos gutado-ekstere. Imagu ke vi estas laboranta ĉe reta lernado platformo, kaj dezajnisto ĉe la kajo kreis vidan progreso trinkejo kiu ŝi pensas helpos malhelpi studentojn de malfideliĝo de la kurso. Vi volas testi la efikon de la progreso trinkejo sur studentoj en granda komputa socioscienco kurso. Post alparolante ajna etikaj demandoj kiuj povus ekesti en la eksperimento, vi kaj viaj kolegoj akiri maltrankvilita ke la kurso ne havu sufiĉe studentoj fidinde detekti la efikojn de la progreso trinkejo. En la kalkuloj sube vi povas supozi, ke duono de la studentoj ricevos la progreso trinkejo kaj duono ne. Plui, ĝi povas supozi ke ekzistas neniu interfero. Alivorte, vi povas supozi ke partoprenantoj estas nur trafita per ĉu ili ricevis la traktadon aŭ kontrolo; ili ne estas realigita per ĉu aliaj personoj ricevis la traktadon aŭ kontrolon (por pli formala difino, vidi Gerber and Green (2012) , Ch. 8). Bonvolu teni trako de ajna aldona supozoj kiujn vi faras.

    1. Supozi la progreso trinkejo estas atendita pliigi la proporcion de studentoj kiuj finis la klason de 1 procento punkto, kio estas la samplograndeco bezonis fidinde detekti la efikon?
    2. Supozi la progreso trinkejo estas atendita pliigi la proporcion de studentoj kiuj finos la klaso de 10 punktoj porcentuales, kio estas la samplograndeco bezonis fidinde detekti la efikon?
    3. Nun imagu ke vi kuras la eksperimento kaj studentoj kiuj kompletigis ĉiujn kursmaterialojn prenis finan ekzamenon. Kiam vi komparas la finan ekzamenon partituroj de studentoj kiuj ricevis la progreso trinkejo por tiuj kiu ne, vi trovos, multe al via surprizo, ke studentoj kiuj ne ricevis la progreso trinkejo vere trafis altan. Tio signifas ke la progreso trinkejo kaŭzis studentoj lerni malpli? Kion vi povas lerni de tiu rezulto datumoj? (Indiko: Vidu Gerber and Green (2012) , Ch. 7)

21. [ , ] En bela papero, Lewis and Rao (2015) imagive ilustri fundamenta statistika limigo de eĉ amasa eksperimentoj. La papero-kiu origine havis la provoka titolo "Sur la Proksima-neebleco Mezuri la Revenoj al Advertising" -shows kiel malfacile estas por mezuri la revenon sur investo de enreta ads, eĉ kun cifereca eksperimentoj implikantaj milionojn da klientoj. Pli ĝenerale, la papero klare montras ke ĝi estas malfacile taksi malgranda traktado efekto inter brua rezulto datumoj. Aŭ deklaris diffently, la papero montras ke estimita traktado efektoj havos grandan konfidon intervaloj kiam la trafo -al- normo-devio (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) rilatumo estas malgranda. La grava ĝenerala leciono de ĉi papero estas ke rezultoj de eksperimentoj kun malgranda trafo -al- normo-devio rilatumo (ekz, ROI de ad kampanjoj) estos nekontentiga. Via defio estos skribi noton al iu en la merkatiko fako de via kompanio evaluting laŭplana eksperimento por mezuri la ROI de ad kampanjo. Via memo devus esti apogita kun grafikaĵoj de la rezultoj de komputilo simulaciones.

    Jen kelkaj fono informon ke vi eble bezonas. Ĉiuj tiuj nombra valoroj estas tipa de la reala eksperimentoj raportitaj en Lewis and Rao (2015) :

    • ROI, ŝlosila metriko rete ad kampanjoj, estas difinita al esti la pura profito de la kampanjo (malneta profito de kampanjo minus kosto de kampanjo) dividita per la kosto de la kampanjo. Ekzemple kampanjon kiu havis nenian efikon sur vendoj havus ROI de -100% kaj kampanjo kie profitoj generitaj estis egalaj al kostoj havus ROI de 0.

    • Dume vendoj por kliento estas $ 7 per norma devio de $ 75.

    • la kampanjo estas atendita pliigi vendojn de $ 0.35 por kliento kiu korespondas al pliigo en profito de $ 0,175 por kliento. Alivorte, la malneta marĝeno estas 50%.

    • la planita grandeco de la eksperimento estas 200.000 personoj, duono en la traktado grupo kaj duono en la kontrolgrupo.

    • la kosto de la kampanjo estas $ 0.14 po partoprenanto.

    Skribi noton evaluting tiu eksperimento. Ĉu vi rekomendas ĵeti tiun eksperimenton kiel planita? Se jes, kial? Se ne, kion ŝanĝoj vi rekomendas?

    Bona memo traktos ĉi specifa kazo; pli bona memo estos ĝeneraligi el tiu kazo en unu maniero (ekzemple, montri kiel la decido ŝanĝoj kiel funkcio de la trafo -al- normo-devio proporcio); kaj granda memo prezentos plene ĝeneraligita rezulto.

22. [ , ] Ĉu la saman kiel la antaŭa demando, sed prefere ol simulado vi devus uzi analitikaj rezultoj.

23. [ , , ] Ĉu la saman kiel la antaŭa demando, sed uzas ambaŭ simulado kaj analitika rezultoj.

24. [ , , ] Imagu ke vi skribis la memo priskribis supre uzas au simulado, analitika rezultoj, aŭ ambaŭ-kaj iu el la merkatiko fako rekomendas uzi diferenco-en-diferencoj proksimumilo anstataŭ diferencon en rimedoj proksimumilo (vidu Sekcio 4.6.2) . Skribu novan mallongan noton klarigante kiel 0.4 korelacio inter vendoj antaŭ la eksperimento kaj vendoj post la eksperimento ŝanĝus vian konkludon.

25. [ , ] Por taksi la efikecon de nova ttt-bazita kariero servo, universitata kariero servoj oficejo efektivigis hazardigitaj kontrolo proceso inter 10.000 studentoj eniranta ilian finan jaron de lernejo. Libera abono kun unika logo-en informo sendita tra ekskluziva retpoŝta invito al 5,000 de la hazarde elektita studentoj, dum la aliaj 5.000 studentoj estas en la kontrolgrupo kaj ne havas abonon. Dek du monatoj poste, sekvado enketo (sen ne-respondo) montras ke en ambaŭ la traktado kaj kontrolo grupoj, 70% de la studentoj atingis plentempa okupo en ilia elektita kampo (Tabelo 4.5). Tiel, ĝi similas ke la ttt-bazita servo havis nenian efikon.

    Tamen, ruza datumoj sciencisto ĉe la universitato rigardis la datumoj iom pli atente, kaj trovis, ke nur 20% de la studentoj en la traktado grupo iam ensalutinta en la konto post ricevi la poŝto. Lokon, kaj iom surprize, inter kiuj ensalutinta en la retejo nur 60% sekurigis plentempa okupo en ilia elektita kampo, kiu estis pli malalta ol la imposto por personoj kiuj ne ensalutas kaj pli malalta ol la imposto por homoj en la kontrolo kondiĉo (Tabelo 4.6).

    1. Provizi klarigon pri kio povus okazi.
    2. Kio estas du malsamaj manieroj kalkuli la efekto de la traktado en ĉi tiu eksperimento?
    3. Donita ĉi tiu rezulto, se la universitato kariero servo provizas ĉi ttt-bazita kariero servo al ĉiuj studentoj? Nur por esti klara, tio ne estas demando kun simpla respondo.
    4. Kion ili faros poste?

    Konsileto: Tiu demando iras preter la materialo kovrita en tiu ĉapitro, sed traktas temojn komunajn en eksperimentoj. Ĉi tiu tipo de eksperimenta dezajno estas iam nomata kiel instigo dezajno ĉar partoprenantoj estas kuraĝigitaj entrepreni la traktado. Tiu problemo estas ekzemplo de kio estas nomita unuflanka ne-plenumo (vidu Gerber and Green (2012) , Ch. 5)

26. [ ] Post plia ekzameno, ĝi rezultas ke la eksperimento priskribita en la antaŭa demando estis eĉ pli komplika. Ĝi rezultas ke 10% de la personoj en la kontrolgrupo pagis aliro al la servo, kaj ili finis kun dungado imposto de 65% (Tabelo 4.7).

    1. Skribi retmesaĝon resumi kion vi opinias okazas kaj rekomendi kurson de ago.

    Konsileto: Tiu demando iras preter la materialo kovrita en tiu ĉapitro, sed traktas temojn komunajn en eksperimentoj. Tiu problemo estas ekzemplo de kio estas nomita duflanka ne-plenumo (vidu Gerber and Green (2012) , Ch. 6)