aktivity

kľúč:

• Stupeň obtiažnosti: ľahká , stredne tvrdé , veľmi ťažké
• vyžaduje matematiku ( )
• vyžaduje kódovanie ( )
• zber dát ( )
• moje obľúbené ( )

1. [ , ] Berinsky a jeho kolegovia (2012) hodnotí mechanický Turek čiastočne replikáciou tri klasické experimenty. Replikovať klasickú ázijskú rámovanie Disease experiment Tversky and Kahneman (1981) . Do svojej výsledky stretnutia Tverská a Kahneman je? Do svojej výsledky stretnutia Berinsky a kolegami? What-if niečo-to nás učí o používaní mechanický Turek pre experimenty prieskumu?

2. [ , ] V dokumente trochu jazyk-in-tváre s názvom "Musíme sa rozísť," sociálna psychológ Robert Cialdini, jeden z autorov Schultz et al. (2007) napísal, že on bol predčasný odchod do dôchodku z jeho prácu ako profesor, čiastočne z dôvodu výziev, pred ktorými on stál robí poľné pokusy v disciplíne (psychológie), ktorá vedie predovšetkým laboratórnych experimentov (Cialdini 2009) . Čítať noviny Cialdini je, a napísať mu e-mail vyzývajúce ho, aby prehodnotil svoj rozpad vo svetle možností digitálnych experimentov. Použiť konkrétne príklady výskumu, ktoré sa zameriavajú na svoje obavy.

3. [ ] Za účelom zistenia, či malé počiatočné úspechy lock-in alebo zmiznúť, van de Rijt a a kolegovia (2014) zasiahol do štyroch rôznych systémov prepožičiava úspech na náhodne vybraných účastníkov, a potom meria dlhodobé vplyvy tohto nežiaduceho úspechu. Môžete myslieť na iné systémy, v ktorých by ste mohli spustiť podobné experimenty? Zhodnotiť tieto systémy, pokiaľ ide o otázky vedeckú hodnotu, algoritmické mätúce (pozri kapitolu 2) a etiku.

4. [ , ] Výsledky experimentu môže závisieť na účastníkov. Vytvoriť experiment a spustite ho na Amazon Mechanical Turk (MTurk) s použitím dvoch rôznych stratégií náboru. Skúste si vybrať pre experiment a náborové stratégie tak, že výsledky budú tak odlišné, ako je to možné. Napríklad, vaše náborové stratégie by mohlo byť pre nábor účastníkov ráno a večer, alebo pre kompenzáciu účastníkov s vysokou a nízkou mzdou. Tieto druhy rozdielov v náborovej stratégie by mohla viesť k rôznym bazénov účastníkov a rôznych experimentálnych výsledkov. Ako sa líši sa vaše výsledky dopadlo? Čo to prezradiť o chod experimentov na MTurk?

5. [ , , , ] Predstavte si, že ste mali v pláne emočné nákazy štúdii (Kramer, Guillory, and Hancock 2014) . Použiť výsledky z predchádzajúcej pozorovacie štúdie Kramer (2012) rozhodovať o počte účastníkov v každom stave. Tieto dve štúdie nezodpovedajú presne tak sa určite výslovne uviesť všetky predpoklady, ktoré ste vykonali:

   1. Spustiť simuláciu, ktorá bude rozhodovať o tom, koľko účastníkov by bolo potrebné na zistenie vplyv tak veľké, ako v tom zmysle, v Kramer (2012) s \ (\ alpha = 0,05 \) a \ (1 - \ beta = 0,8 \).
   2. Preveďte rovnaký výpočet analyticky.
   3. Vzhľadom na výsledky z Kramer (2012) bol Emocionálna Nákaza (Kramer, Guillory, and Hancock 2014) cez pohonom (tj sa to muselo viac účastníkov, než je treba)?
   4. Predpokladov, ktoré ste vykonali, ktoré majú najväčší vplyv na svoje kalkuláciu?

6. [ , , , ] Odpoveď na otázku vyššie, ale nie pomocou predchádzajúcej štúdii, uskutočnenej Kramer (2012) použiť výsledky z predchádzajúcej prirodzeného experimentu Coviello et al. (2014) .

7. [ ] Oba Rijt et al. (2014) a Margetts et al. (2011) a to ako vykonávať experimenty, ktoré študujú proces ľudí, ktorí podpísali petíciu. Porovnať a odlíšiť dizajn a výsledky týchto štúdií.

8. [ ] Dwyer, Maki, and Rothman (2015) vykonali dve poľné pokusy o vzťahu medzi sociálnymi normami a proenvironmentálního správania. Tu je výťah z ich papiera:

   "Ako by psychologická veda použiť na podporu proenvironmentálního správanie? V dvoch štúdiách, intervencie zamerané na podporu správanie uchovanie energie vo verejných kúpeľniach skúmal vplyvmi opisných noriem a osobnú zodpovednosť. V štúdii 1, kontrolka stavu (tj zapnutý alebo vypnutý) bol spracovaný, ako niekto vstúpil neobsadený verejnú kúpeľňu, signalizácia opisný normu pre dané nastavenie. Účastníci boli významne väčšia pravdepodobnosť, že zhasínanie svetiel keby boli preč, keď vošli. V štúdii 2, ďalšie podmienka bola zahrnutá v ktorom bola normou vypnutie svetla preukazuje spoločník, ale účastníci neboli samy osebe zodpovedné za jeho zapnutím. Osobné zodpovednosť moderované vplyv sociálnych noriem na správanie; keď účastníci boli nie je zodpovedný za zapnutie svetla, vplyv normy bola zmenšená. Tieto výsledky naznačujú, ako popisné normy a osobné zodpovednosť môže regulovať účinnosť proenvironmentálního zásahov. "

   Čítať ich noviny a navrhnúť replikáciu štúdii 1.

9. [ , ] V nadväznosti na predchádzajúcu otázku, teraz vykonávať svoj dizajn.

   1. Ako porovnať výsledky?
   2. Čo by mohlo vysvetliť tieto rozdiely?

10. [ ] Tam bola značná diskusia o experimentoch s použitím účastníkov spomedzi Amazon Mechanical Turk. Súčasne tam tiež bol značná debata o experimentoch s použitím účastníkmi regrutujú z populácie vysokoškolských študentov. Napísať dva-stranový poznámku porovnanie a rozdielnosti v Turkers a vysokoškolákov ako účastníkov výskumných pracovníkov. Váš porovnanie by malo zahŕňať diskusiu o oboch vedeckých a logistických otázok.

11. [ ] Jim Manzi kniha Nekontrolovaný (2012) je skvelý úvod do moci experimentovania v podnikaní. V knihe mu odovzdala tento príbeh:

    "Raz som bol na stretnutí s naozajstným obchodný génia, self-vyrobené miliardár, ktorý mal hlboký, intuitívne zmierňovať o sile experimentov. Jeho spoločnosť strávil značné prostriedky sa snaží vytvoriť veľký dôraz výdavky, ktoré by prilákali spotrebiteľov a predaja sa zvyšuje, pretože konvenčné múdrosť hovorí, že mali. Odborníci starostlivo testovaný designu po dizajn, av jednotlivých Prehľad testov sedenia za obdobie rokov držaná nevykazuje výrazný príčinný účinok každej novej zobrazovacie dizajnu z predaja. Senior marketing a merchandising manažéri sa stretával s generálnym riaditeľom preskúmať tieto historické výsledky testov v toto. Po predložení všetkých experimentálnych dát, došli k záveru, že konvenčné múdrosť bolo zlé, že sa zobrazí okno neriaďte predaja. Ich akcie odporúčané bolo znížiť náklady a úsilie v tejto oblasti. Tým sa výrazne prejavil schopnosť experimentovanie prevrátiť konvenčné múdrosť. Odpoveď generálneho riaditeľa bola jednoduchá: "Môj záver je, že vaše návrhári nie sú príliš dobré." Jeho riešenie bolo zvýšiť úsilie v oblasti konštrukcie displejov obchod, a získať nových ľudí na to. " (Manzi 2012, 158–9)

    Aký typ platnosti je záujmom CEO?

12. [ ] V nadväznosti na predchádzajúcu otázku, predstavte si, že ste boli na stretnutí, kde boli prerokované výsledky vykonaných experimentov. Aké sú štyri otázky, ktoré by ste mohli opýtať, jeden pre každý typ platnosti (štatistická, Construct, interné a externé)?

13. [ ] Bernedo, Ferraro, and Price (2014) študuje sedemročnej účinok zásahu úspory vody je opísaný v Ferraro, Miranda, and Price (2011) (viď obrázok 4.10). V tomto dokumente, Bernedo a jeho kolegovia tiež snažiť porozumieť mechanizmu za efektu porovnaním správania domácností, ktoré majú a neboli presunuté po ošetrení bola doručená. To znamená, hrubo, snaží sa zistiť, či liečba vplyv na domáci alebo správca domu.

    1. Čítať noviny, popísať ich dizajn, a to zhrnuli svoje poznatky. b) Do ich zistení ovplyvní, ako by ste mali posúdiť nákladovú efektivitu podobných zásahov? Ak áno, prečo? Ak nie, prečo nie?

14. [ ] V nadväznosti na Schultz et al. (2007) , Schultz a jeho kolegovia vykonať sériu troch pokusov o účinku opisných a prikazuje normy na odlišné správanie v oblasti životného prostredia (Využiť uterák) v dvoch kontextoch (hotel a timeshare barák) (Schultz, Khazian, and Zaleski 2008) ,

    1. Zhrnúť dizajn a poznatky z týchto troch pokusov.
    2. Ako, ak vôbec, sa im zmeniť svoj ​​výklad Schultz et al. (2007) ?

15. [ ] V reakcii na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) prevádzkoval sériu laboratórnych podobných experimentov na štúdium návrh elektrinu. Tu je spôsob, akým popísať abstraktne:

    "V experimente založenom na zisťovanie každý účastník videl hypotetickú elektrinu pre rodinu s relatívne vysokou spotrebou elektrickej energie, ktorá zahŕňa informácie o (a) historické účely, (b) porovnanie so svojimi susedmi, a (c) historické použitie s členením spotrebiča. Účastníci videli všetky typy informácií na jednom z troch formátov vrátane (a) tabuliek, (b) stĺpcových grafov, a (c) ikona grafickú časť. Máme správy o troch hlavných zistení. Po prvé, spotrebitelia rozumel každý typ informácií elektrinou používať najviac, keď to bolo predstavované v tabuľke, snáď preto, že tabuľky uľahčiť jednoduchý bodový odpočet. Po druhé, preferencie a zámery ušetriť elektrinu boli najsilnejšie informácií historického použitie, nezávisle na formáte. Po tretie, jedinci s nižšou energetickou gramotnosť chápať všetky informácie menej. "

    Na rozdiel od iných nadväzujúcich štúdiách bola hlavným výsledkom záujmu o Canfield, Bruin, and Wong-Parodi (2016) je hlásená správanie nie je skutočné správanie. Aké sú silné a slabé stránky tohto typu štúdia do širšieho výskumného programu podporujúce úspory energie?

16. [ , ] Smith and Pell (2003) je satirická meta-analýzu štúdií, ktoré dokazujú účinnosť padáky. Došli k záveru:

    "Rovnako ako u mnohých zásahy zabrániť chorobám, efektivita padákov nebola podrobená prísnemu posúdeniu pomocou randomizovanej kontrolovanej štúdie. Zástancovia medicíny založenej na dôkazoch kritizujú prijatie intervencií, ktoré boli hodnotené iba pomocou pozorovacie dáta. Myslíme si, že všetci môžu mať prospech, ak najradikálnejšiu protagonisti medicíny založenej na dôkazoch organizované a podieľal sa v dvojito zaslepenej, kontrolovanej randomizovanej, placebom, krížovej štúdii padáku. "

    Napíšte úvodníku vhodný pre širokú verejnosť, novinách, ako je The New York Times, argumentovať proti fetišizací experimentálnych dôkazov. Poskytujú špecifické, konkrétne príklady. Tip: Pozrite sa tiež, Bothwell et al. (2016) a Deaton (2010)

17. [ , , ] Rozdiel-in-rozdiely môžu odhady liečebného účinku byť presnejšia ako rozdiel-in-priemer odhadov. Napísať poznámku k inžiniera má na starosti testovanie typu A / B na start-up sociálne mediálne spoločnosti vysvetľujúce hodnoty prístupu rozdiel-in-rozdiely pre spustenie on-line experiment. Memorandum by malo obsahovať vyhlásenie o probléme, trochu intuície o podmienkach, za ktorých bude odhadcu rozdiel-in-rozdiel prekonala odhad rozdiel-in-povedať, a jednoduchý simulačné štúdie.

18. [ , ] Gary Loveman bol profesorom na Harvard Business School, než sa stal generálny riaditeľ Harrah, jeden z najväčších kasín spoločností na svete. Keď sa presťahoval do Harrah, Loveman transformovala spoločnosť s častých letov podobný vernostný program, ktorý zhromažďujú obrovské množstvo dát o správaní zákazníkov. Na vrchole tejto trvalé pripojenie k systému merania, spoločnosť rozbehol experimenty. Napríklad, oni by mohli spustiť experiment vyhodnotiť účinok kupónu pre voľný hotelový deň pre zákazníkov s konkrétnym hazardu vzoru. Tu je návod, ako Loveman opísal význam experimentovanie každodenné obchodné praktiky Harrah:

    "Je to ako nemusíte obťažovať ženy, nemusíte ukradnúť, a musíš mať kontrolnú skupinu. To je jedna z vecí, ktoré môžete stratiť svoju prácu po dobu Harrah's-nebeží kontrolnú skupinu. " (Manzi 2012, 146)

    Na webovú adresu spoločnosti nového zamestnanca s vysvetlením, prečo Loveman si myslí, že je to tak dôležité mať kontrolnú skupinu. Mali by ste sa pokúsiť obsahovať príklad-buď skutočné alebo zhotovené-pre ilustráciu svoje miesto.

19. [ , ] Nový experiment si kladie za cieľ odhadnúť vplyv príjmu upozornenia textové správy na vychytávanie očkovanie. 150 kliniky, každý s 600 vhodných pacientov, sú ochotní podieľať. Tam je fixné náklady 100 dolárov za každú kliniku, ktorú chcete pracovať, a to stojí 1 dolár za každú textovú správu, ktorú chcete odoslať. Ďalej budú všetky kliniky, ktoré pracujú s zmerať výsledok (či niekto dostal očkovanie) zadarmo. Predpokladajme, že máte rozpočet vo výške 1000 dolárov.

    1. Za akých podmienok by mohlo byť lepšie zamerať svoje zdroje na malom počte kliník a za akých podmienok by mohlo byť lepšie je šíriť v širšom meradle?
    2. Aké faktory by určiť najmenšiu veľkosť efekt, ktorý bude schopný spoľahlivo detegovať s rozpočtom?
    3. Napísať poznámku vysvetľujúce tieto kompromisy potenciálnemu financujúceho subjektu.

20. [ , ] Hlavný problém s on-line kurzov je oter; mnoho študentov, ktoré začínajú kurzy skončiť zahadzovanie-out. Predstavte si, že pracujete v online učení platformy, a projektant na nástupišti vytvorila vizuálne progress bar, ktorý si myslí, že pomôže zabrániť študentmi z vypadnutia predmetu. Ak chcete testovať vplyv bare na študentov pokroku vo veľkom výpočtovej spoločenské vedy kurzu. Potom, čo riešiť všetky etické problémy, ktoré môžu nastať pri pokuse vy a vaši kolegovia si robiť starosti, že kurz nemusí mať dostatok študentov, aby spoľahlivo detegovať účinky priebehu. Pri výpočtoch nižšie môžete predpokladať, že polovica študentov dostane postupovú lištu a pol nie. Ďalej možno predpokladať, že neexistuje žiadna interferencie. Inými slovami, môžete predpokladať, že účastníci sú ovplyvnené iba tým, či sa im dostalo ošetrenie alebo kontrolu; nie sú vykonáva, či ostatní ľudia podstúpila liečbu alebo kontrolu (pre viac formálne definíciu, pozri Gerber and Green (2012) , kap. 8). Prosím, majte prehľad o všetkých ďalších predpokladov, ktoré urobíte.

    1. Predpokladajme, že ukazovateľ priebehu sa očakáva zvýšenie podielu študentov, ktorí dokončia triedu o 1 percentuálny bod, aká je veľkosť vzorky potrebná spoľahlivo detegovať efekt?
    2. Predpokladajme, že ukazovateľ priebehu sa očakáva zvýšenie podielu študentov, ktorí dokončia triedu o 10 percentuálnych bodov, aká je veľkosť vzorky potrebná spoľahlivo detegovať efekt?
    3. A teraz si predstavte, že ste spustili experiment a študentom, ktorí dokončili všetky študijné materiály vzali záverečnú skúšku. Keď porovnáte záverečnú skúšku skóre študentov, ktorí dostali progress bar na tie, ktoré neboli, zistíte, veľa na svoje prekvapenie, že študenti, ktorí nedostali postupovú lištu v skutočnosti vyššie skóre. Znamená to, že ukazovateľ priebehu spôsobil študentom učiť sa menej? Čo sa môžete dozvedieť z Tento výsledok dát? (Tip: Pozri Gerber and Green (2012) , Ch. 7)

21. [ , ] V krásnej papier, Lewis and Rao (2015) názorne ilustrujú základné štatistické obmedzenia aj masívnych experimentov. Papier, ktorý pôvodne mal provokatívne názov "na privrátenej-nemožnosti meranie návratnosti investícií do inzercie" -shows, ako ťažké je merať návratnosť investícií do online reklamy, a to aj s digitálnymi experimenty zahŕňajúce milióny zákazníkov. Všeobecnejšie povedané, papier jasne ukazuje, že je ťažké odhadnúť malý účinok liečby uprostred hlučných dát výsledok. Alebo uviedol diffently, papier ukazuje, že odhadované účinky liečby bude mať veľké intervaly spoľahlivosti boli nárazová-to-štandardná odchýlka (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) pomer je malý. Dôležitou všeobecné poučenie z tohto článku je, že výsledky získané na základe pokusov s malým pomerom vplyv-to-štandardnej odchýlke (napr ROI z reklamných kampaní) bude neuspokojivá. Vaša úloha bude písať poznámky na niekoho v marketingovom oddelení vašej spoločnosti evaluting plánovaný experiment merať návratnosť investícií do reklamnej kampane. Vaša poznámka by mali byť podporované s grafmi výsledkov počítačových simulácií.

    Tu je niekoľko pozadia informácie, ktoré by ste mohli potrebovať. Všetky tieto číselné hodnoty sú typické pre reálne experimenty hlásené Lewis and Rao (2015) :

    • ROI, ktorá je kľúčovým metrika pre on-line reklamných kampaní, je definovaný ako čistý zisk z kampane (hrubého zisku z kampane mínus náklady na kampaň) vydelený nákladov na kampaň. Napríklad kampaň, ktorá nemala žiadny vplyv na predaja bude mať návratnosť investícií -100% a kampaň, kde zisky boli rovná nákladom bude mať návratnosť investície do 0 ° C.

    • Priemerné tržby na jedného zákazníka je $ 7 so štandardnou odchýlkou ​​vo výške $. 75

    • Očakáva sa, že kampaň s cieľom zvýšiť predaj o 0,35 $ za zákazníka, čo zodpovedá nárastu zisku 0,175 $ za zákazníka. Inými slovami, hrubá marža je 50%.

    • plánovanej veľkosť experimentu je 200.000 ľudí, polovica v liečenej skupine a polovica v kontrolnej skupine.

    • náklady na kampane je 0,14 $ na jedného účastníka.

    Napísať poznámku evaluting tento experiment. Odporučili by ste začína tento experiment ako bolo plánované? Ak áno, prečo? Ak nie, aké zmeny by ste doporučil?

    Dobrý poznámka sa bude riešiť tento konkrétny prípad; lepšie poznámka sa zovšeobecňovať tomto prípade v jednom smere (napr, ukazujú, ako rozhodnutie sa mení v závislosti na pomere nárazu-to-štandardnej odchýlky); a skvelý poznámka bude predstavovať plne všeobecný výsledok.

22. [ , ] Urobte to isté ako predchádzajúce otázku, ale skôr než simuláciu by ste mali používať analytické výsledky.

23. [ , , ] Urobte to isté ako predchádzajúce otázku, ale použiť aj simulácie a analytické výsledky.

24. [ , , ] Predstavte si, že ste napísal poznámku popísané vyššie buď pomocou simulácie, analytické výsledky, alebo oboje-i niekto z marketingového oddelenia odporúča použiť odhad rozdiel-in-rozdiely skôr ako rozdiel v dopravných prostriedkoch odhadcu (pozri oddiel 4.6.2) , Napíšte nový kratšie poznámky vysvetľujúce ako 0,4 korelácia medzi predajom pred experimentom a predaja po experimente by zmeniť svoj záver.

25. [ , ] Aby bolo možné vyhodnotiť účinnosť nové webové služby kariéry, univerzitnú kariéra služby úrad vykonal kontrolný randomizovanej medzi 10.000 študentov vstupujúcich do posledného ročníka školy. Voľný predplatné s unikátnym informáciám log-in bola odoslaná prostredníctvom exkluzívnej e-mailovú pozvánku až 5000 z náhodne vybraných študentov, zatiaľ čo ostatné 5.000 študenti sú v kontrolnej skupine a nemajú predplatné. Dvanásť mesiacov neskôr, prieskum follow-up (bez non-response) ukazuje, že v oboch testovaných skupín, 70% študentov majú zaistené zamestnanie na plný úväzok vo zvolenom odbore (pozri tabuľku 4.5). Zdá sa teda, že služba webová nemal žiadny účinok.

    Avšak, šikovný dátový vedec na univerzite trochu bližšie pozrel na dáta, a zistil, že iba 20% študentov v skupine liečebné vôbec zaznamenaná na účet po obdržaní e-mailu. Ďalej, a trochu prekvapivo, medzi tými, ktorí sa prihlásili na webové stránky len 60% mal zaistené zamestnanie na plný úväzok vo zvolenom odbore, ktoré bolo nižšie ako sadzba pre ľudí, ktorí sa neprihlásili a nižšia ako sadzba pre ľudí v riadiace podmienka (Tabuľka 4.6).

    1. Poskytnúť vysvetlenie pre to, čo sa mohlo stať.
    2. Aké sú dva rôzne spôsoby, ako vypočítať účinok liečby v tomto experimente?
    3. Vzhľadom k tomu, tento výsledok by kariéra služby univerzitnej poskytovať tento webový kariéry služby pre všetkých študentov? Len aby bolo jasno, to nie je otázka s jednoduchú odpoveď.
    4. Čo by mali robiť ďalej?

    Tip: Táto otázka presahuje materiálu, na ktoré sa vzťahuje v tejto kapitole, ale rieši problémy bežné v experimentoch. Tento druh experimentálneho designu je niekedy nazývaný dizajnom povzbudenie, pretože účastníci sa vyzývajú, aby sa zapojili do liečby. Tento problém je príkladom toho, čo sa nazýva jednostranný non-compliance (pozri Gerber and Green (2012) , Ch. 5)

26. [ ] Po ďalšom skúmaní sa ukázalo, že experiment opísaný v predchádzajúcej otázke bolo ešte zložitejšie. Ukazuje sa, že 10% ľudí v kontrolnej skupine platil za prístup k službe, a oni skončili s mierou zamestnanosti vo výške 65% (tabuľka 4.7).

    1. Kontaktné údaje sumarizujúce to, čo si myslíte, že sa deje a odporučí ďalší postup.

    Tip: Táto otázka presahuje materiálu, na ktoré sa vzťahuje v tejto kapitole, ale rieši problémy bežné v experimentoch. Tento problém je príkladom toho, čo sa nazýva obojstranný non-compliance (pozri Gerber and Green (2012) , Ch. 6)