Tevékenységek

Kulcs:

• nehézségi foka: könnyű , közepes kemény , nagyon nehéz
• megköveteli matematika ( )
• megköveteli kódolás ( )
• adatgyűjtés ( )
• a kedvenceim ( )

1. [ , ] Berinsky és munkatársai (2012) értékeli Mechanical Turk részben reprodukálni három klasszikus kísérletei. Megismételni a klasszikus ázsiai betegség keretező kísérletet Tversky and Kahneman (1981) . Tedd eredmények mérkőzés Tversky és Kahneman-nál? Tedd eredmények mérkőzés Berinsky és kollégái? Mi lenne, ha bármit tanít ez nekünk a Mechanical Turk felmérésben kísérletek?

2. [ , ] Egy kissé nyelv-in-pofa papír című "Meg kell szakítani," a szociálpszichológus, Robert Cialdini, az egyik szerző a Schultz et al. (2007) azt írta, hogy ő volt a korán nyugdíjba vonuló állásából, mint egy tanár, részben azért, mert a kihívások szállt szembe ezzel szántóföldi kísérletek a fegyelem (pszichológia), amely főként folytat laboratóriumi kísérletek (Cialdini 2009) . Olvassa Cialdini papír, és írjon neki egy e-mailt sürgette őt, hogy vizsgálja felül a break-up fényében lehetőségeit digitális kísérletek. Konkrét példákon kutatás, amely foglalkozik az aggodalmakat.

3. [ ] Annak meghatározásához, hogy kis kezdeti sikerek lock-in vagy elhalványulnak van de Rijt és és munkatársai (2014) beavatkozott négy különböző rendszerek kapna sikert véletlenszerűen kiválasztott résztvevők, majd mérjük a hosszú távú hatásai a tetszőleges siker. Tudna más rendszerek, amelyekben lehet futtatni hasonló kísérleteket? Értékelje ezeket a rendszereket tekintve kérdések tudományos értékű, algoritmikus zavaró (lásd 2. fejezet), és az etikát.

4. [ , ] Az egy kísérlet eredményei is függ a résztvevők. Hozzon létre egy kísérletet, majd futtatni Amazon Mechanical Turk (MTurk) két különböző toborzási stratégiák. Próbálja meg felvenni a kísérletet, és toborzási stratégiák, így az eredmények is lehet más, mint lehetséges. Például a toborzási stratégiák lehetne toborozni résztvevők reggel és este vagy kompenzálni résztvevők magas és az alacsony fizetés. Az ilyen típusú különbségek felvételi stratégia vezethet különböző medencék résztvevők és a különböző kísérleti eredményekre. Mennyire más volt az eredményeket kiderülhet? Mit mond ez a futó kísérleteket MTurk?

5. [ , , , ] Képzeld el, hogy tervezik az érzelmi fertőzés tanulmány (Kramer, Guillory, and Hancock 2014) . Az eredmények alapján egy korábbi megfigyeléses vizsgálat szerint Kramer (2012) dönt a résztvevők száma minden feltételt. Ez a két tanulmány nem feltétlenül egyeznek meg, így biztos, hogy kifejezetten sorolja valamennyi feltevést, amit csinál:

   1. Fuss egy szimuláció, amely eldönti, hogy hány résztvevő lett volna szükség kimutatására hatása akkora, mint a hatás Kramer (2012) a \ (\ alpha = 0,05 \) és \ (1 - \ beta = 0,8 \).
   2. Nem ugyanaz a számítás analitikusan.
   3. Mivel az eredmények Kramer (2012) volt az érzelmi fertőzés (Kramer, Guillory, and Hancock 2014) alatt működő (azaz kellett így több résztvevő mint szükséges)?
   4. A feltételezések, amit tett, amelyek a legnagyobb hatással a számítás?

6. [ , , , ] Válasz a fenti kérdés, hanem sokkal inkább, mint használ a korábbi megfigyeléses vizsgálat szerint Kramer (2012) eredményeit felhasználva egy korábbi természetes kísérlet Coviello et al. (2014) .

7. [ ] Mindkét Rijt et al. (2014) és Margetts et al. (2011) egyaránt kísérleteket végeznek, hogy tanulmányozza a folyamat az emberek petíció aláírása. Összehasonlítani és szembeállítani a tervezési és E tanulmányok megállapításait.

8. [ ] Dwyer, Maki, and Rothman (2015) végzett két szántóföldi kísérletek a kapcsolat a társadalmi normák és a környezetvédő magatartás. Itt az absztrakt saját papír:

   "Hogy lehet, hogy a pszichológiai tudomány hasznosítható ösztönző környezetvédő magatartás? Két vizsgálatban, beavatkozásokat, amelyek célja az energiatakarékosság viselkedést nyilvános fürdő megvizsgálta az befolyásolja leíró szabványok és a személyes felelősséget. Az 1. vizsgálatban a fény állapotát (azaz be vagy ki) manipulálták, mielőtt valaki belépett egy üres nyilvános fürdőszoba, jelezve, hogy a leíró norma ezt a beállítást. A résztvevők szignifikánsan nagyobb valószínűséggel lekapcsolják a villanyt, ha már ott sem voltak, amikor beléptek. A 2. vizsgálatban egy további feltételt tartalmaz, amelyben a norma kikapcsolja a fényt mutatni egy Konföderációs, de a résztvevők nem voltak maguk felelősek bekapcsolná. Személyes felelősség mérsékelte a befolyása a társadalmi normák a magatartásra; ha a résztvevők nem voltak felelősek bekapcsolása fény, hogyan befolyásolja az norma csökkent. Ezek az eredmények azt jelzik, hogy leíró szabványok és a személyes felelősség hatékonyságának szabályozására környezetvédő beavatkozások. "

   Olvassa el a papírt, és tervezzen egy replikációs tanulmány 1.

9. [ , ] Építve az előző kérdésre, most végez a design.

   1. Hogyan eredmények között?
   2. Mi lehet megmagyarázni ezeket a különbségeket?

10. [ ] Volt jelentős vita kísérletek résztvevői toborozzák Amazon Mechanical Turk. Ezzel párhuzamosan, ott is jelentős vita kísérletek résztvevői toborozzák egyetemi diákság. Írja meg a két oldalas feljegyzés összehasonlításával és szembeállításával a Turkers és egyetemisták a kutatók a résztvevők. Az összehasonlítás tartalmaznia kell a vitát mind tudományos, mind logisztikai kérdésekkel.

11. [ ] Jim Manzi könyve kontrollálatlan (2012) egy csodálatos bevezetés a hatalom kísérletezés az üzleti életben. A könyvben, átadta ezt a történetet:

    "Én egyszer egy találkozót egy igazi üzleti zseni, a self-made milliárdos, aki egy mély, intuitív megértése a hatalom a kísérletek. Cége töltött jelentős forrásokat próbálnak létrehozni nagy üzlet ablak, ami vonzza a fogyasztókat, és növeli az értékesítés, mint a hagyományos bölcsesség azt mondta, hogy kellene. A szakértők gondosan tesztelt tervezés után tervezés, és az egyes vizsgálati felülvizsgálati ülések alatt évig tartott, amelyekben egyáltalán nem lényeges előidéző ​​hatás minden új kijelző design értékesítés. Senior marketing és értékesítési vezetők találkoztak a vezérigazgató, hogy vizsgálja felül ezeket a történelmi vizsgálati eredmények toto. Bemutatása után az összes kísérleti adatok arra a következtetésre jutottak, hogy a hagyományos bölcsesség volt rossz, hogy ablak nem értékesítés. Az ajánlott akció volt, hogy csökkentsék a költségeket és erőfeszítéseket ezen a területen. Ez drámai módon demonstrálta, hogy a kísérletezés megváltoztatás hagyományos bölcsesség. A vezérigazgató válasza egyszerű volt: "Arra a következtetésre jutottam, hogy a tervezők nem nagyon jó." A megoldás az volt, hogy növelje erőfeszítést tárolására megjelenítése design, és hogy új embereket kell csinálni. " (Manzi 2012, 158–9)

    Melyik érvényessége az aggodalom a vezérigazgató?

12. [ ] Építve az előző kérdésre, képzeljük el, hogy te voltál a találkozón, ahol a kísérletek eredményeit vitatták meg. Mik négy kérdést, amit csak kívánhat, egy minden típusú érvényesség (statisztikai, konstrukció, a belső és külső)?

13. [ ] Bernedo, Ferraro, and Price (2014) vizsgálja a hétéves hatása víztakarékosság beavatkozás leírt Ferraro, Miranda, and Price (2011) (lásd Figure 4.10). Ebben a tanulmányban Bernedo és kollégái is törekszik, hogy megértsék a mechanizmus mögött a hatás összehasonlításával a háztartások viselkedésére, hogy van, és még nem tudtak a kezelés után átadták. Azaz nagyjából, megpróbálják látni, hogy a kezelés hatással volt a hazai vagy a háztulajdonos.

    1. Olvassa el a papír, leírja a tervezés, és összefoglalja az eredményeket. b) Ne megállapításait befolyásolják, hogyan kell értékelni a költséghatékonyság hasonló beavatkozás? Ha igen, miért? Ha nem, miért nem?

14. [ ] Egy nyomon követése Schultz et al. (2007) , Schultz és munkatársai végre egy sor három kísérlet hatására a leíró és a felfüggesztő szabványok eltérő környezeti viselkedés (törölköző újrahasznosítás) két kontextusban (a szálloda és az időben megosztott lakás) (Schultz, Khazian, and Zaleski 2008) .

    1. Foglalja össze a tervezés és az eredmények a három kísérlet.
    2. Hogyan, ha egyáltalán nem is módosítja az értelmezése Schultz et al. (2007) ?

15. [ ] Válaszul a Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) futott egy sor laboratóriumi kísérletek, mint tanulni a design villanyszámlát. Itt van, hogyan írják le azt az absztrakt:

    "Egy felmérés-alapú kísérletben minden résztvevő látta, hogy egy hipotetikus villanyszámla egy család viszonylag magas villamosenergia-felhasználás, amely információt (a) történelmi célú használatra, (b) az összehasonlítást szomszédok, és (c) a történelmi használható készülék bontásban. A résztvevők látta típusú információkat az alábbi három formátumot, beleértve (a) táblázatok (b) bár grafikonok, és (c) ikonra grafikonok. Számolunk be három fő megállapításait. Először is, a fogyasztók érteni minden egyes villamosenergia-felhasználásra vonatkozó információk a leginkább, amikor bemutatott egy táblázatot, talán azért, mert táblázatok megkönnyítik egyszerű pont olvasás. Másodszor, a preferenciák és a szándékok menteni villamosenergia voltak a legerősebbek a történelmi célú használatra információt, független formátumban. Harmadszor, a gyengébb energia műveltség érteni minden információt kevesebb. "

    Eltérően más követéses vizsgálatok, a fő eredménye az érdeklődés Canfield, Bruin, and Wong-Parodi (2016) jelentette viselkedés nem a tényleges viselkedés. Mik az erősségei és gyengeségei ilyen típusú vizsgálat egy szélesebb kutatási program támogatása energiatakarékosság?

16. [ , ] Smith and Pell (2003) egy szatirikus meta-analízis tanulmányok bizonyítják hatékonyságát ejtőernyők. Arra a következtetésre jutnak:

    "Mint sok beavatkozások célja, hogy megakadályozza betegségek, hatékonyságát ejtőernyők nem vetettek alá szigorú értékelésnek segítségével randomizált, kontrollált vizsgálatok. Támogatja a bizonyítékokon alapuló orvoslás kritizálták a beavatkozások elfogadására értékeltük kizárólag megfigyelési adatok. Úgy gondoljuk, hogy mindenki számára lehet hasznos, ha a legradikálisabb főszereplői bizonyítékokon alapuló orvoslás szervezett, és részt vett egy kettős-vak, randomizált, placebo-kontrollos, keresztezett vizsgálatban az ejtőernyő. "

    Írjon egy op-ed alkalmas egy általános olvasóközönségnek újság, mint a The New York Times, megdönti a fetisizálása kísérleti bizonyíték. Konkrét, konkrét példákat. Tipp: Lásd még Bothwell et al. (2016) és Deaton (2010)

17. [ , , ] Különbség-in-különbségek becslések a kezelési hatás pontosabb lehet, mint a különbség-in-átlag becslés. Írja meg a feljegyzést, hogy egy mérnök felelős az A / B tesztelés induló szociális média cég elmagyarázza a különbség értéke-in-különbségek megközelítés fut egy online kísérletet. A feljegyzés tartalmazza a nyilatkozatot a probléma, néhány intuíció a feltételeket, amelyek alapján a különbség-in-különbség becslő jobban teljesít majd a különbség-in-átlag becslés, és egy egyszerű szimulációs vizsgálat.

18. [ , ] Gary Loveman professzora volt, a Harvard Business School előtt lett a vezérigazgató Harrah, az egyik legnagyobb kaszinó vállalat a világon. Mikor költözött Harrah, Loveman átalakult a cég egy törzsutas-szerű hűségprogram összegyűjtő hatalmas mennyiségű adatokat ügyfelek viselkedését. Ezen felül mindig-mérési rendszer, a cég futni kezdett kísérleteket. Például, lehet, hogy fut egy kísérletet, hogy értékelje a hatás egy kupont ingyenes szállodai éjszaka az ügyfelek egy adott szerencsejáték mintát. Itt van, hogyan Loveman leírt fontos a kísérletezés Harrah mindennapi üzleti gyakorlat:

    "Ez olyan, mint ha nem zaklatni a nők, akkor nem lopni, és akkor megvan, hogy a kontroll csoport. Ez az egyik dolog, hogy akkor elveszíti az állást a Harrah's-nem fut a kontrollcsoporthoz képest. " (Manzi 2012, 146)

    Írjon egy e-mailt, hogy egy új alkalmazott miért Loveman gondolja, hogy ez annyira fontos, hogy a kontrollcsoporthoz képest. Meg kell próbálnia, hogy tartalmaz egy példát, valós vagy össze-, hogy bemutassa a pontot.

19. [ , ] Egy új kísérlet célja megbecsülni a hatása a fogadó szöveges üzenet emlékeztetőket elleni oltás felvétele. 150 klinikák, mindegyik 600 beteg közül hajlandóak részt venni. Van egy fix költség 100 dollárt minden egyes klinikán szeretne dolgozni, és ez kerül 1 dollár minden szöveges üzenetet szeretne küldeni. Továbbá bármilyen klinikák hogy dolgozunk méri az eredményt (hogy valaki oltást kapott) ingyen. Tegyük fel, hogy van egy költségvetés 1000 dollár.

    1. Milyen feltételek mellett lehetne ezt jobban összpontosítani a forrásokat kisszámú klinikák és milyen feltételek mellett lehetne ezt jobban, hogy osszuk el szélesebb körben?
    2. Milyen tényezők határozzák meg a legkisebb hatás mértéke, amely képes lesz arra, hogy megbízhatóan észlelni a költségvetés?
    3. Írja meg a feljegyzést, hogy elmagyarázza ezeket a kompromisszumokat a potenciális finanszírozók számára.

20. [ , ] A fő probléma az online kurzusok lemorzsolódás; sok diák kezdetű tanfolyamok végén lemorzsolódás. Képzeld el, hogy dolgozik az online tanulási platform, és a tervező a platform teremtett vizuális fejlődést sáv, amely azt hiszi, segít megelőzni a lemorzsolódás a kurzus. Azt szeretné, hogy teszteljék a hatását állapotjelző diákok nagy számítási társadalomtudományi kurzus. Miután kezelnek minden etikai kérdések merülhetnek fel a kísérletben, Ön és munkatársai, hogy aggódik, hogy a tanfolyam lehet, hogy nem elég a diákok megbízhatóan kimutatni a hatását a progress bar. Az alábbi számítások, akkor feltételezhető, hogy a fele a diákok kapnak a progress bar és fél nem. Továbbá, akkor feltételezhető, hogy nincs interferencia. Más szóval, akkor feltételezhető, hogy a résztvevők csak befolyásolja az, hogy kaptak a kezelés vagy ellenőrzés; arra, hogy nincs meg, hogy más ember kapta meg a kezelést, vagy (a formális meghatározás lásd Gerber and Green (2012) , Ch. 8). Kérjük, nyomon követheti a további feltételezések, amit csinál.

    1. Tegyük az állapotjelző sáv várhatóan növeli a tanulók aránya, akik befejezni a class 1 százalékponttal, mi a szükséges mintanagyság megbízhatóan érzékeli a hatást?
    2. Tegyük az állapotjelző sáv várhatóan növeli a tanulók aránya, akik befejezni az osztály 10 százalékponttal, mi a szükséges mintanagyság megbízhatóan érzékeli a hatást?
    3. Most képzeljük el, hogy le kell futtatni a kísérletet, és a diákok, akik mind a tananyag hoztak záróvizsga. Ha összevetjük a záróvizsga rengeteg diák, akik a progress bar azon, hogy nem, akkor talál, sok a meglepetés, hogy a diákok, akik nem kaptak a progress bar ténylegesen magasabb pontszámot értek el. Ez azt jelenti, hogy a progress bar okozott a diákoknak kevesebb? Mit lehet tanulni ezt az eredményt az adatokat? (Tipp: Lásd Gerber and Green (2012) , Ch. 7)

21. [ , ] Egy szép papír, Lewis and Rao (2015) élénken illusztrálják alapvető statisztikai korlátozása akár tömeges kísérletek. A papír, amely eredetileg a provokatív cím "A Közel-lehetetlensége mérése Visszalépés reklám" -shows milyen nehéz mérni a megtérülést az online hirdetések, akár digitális érintő kísérletek millió ügyfél. Még általánosabban, a papír világosan mutatja, hogy nehéz megbecsülni kis kezelés hatását közepette zajos eredmény adatokat. Vagy azt diffently, a papír azt mutatja, hogy a becsült kezelési hatások nagy megbízhatósági intervallumok, amikor a hatás-to-standard eltérése (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) arány kicsi. Az a fontos, általános tanulsága, ez a papír, hogy a kísérletek eredményei kis hatás-to-standard eltérés aránya (pl ROI hirdetési kampányok) lesz kielégítő. A kihívás az lesz, hogy írjon egy jegyzetet valaki a marketing osztály a cég evaluting tervezett kísérlet mérésére ROI egy reklámkampány. A memo kell támogatni grafikonok eredményeinek számítógépes szimuláció.

    Íme néhány háttér-információt, hogy szükség lehet. Mindezek a számszerű értékek jellemzőek a valós kísérletek jelentett Lewis and Rao (2015) :

    • ROI, a legfontosabb mutató az online hirdetési kampányok, úgy definiáljuk, hogy a nettó eredmény a kampány (bruttó nyereség a kampány mínusz költségek kampány) osztva a költség a kampány. Például egy olyan kampányt, nem volt hatása az értékesítés lenne egy ROI -100%, és a kampány, ahol nyereség lenne egyenlő költségekkel kellene egy ROI 0.

    • Az átlagos értékesítési egy ügyfél 7 $ szórása 75 $.

    • A kampány várhatóan növelni az értékesítést 0,35 $ per ügyfél, amely megfelel a nyereség növekedését a $ 0,175 egy ügyfél. Más szavakkal, a bruttó árrés 50%.

    • a tervezett méret a kísérlet 200.000 embert, fele a kezelt csoportban, és a fele a kontroll csoportban.

    • a költségek a kampány 0,14 $ per résztvevője.

    Írja meg a feljegyzést evaluting ezt a kísérletet. Ajánlaná ezt a kísérletet indít a tervek? Ha igen, miért? Ha nem, milyen változásokat kíván ajánlani?

    Egy jó emlékeztető foglalkozik majd ezzel a konkrét esetben; jobb emlékeztető fog általánosítani ebben az esetben az egyik módja (pl mutatják, hogy a döntés függvényében változik a hatás-to-standard eltérés aránya); és egy nagy emlékeztető lesz egy teljesen általános eredményt.

22. [ , ] Nem ugyanaz, mint az előző kérdés, hanem sokkal inkább, mint a szimuláció kell használni analitikus eredményeket.

23. [ , , ] Nem ugyanaz, mint az előző kérdésre, de használja mind szimulációs és analitikus eredményeket.

24. [ , , ] Tegyük fel, hogy írtál a memo a fent leírt, segítségével akár szimuláció, analitikus eredményeket, vagy mindkettő, és valaki a marketing részleg használatát javasolja a különbség-in-különbségek becslés helyett különbség eszköz becslés (lásd 4.6.2) . Írj egy új rövidebb feljegyzés arról, hogyan 0,4 összefüggés értékesítés a kísérlet előtt és az értékesítés után a kísérlet megváltoztatná a következtetést.

25. [ , ] Annak érdekében, hogy értékelje a hatékonyságát az új web-alapú karrier szolgáltatás, egyetemi karrier szolgáltatások irodája végzett randomizált kontroll között 10.000 diák belépő utolsó évében az iskola. Egy ingyenes előfizetés egyedi bejelentkezési adatok küldtek át egy exkluzív meghívó e-mailt, hogy 5000 véletlenszerűen kiválasztott hallgatók, míg a másik 5000 diák a kontrollcsoportban, és nem rendelkezik előfizetéssel. Tizenkét hónap elteltével a követéses vizsgálat (nem, nem válasz) azt mutatja, hogy mind a kezelt és a kontrollcsoport 70% -a diákok már biztosított teljes munkaidős foglalkoztatás a választott területen (4.5 táblázat). Úgy tűnik tehát, hogy a web-alapú szolgáltatás nem volt hatása.

    Azonban egy ügyes adatok tudós az egyetemen nézett az adatokat egy kicsit jobban, és megállapította, hogy csak 20% -a diákok a kezelt csoport valaha bejelentkezett a fiókba, miután megkapta az e-mailt. Továbbá, és kissé meglepő módon, azok között, akik belépett a honlapon csak 60% volt biztosított a teljes munkaidős foglalkoztatás a választott területen, amely alacsonyabb volt, mint az arány az emberek, hogy nem jelentkeztünk be, és alacsonyabb a ráta emberek a kontroll körülmények között (4.6 táblázat).

    1. Adjon magyarázatot arra, mi történhetett volna.
    2. Mi két különböző módon lehet kiszámítani a hatás a kezelés ebben a kísérletben?
    3. Mivel ez az eredmény, ha a egyetemi tanulmányai szolgáltatást nyújt a web-alapú karrier szolgáltatást biztosít minden diák? Csak hogy világos legyen, ez a kérdés nem egy egyszerű válasz.
    4. Mit csinálnak a következő lépés?

    Tipp: Ez a kérdés túlmutat az anyagi, melyeket a fejezetben, de azokkal a kérdésekkel foglalkozik a közös kísérletekben. Ez a fajta kísérleti tervezés néha ösztönzést design, mert a résztvevők arra ösztönzik, hogy vegyenek részt a kezelést. Ez a probléma egy példa az úgynevezett egyoldalú nem felel meg (lásd a Gerber and Green (2012) , Ch. 5)

26. [ ] Miután további vizsgálatot, kiderül, hogy a kísérlet, amelyet az előző kérdés még bonyolultabb. Kiderült, hogy 10% -a az embereknek a kontrollcsoportban fizetett a szolgáltatás elérését, és végül a foglalkoztatási ráta 65% (4.7 táblázat).

    1. Írjon összefoglalja, mit gondol, mi történik, és javasoljuk a teendők.

    Tipp: Ez a kérdés túlmutat az anyagi, melyeket a fejezetben, de azokkal a kérdésekkel foglalkozik a közös kísérletekben. Ez a probléma egy példa az úgynevezett kétoldalas nem felel meg (lásd a Gerber and Green (2012) , Ch. 6)