Įmonės veiklos sritys

raktas:

• sudėtingumo laipsnį: lengva , vidutinio , sunku , labai sunku
• reikia matematikos ( )
• reikalauja kodavimo ( )
• duomenų rinkimas ( )
• Mano mėgstamiausi ( )

1. [ , ] Berinsky ir kolegos (2012) įvertina Mechaninis Turk iš dalies pakartoti tris klasikinių eksperimentus. Pakartotiniai klasikinį Azijos Ligos kadravimo eksperimentą Tversky and Kahneman (1981) . Ar jūsų rezultatai rungtynės Tversky ir Kahneman s? Ar jūsų rezultatai mačo Berinsky ir kolegas? Kas-jeigu nieko-ar tai mus moko apie naudojant mechanines Turk dėl tyrimo eksperimentuose?

2. [ , ] Be šiek tiek kalba-in-skruosto popieriaus pavadinimu "Turime lūžti", socialinis psichologas Robertas Cialdini, vienas iš autorių Schultz et al. (2007) , rašė, kad jis buvo į pensiją anksčiau iš darbo, kaip profesorius, iš dalies dėl iššūkių, jis susiduria daro lauko eksperimentus disciplinos (psichologijos), kad daugiausia vedančio lab eksperimentai (Cialdini 2009) . Skaityti Cialdini anketa popierių ir rašyti jam laišką, ragindamas jį apsvarstyti savo break-up, atsižvelgiant į skaitmeninių eksperimentų galimybes. Naudokite specifinius pavyzdžius tyrimams, kad spręsti savo problemas.

3. [ ] Siekiant nustatyti, ar mažos pradinės pasisekimas užrakinti-arba išnyks, van de Rijt ir su kolegomis (2014) įsikišo į keturias skirtingas sistemas suteikdami sėkmės atsitiktinai atrinktų dalyvių, o tada išmatavo ilgalaikį poveikį šio savavališko sėkmę. Ar manote, kad kitose sistemose, kuriose galima paleisti panašius eksperimentus? Įvertinti šių sistemų požiūriu klausimais mokslinę vertę, algoritminės kebli (žr 2 skyrius) ir etiką.

4. [ , ] Eksperimentai rezultatai gali priklausyti nuo dalyvių. Sukurti eksperimentą ir paleisti jį Amazon Mechanical Turk (MTurk), naudojant du skirtingus įdarbinimo strategijas. Pabandykite pasirinkti eksperimentuoti ir įdarbinimo strategijas, kad rezultatai bus tokie pat skirtingi, kaip įmanoma. Pavyzdžiui, jūsų įdarbinimo strategijos galėtų būti įdarbinti dalyvių ryte ir vakare arba kompensuoti dalyvius su dideliu ir mažu atlyginimu. Šie skirtumai įdarbinimo strategijos rūšių gali sukelti įvairių klanus dalyvių ir įvairių eksperimentinių rezultatų. Kaip skiriasi nebuvo jūsų rezultatai pasirodyti? Ką tai rodo apie darbą eksperimentus su MTurk?

5. [ , , , ] Įsivaizduokite, kad jums buvo planuoja emocinio užkrato tyrimą (Kramer, Guillory, and Hancock 2014) . Naudokite rezultatus iš ankstesnės stebėjimo tyrimą pagal Kramer (2012) nuspręsti, dalyvių skaičių kiekvienoje būklės. Šie du tyrimai nesutampa puikiai, todėl būtinai aiškiai išvardyti visas prielaidas, kad jūs padaryti:

   1. Pradėti modeliavimą, kad bus nuspręsti, kiek dalyviai buvo reikalinga siekiant nustatyti poveikį toks didelis, kaip į poveikio Kramer (2012) su \ (\ alpha = 0,05 \) ir \ (1 - \ beta = 0,8 \).
   2. Ar tą patį skaičiavimą analitiškai.
   3. Atsižvelgiant į rezultatus, Kramer (2012) buvo Emocinis Infekcija (Kramer, Guillory, and Hancock 2014) per varomas (ty, ar jis turi daugiau dalyvių nei reikia)?
   4. Prielaidų, kad jums padarytų, kurie turi didžiausią poveikį jūsų skaičiavimo?

6. [ , , , ] Atsakymas į klausimą, kas išdėstyta, o ne naudojant ankstesnę stebimasis tyrimas pagal Kramer (2012) panaudoti rezultatus iš ankstesnio natūralios eksperimentą Coviello et al. (2014) .

7. [ ] Tiek Rijt et al. (2014) ir Margetts et al. (2011) ir atlikti eksperimentus, kad studijuoti žmonių pasirašyta peticija procesą. Palyginti ir sugretinti dizaino ir išvadas šiais tyrimais.

8. [ ] Dwyer, Maki, and Rothman (2015) atliko du lauko eksperimentus tarp socialinių normų ir proenvironmental elgesio santykius. Štai jų popieriaus Anotacija:

   "Kaip gali psichologinis mokslas būti naudojama skatinti proenvironmental elgesį? Dviejuose tyrimuose, intervencijos, kuriomis siekiama skatinti energijos taupymą elgesį viešose vonios išnagrinėjo aprašomosios normų ir asmeninės atsakomybės įtakas. Tyrimo 1, šviesa statusas (ty, įjungti arba išjungti) buvo manipuliuojama prieš ką nors įvedėte neužimtą visuomenės vonios kambarys, signalizacijos apibūdinantį normą šį nustatymą. Dalyviai buvo žymiai labiau tikėtina, kad įjungti šviesas išjungti, jei jie buvo išjungti, kai jie atvyko. Tyrime 2, papildoma sąlyga buvo įtrauktas į kurią, kad būtų išjungiamas šviesą norma buvo įrodyta bendrininke, bet dalyvavo patys neatsako už ją įjungus. Asmeninė atsakomybė prižiūrima socialinių normų dėl elgesio įtaką; kai dalyviai neatsako už įjungiant šviesą, buvo sumažinta iš normos įtaka. Šie rezultatai rodo, kaip aprašomasis normos ir asmeninė atsakomybė gali reguliuoti proenvironmental intervencijų veiksmingumą. "

   Skaityti savo popierių ir dizaino studijų 1 replikaciją.

9. [ , ] Remiantis ankstesniame klausime, dabar atlieka savo dizainą.

   1. Kaip rezultatai palyginti?
   2. Kas gali paaiškinti šiuos skirtumus?

10. [ ] Ten buvo didelė diskusija apie eksperimentus su dalyvių įdarbinti iš Amazon Mechanical Turk. Tuo pačiu metu, taip pat buvo didelė diskusija apie eksperimentus su dalyvių įdarbinti iš bakalauro studentų populiacijos. Rašyti dviejų puslapių atmintinę lyginant ir priešpastatant Turkers ir, studentus tyrėjais dalyviams. Jūsų palyginimas turėtų apimti tiek mokslo ir logistikos klausimus diskusiją.

11. [ ] Jim Manzi knyga Nevaldomas (2012) yra puikus įvadas į eksperimentų versle galia. Knygoje jis perduodamas šią istoriją:

    "Aš buvau vieną kartą per susitikimą su tikra verslo genijus, savadarbe milijardierius, kuris turėjo giliai, intuityvus supratimas eksperimentų galia. Jo bendrovė praleido daug išteklių bando sukurti puikias parduotuvė langas rodo, kad pritrauktų vartotojus ir didina pardavimus, kaip tradicinės išminties teigė, kad jie turėtų. Ekspertai kruopščiai išbandytas dizainą po dizaino ir atskirų bandymų peržiūros sesijų per keletą metų laikotarpiu laikomi nepateikdamas jokių reikšmingą priežastinį poveikį kiekvieną naują ekrano dizainas pardavimų. Vyresnieji rinkodaros ir Merchandising vadovai susitiko su direktoriaus peržiūrėti šiuos istorinius testo rezultatus toto. Pateikusi visi eksperimentinių duomenų, jie padarė išvadą, kad tradicinės išminties klydau-tą langą rodo nevairuokite pardavimus. Jų rekomenduojama imtis veiksmų, siekiant sumažinti išlaidas ir pastangas šioje srityje. Tai dramatiškai parodė eksperimentų galimybę juos panaikinti tradicinės išminties. CEO atsakymas buvo paprastas: "Mano išvada yra, kad jūsų dizaineriai nėra labai gerai." Jo sprendimas buvo padidinti pastangas parduotuvė ekrano dizainas, ir gauti naujų žmonių tai padaryti. " (Manzi 2012, 158–9)

    Kuris tipas galiojimo yra generalinio direktoriaus rūpestis?

12. [ ] Remiantis ankstesniame klausime, įsivaizduokite, kad jums buvo posėdyje, kur buvo aptartas eksperimentų rezultatai. Kas yra keturi klausimai, galite paprašyti, po vieną kiekvienai galiojimo tipo (statistinis, statyti, vidaus ir išorės)?

13. [ ] Bernedo, Ferraro, and Price (2014) studijuoja septynerių metų poveikį vandens taupymo intervencijos aprašyta Ferraro, Miranda, and Price (2011) (žr 4.10 pav). Šiame darbe Bernedo ir jo kolegos taip pat siekia suprasti už poveikio mechanizmą lyginant namų ūkių, kurie ir nebuvo perkeliamas po gydymo buvo pristatytas elgesį. Tai reiškia, kad maždaug, jie bando išsiaiškinti, ar gydymas paveikė namus ar namą.

    1. Skaityti laikraščius, apibūdinti savo dizainą, ir apibendrinti gautus rezultatus. b) Ar jų išvados įtakos, kaip jums reikia įvertinti ekonominį efektyvumą panašių intervencijų? Jei taip, kodėl? Jei ne, tai kodėl?

14. [ ] Be tolesnių veiksmų Schultz et al. (2007) , Schultz kolegos atlikti tris eksperimentus su aprašomosios ir draudžiamieji normų poveikio seriją dėl kitokio aplinkos elgesys (rankšluostį pakartotinio naudojimo) dviem kontekstuose (viešbutis ir pakaitinio Kondominiumas) (Schultz, Khazian, and Zaleski 2008) ,

    1. Apibendrinkite dizaino ir išvadas iš šių trijų eksperimentų.
    2. Kaip, jei ne visi, jie pakeisti savo aiškinimą Schultz et al. (2007) ?

15. [ ] Be reaguojant į Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) vyko Lab-kaip eksperimentų seriją studijuoti elektros sąskaitas dizainą. Štai kaip jie aprašo ją abstrakčiai:

    "Apklausoje pagrindu eksperimentą, kiekvienas dalyvis pamačiau hipotetinę elektros sąskaitą šeimai su santykinai didelės elektros energijos naudojimo, apimanti informacijos apie (a) tradiciniam naudojimui, (b) palyginimai su kaimynais ir (c) istorinės naudojimas su prietaiso gedimo. Dalyviai matė visa informacija tipų vienu iš trijų formatų, įskaitant (a) lentelės (b) bar grafikai, ir (c) piktograma grafikų. Mes pranešame apie tris pagrindines išvadas. Pirma, vartotojai suprato kiekvieną elektros energijos naudojimo tipo informaciją labiausiai, kai jis buvo pristatytas į lentelę, galbūt todėl, stalai palengvinti paprastą tašką svarstymą. Antra, pageidavimus ir ketinimai taupyti elektros energiją buvo stipriausia už istorinį naudoti informaciją, nepriklausomai nuo formato. Trečia, asmenys su mažesniu energijos raštingumo suprantama visą informaciją apie mažiau. "

    Skirtingai nuo kitų tolesnių tyrimų, pagrindinis rezultatas susidomėjimą Canfield, Bruin, and Wong-Parodi (2016) pranešė elgesį ne faktinį elgesį. Kokie yra privalumai ir trūkumai šį studijų tipo platesnę mokslinių tyrimų programos skatinti energijos taupymą?

16. [ , ] Smith and Pell (2003) yra satyrinis metaanalizė tyrimų, įrodančių, kad parašiutų efektyvumą. Jie padarė išvadą:

    "Kaip ir daugelis intervencijų siekiama išvengti sveikatos sutrikimų, iš parašiutų veiksmingumas nebuvo taikoma griežta vertinimo naudojant randomizuotų kontroliuojamų tyrimų. Advokatai įrodymais pagrįstos medicinos kritikavo intervencijų vertinamas naudojant tik stebėjimų duomenis priėmimą. Mes manome, kad kiekvienas žmogus gali būti naudinga, jei pats radikaliausias kovotojos įrodymais pagrįstos medicinos organizavo ir dalyvavo Dvigubai aklo, atsitiktinių imčių, placebu kontroliuojami, kryžminis tyrimas iš parašiuto. "

    Rašyti op-ED tinka bendro skaitytojų laikraštyje, pavyzdžiui, "The New York Times", teigdamas, prieš eksperimentinius duomenis fetishization. Teikti specialią konkrečius pavyzdžius. Patarimas: Taip pat žr Bothwell et al. (2016) ir Deaton (2010)

17. [ , , ] Skirtumas-in-skirtumus įvertiniai gydymo poveikis gali būti tikslesnis nei skirtumas-in-vidutinis įvertinimais. Rašyti Atmintinė, taikomus A / B testavimo inžinierius pradinis socialinės žiniasklaidos bendrovė, paaiškinanti skirtumo-in-skirtumų metodo vertę veikia internete eksperimentą. Įrašas turėtų būti problemos pareiškimą, kai intuicija apie sąlygas, kuriomis skirtumas-in-skirtumo prognozė bus lenkia skirtumas-in-vidurkio prognozės ir paprastą modeliavimo studiją.

18. [ , ] Gary Loveman buvo Harvardo verslo mokyklos profesorius, prieš tapdamas "Harrah" generalinis direktorius, vienas iš didžiausių kazino bendrovių pasaulyje. Kai jis persikėlė į Harrah, Loveman pakeitė kompaniją dažnų skrydžių panašūs lojalumo programa, kuri surinkta didžiuliai duomenų apie klientų elgesį. Ant šio visada ant matavimo sistemą, bendrovė pradėjo veikia eksperimentus. Pavyzdžiui, jie gali paleisti eksperimentą, skirtą vertinti Europos kuponu poveikį laisvo viešbučio naktį klientams su konkrečiu lošimo modelio. Štai kaip Loveman aprašyta eksperimentų svarbą Harrah kasdienius verslo praktiką:

    "Tai tarsi jūs neturite priekabiauti moterims, jūs neturite vogti, ir jūs turite turėti kontrolinę grupę. Tai yra vienas iš dalykų, kad jūs galite prarasti savo darbą ne Harrah's-neveikia kontrolės grupę. " (Manzi 2012, 146)

    Rašyti laišką naujam darbuotojui paaiškinti kodėl Loveman mano, kad tai yra labai svarbu turėti kontrolinę grupę. Jūs turėtumėte pabandyti įtraukti pavyzdį-arba realią ar pagaminti-iliustruoti savo tašką.

19. [ , ] Naujas eksperimentas siekiama įvertinti gauti teksto žinutę priminimus vakcinacijos įsisavinimą poveikį. 150 klinikose, kiekvienas su 600 tinkamų pacientų, kurie nori dalyvauti. Yra nustatyta kaina 100 JAV dolerių už kiekvieną klinikoje norite dirbti, ir tai kainuoja 1 dolerį už kiekvieną tekstinį pranešimą, kurį norite siųsti. Be to, visi klinikos, kad jūs dirbate su matuos rezultatus (ar kažkas gavo vakcinavimas) nemokamai. Tarkime, kad jūs turite 1000 dolerių biudžetą.

    1. Kokiomis sąlygomis jis gali būti geriau sutelkti savo išteklius nedaugeliui klinikose ir kokiomis sąlygomis gali būti, geriau juos skleisti plačiau?
    2. Kokie veiksniai lemtų mažiausias poveikio dydį, kad jums bus suteikta galimybė patikimai aptikti su savo biudžetą?
    3. Rašyti atmintinę paaiškinti šiuos kompromisus dėl galimo finansuotojas.

20. [ , ] Didelė problema su internetinius kursus yra nudilimas; daugelis studentų, kurie prasideda kursus baigti lašinamojo-out. Įsivaizduokite, kad dirbate internete mokymosi platformą, o ne platforma dizaineris sukūrė vizualinį juosta, kad ji mano, padės išvengti studentus iškristi iš kurso. Jūs norite išbandyti juosta studentams poveikį didelio skaičiavimo socialinių mokslų kursą. Po sprendžiant bet kokius etikos klausimus, kurie gali kilti eksperimente, jūs ir jūsų kolegos gauti neramu, kad kursas gali neturėti pakankamai studentus patikimai aptikti progreso juostą poveikį. Žemiau jūsų skaičiavimus galima daryti prielaidą, kad studentai pusę gaus juosta, o pusė ne. Be to, galite manyti, kad nėra trukdžių. Kitaip tariant, galite manyti, kad dalyviai turi įtakos tik pagal tai, ar jie gavo gydymą arba kontroliuoti; jie nėra vykdomas, ar kiti žmonės gavo gydymą ar kontrolę (už daugiau formalaus apibrėžimo žr Gerber and Green (2012) , Ch. 8). Prašome sekti jokių papildomų prielaidų, kad jūs darote.

    1. Tarkime, kad juosta tikimasi padidinti studentams, kurie baigti klasę 1 procentiniu punktu dalį, kas yra imties dydis reikalingas patikimai aptikti poveikį?
    2. Tarkime, kad juosta tikimasi padidinti studentams, kurie baigti klasę 10 procentinių punktų dalį, kas yra imties dydis reikalingas patikimai aptikti poveikį?
    3. Dabar įsivaizduokite, kad turite paleisti eksperimentą ir studentams, kurie baigė visi kurso medžiagos ėmėsi baigiamąjį egzaminą. Jei lygintume egzamino balus studentų, kurie gavo juosta tiems, kurie nebuvo, jums rasti daug savo nuostabai, kad studentai, kurie negavo juosta iš tikrųjų gavo didesnis. Ar tai reiškia, kad juosta sukelia mokinius mokytis mažiau? Ką jūs galite mokytis iš šio rezultato duomenų? (Patarimas: Žr Gerber and Green (2012) , Ch 7).

21. [ , ] Gražioje popieriaus, Lewis and Rao (2015) vaizdžiai iliustruoja pagrindinę statistinę apribojimas net masinių eksperimentams. Popieriaus, kuris iš pradžių turėjo provokuojantis pavadinimas "Dėl beveik neįmanoma išmatuoti Grąžinimo reklamai" -shows, kaip sunku išmatuoti investicijų į interneto skelbimų grąžą, net su skaitmeniniais eksperimentai įtraukti milijonus klientų. Apskritai, popieriaus aiškiai rodo, kad sunku apskaičiuoti nedidelį gydymo poveikį apsuptyje triukšmingoje rezultatų duomenis. Arba pareiškė diffently, popieriaus rodo, kad apskaičiuotos gydymo poveikis turės didelės patikimumo intervalų, kai poveikis iki standartinio nuokrypis (\ (\ frac {\ Delta \ bar {Y}} {\ sigma} \)) santykis yra mažas. Svarbu apskritai pamoka Šiame darbe yra tai, kad rezultatų iš eksperimentų su nedideliu poveikis-to-standard-nuokrypio santykis (pvz, IG Skelbimų kampanijas) bus netenkina. Jūsų uždavinys bus parašyti komentaro su kuo nors prekybos departamento jūsų įmonės evaluting planuotą eksperimentą išmatuoti reklaminės akcijos IG. Jūsų atmintinė turėtų būti remiami su grafikais nuo kompiuterinio modeliavimo rezultatais.

    Štai keletas pobūdžio informacija, kad jums gali prireikti. Visi šie skaitinių reikšmių yra tipiškas realių eksperimentų, apie kuriuos pranešta Lewis and Rao (2015) :

    • IG, pagrindinis matas interneto reklamos kampanijas, yra apibrėžiama, kad grynasis pelnas nuo akcijos (bruto pelno iš kampanija minus išlaidos kampanija), padalytas iš kampanijos išlaidų. Pavyzdžiui kampanija, kad neturėjo pardavimo poveikis būtų turėti -100% ROI ir kampaniją, kurioje pelnas buvo lygus išlaidų turės iš 0 IG.

    • vidutiniai pardavimai vienam klientui yra $ 7 Su standartiniu nuokrypiu $ 75 metų.

    • kampanija tikimasi padidinti pardavimus 0,35 $ vienam klientui, kuris atitinka į į pelno 0,175 $ vienam klientui padidėjimas. Kitaip tariant, bendrasis pelningumas yra 50%.

    • planuojama dydis eksperimento yra 200,000 žmonių, pusė gydymo grupės, o kita pusė su kontroline grupe.

    • kampanijos kaina yra 0,14 $ vienam dalyviui.

    Rašyti atmintinę evaluting šį eksperimentą. Ar rekomenduotumėte pradėti šį eksperimentą, kaip planuota? Jei taip, kodėl? Jei ne, kokie pokyčiai galėtumėte rekomenduoti?

    Gera atmintis bus išspręsti šią konkrečią bylą; geriau atmintis bus apibendrinti iš šiuo atveju vienaip (pvz, parodyti, kaip sprendimas pokyčiai kaip poveikio-to-standard-nuokrypio santykis funkcija); ir puikus atmintinę pristatys visiškai apibendrintas rezultatas.

22. [ , ] Ar tas pats kaip ankstesnio klausimo, o kaip modeliavimo turėtumėte naudoti analitinius rezultatus.

23. [ , , ] Ar tokia pati kaip ir ankstesnį klausimą, bet naudoti abu modeliavimas ir analizės rezultatus.

24. [ , , ] Įsivaizduokite, kad jūs parašote pirmiau naudojant arba modeliavimo, analizės rezultatus, arba abu-ir kažkas iš rinkodaros skyriaus rekomenduoja naudoti skirtumas-in-skirtumus prognozės, o ne skirtumu priemonėmis įvertinimo aprašytą atmintinę (žr 4.6.2 skirsnį) , Rašyti naują trumpesnis atmintinę paaiškinti kaip 0,4 koreliacija tarp pardavimų prieš eksperimentą ir pardavimų po eksperimento pakeistų savo išvadą.

25. [ , ] Siekiant įvertinti naują internetinę karjeros paslaugų efektyvumą, universitetas karjeros paslaugų biuras atliko atsitiktinių imčių kontrolės bandymus tarp 10.000 studentų, įvežamų į savo galutinę metus mokykloje. Nemokama prenumerata su unikaliu prisijungimo informacija buvo siunčiama per išskirtine pašto kvietimą į 5000 atsitiktinai atrinktų studentų, o kiti 5000 studentai kontrolinėje grupėje ir neturite prenumeratą. Dvylika mėnesių tolesnių apklausa (be neatsakymo) rodo, kad abiejose gydymo ir kontrolės grupių, 70% studentų užsitikrino visą darbo laiką savo pasirinktoje srityje (4.5 lentelė). Taigi, atrodo, kad internetinė paslauga neturėjo jokio poveikio.

    Tačiau protingas duomenys mokslininkas universitete pažvelgė į duomenis šiek tiek labiau ir nustatė, kad tik 20% iš gydymo grupėje studentams kada prisijungęs į sąskaitą gavusi laišką. Be to, ir šiek tiek keista, tarp tų, kurie prisijungęs į svetainę tik 60% užsitikrino visą darbo laiką savo pasirinktoje srityje, kuri buvo mažesnė nei žmonių, kurie dar neįsiregistravote norma ir mažesnis nei žmonėms norma valdymo sąlyga (4.6 lentelė).

    1. Pateikite už tai, ką galėjo nutikti paaiškinimą.
    2. Kas yra du skirtingi būdai apskaičiuoti šio eksperimento gydymo poveikį?
    3. Kadangi šis rezultatas turėtų universiteto karjeros paslaugų teikti šią internetinę karjeros paslaugas visiems studentams? Tiesiog būti aišku, tai nėra klausimas su paprastu atsakymu.
    4. Ką jie turėtų daryti toliau?

    Užuomina: Tai klausimas peržengia medžiagos, kuriai taikoma šiame skyriuje, bet adresai bendrus eksperimentus klausimus. Šis eksperimentinis dizainas tipas kartais vadinamas padrąsinimas dizainą, nes dalyviai yra skatinami įsitraukti į gydymą. Ši problema yra tai, kas vadinama vienpusis nesilaikymas pavyzdys (žr Gerber and Green (2012) , Ch 5 d.)

26. [ ] Po to, kai tolesniam tyrimui, ji Pasirodo, kad aprašyta ankstesnį klausimą eksperimentas buvo net daugiau sudėtinga. Pasirodo, kad 10% kontrolinės grupės žmonių prieigos prie paslaugų sumokėta, ir jie galų gale su užimtumo lygis 65% (4,7 lentelė).

    1. Rašyti laišką apibendrinti, ką jūs manote, kas vyksta, ir rekomenduoti veiksmų kursą.

    Užuomina: Tai klausimas peržengia medžiagos, kuriai taikoma šiame skyriuje, bet adresai bendrus eksperimentus klausimus. Ši problema yra tai, kas vadinama dvipusis nesilaikymas pavyzdys (žr Gerber and Green (2012) , Ch 6 d.)