4.4.1 Validity

Validity ay tumutukoy sa kung magkano ang mga resulta ng isang eksperimento suportahan ang isang mas pangkalahatang konklusyon.

No eksperimento ay perpekto, at mga mananaliksik na binuo ng isang malawak na bokabularyo upang ilarawan posibleng problema. Validity tumutukoy sa lawak na kung saan ang mga resulta ng isang partikular na eksperimento sumusuporta sa ilang mga mas pangkalahatang konklusyon. Social siyentipiko ay may natagpuan ito kapaki-pakinabang upang hatiin bisa sa apat na pangunahing uri: statistical konklusyon validity, panloob na bisa, ay makagawa ng bisa, at panlabas na katotohanan (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering ang mga konseptong ito ay magbibigay sa iyo ng isang sakit sa checklist para sa critiquing at pagpapabuti ng disenyo at pagtatasa ng isang eksperimento, at ito ay makakatulong sa iyo makipag-usap sa iba pang mga mananaliksik.

Statistical bisa konklusyon sentro sa paligid kung ang statistical analysis ng eksperimento ay tapos na tama. Sa konteksto ng Schultz et al. (2007) tulad katanungan na maaaring nakasentro sa kung sila computed kanilang p-halaga nang tama. Statistical analysis ay hindi na saklaw ng aklat na ito, ngunit maaari kong sabihin na ang statistical prinsipyo na kailangan upang mag-disenyo at pag-aralan eksperimento ay hindi nagbago sa digital age. Gayunman, ang iba't ibang mga data na kapaligiran sa digital eksperimento ay lumikha ng mga bagong statistical pagkakataon (eg, gamit ang mga pamamaraan machine learning upang matantya heterogeneity ng mga epekto ng paggamot (Imai and Ratkovic 2013) ) at bagong computational hamon (eg, pag-block sa napakalaking eksperimento (Higgins, Sävje, and Sekhon 2016) ).

Internal bisa sentro sa paligid kung ang pang-eksperimentong mga pamamaraan ay ginanap sa tama. Bumabalik sa eksperimento ng Schultz et al. (2007) , mga katanungan tungkol sa mga panloob validity maaaring nakasentro sa paligid ng randomization, paghahatid ng paggamot, at pagsukat ng kinalabasan. Halimbawa, maaari kang maging nag-aalala na ang pananaliksik assistants ay hindi basahin ang electric meters mapagkakatiwalaan. Sa katunayan, Schultz at kasamahan ay nag-aalala tungkol sa problemang ito at sila ay nagkaroon ng isang sample ng metro basahin ng dalawang beses; kabutihang-palad, ang mga resulta ay mahalagang magkapareho. Sa pangkalahatan, Schultz at kasamahan 'eksperimento ay lilitaw upang magkaroon ng mataas na panloob na bisa, ngunit ito ay hindi palaging ang kaso; complex field at online eksperimento madalas tumakbo sa mga problema talagang paghahatid ng tamang paggamot sa mga tamang tao at pagsukat ng mga kinalabasan para sa lahat. Sa kabutihang palad, ang mga digital na edad ay maaaring makatulong na mabawasan ang mga alalahanin tungkol sa mga panloob na bisa dahil ito ay ginagawang mas madali upang matiyak na ang paggamot ay inihatid bilang dinisenyo sa mga taong ay dapat na makatanggap ng mga ito at upang masukat kinalabasan para sa lahat ng mga kalahok.

Makagawa ng bisa sentro sa buong tugma sa pagitan ng data at ang manilay-nilay constructs. Tulad ng tinalakay sa Kabanata 2, constructs ay abstract konsepto na panlipunan siyentipiko dahilan tungkol sa. Sa kasamaang palad, ang mga abstract concepts ay hindi laging may malinaw na kahulugan at mga measurements. Bumabalik ka ba sa Schultz et al. (2007) , ang claim na mapagpigil social norms ay maaaring mas mababa koryente gamitin ay nangangailangan ng mga mananaliksik sa disenyo ng isang paggamot na manipulahin "injunctive social norms" (eg, isang emoticon) at upang masukat ang "koryente gamitin". Sa analog eksperimento, maraming mga mananaliksik dinisenyo kanilang sariling paggamot at sinusukat ang kanilang sariling mga kinalabasan. Diskarte na ito ay nagsisiguro na ang, ng mas maraming hangga't maaari, ang mga eksperimento tumugma sa abstract constructs pinag-aaralan. Sa digital eksperimento kung saan mananaliksik partner sa mga kumpanya o mga pamahalaan upang makapaghatid ng paggamot at gamitin laging-on mga sistema ng data upang masukat kinalabasan, ang tugma sa pagitan ng mga eksperimento at ang manilay-nilay constructs ay maaaring mas mababa masikip. Kaya, inaasahan ko na tayuan bisa ay may posibilidad na maging isang mas malaking pag-aalala sa digital eksperimento kaysa sa analog mga eksperimento.

Sa wakas, ang panlabas na katotohanan sentro sa paligid kung ang mga resulta ng eksperimento na ito ay magbigay ng tuntuning panlahat sa iba pang mga sitwasyon. Bumabalik ka ba sa Schultz et al. (2007) , ang isa ay maaaring magtanong, aabutin ang parehong impormasyon ideya-pagbibigay ng mga tao tungkol sa kanilang paggamit ng enerhiya sa relasyon sa kanilang mga kapantay at isang signal ng injunctive norms (eg, isang emoticon) -Bawasan paggamit ng enerhiya kung ito ay tapos na sa isang iba't ibang mga paraan na kung isang iba't ibang mga setting na ito? Para sa karamihan ng mahusay na dinisenyo at well-magpatakbo ng mga eksperimento, mga alalahanin tungkol sa mga panlabas validity ay ang hardest sa address. Sa nakaraan, ang mga debate tungkol sa panlabas na katotohanan ay madalas na lamang ng grupo ng mga tao na nakaupo sa isang silid sinusubukan mong isipin kung ano ang maaaring nangyari kung ang mga pamamaraan ay tapos na sa isang iba't ibang mga paraan, o sa ibang lugar, o sa iba't ibang mga tao. Sa kabutihang palad, ang mga digital na edad ay nagbibigay-daan sa mga mananaliksik upang ilipat sa kabila ng mga data-free speculations at masuri panlabas na katotohanan empirically.

Dahil ang mga resulta mula sa Schultz et al. (2007) ay kaya kapana-panabik, ang isang kumpanya na may pangalang Opower nakipagsosyo sa utilities sa Estados Unidos upang i-deploy sa paggamot ng mas marami. Batay sa ang disenyo ng Schultz et al. (2007) , Opower nilikha customized Home Energy Ulat na nagkaroon ng dalawang pangunahing modules, isa na nagpapakita paggamit ng koryente na kamag-anak sa isang sambahayan ni sa kanyang mga kapitbahay na may isang emoticon at isa na nagbibigay ng mga tip para sa pagpapababa ng paggamit ng enerhiya (Figure 4.6). Pagkatapos, sa pakikipagtulungan sa mga mananaliksik, Opower ran randomized kinokontrol eksperimento upang masuri ang epekto ng Home Energy Ulat. Kahit na ang mga paggamot sa mga eksperimento ay karaniwang inihatid pisikal-karaniwang sa pamamagitan ng lumang moderno snail mail-ang kinalabasan ay sinusukat gamit ang mga digital na aparato sa pisikal na mundo (eg, kapangyarihan metro). Sa halip na mano-manong pagkolekta ang impormasyong ito sa pananaliksik assistants pagbisita sa bawat bahay, ang Opower eksperimento ay tapos na ang lahat sa pakikipagtulungan sa mga kompanya ng kapangyarihan pag-enable ang mga mananaliksik upang ma-access ang readings kapangyarihan. Kaya, ang mga bahagyang digital field eksperimento ay tumakbo sa isang malaki at mabigat scale sa mababang variable gastos.

Figure 4.6: Ang Home Energy Ulat sa Allcott (2011) ay nagkaroon ng isang Social Pagkukumpara Module at isang Action Steps Module.

Sa isang unang hanay ng mga eksperimento na kinasasangkutan 600,000 kabahayan nagsilbi sa pamamagitan ng 10 mga kumpanya utility sa buong Estados Unidos, Allcott (2011) natagpuan ang Home Energy Report lowered koryente consumption sa pamamagitan ng 1.7%. Sa ibang salita, ang mga resulta mula sa mga mas malaki, mas heograpiya magkakaibang pag-aaral ay kalitatibong katulad ng mga resulta mula sa Schultz et al. (2007) . Ngunit, ang laki ng epekto ay mas maliit: sa Schultz et al. (2007) ang mga kabahayan sa mapaglarawan at injective norms kalagayan (ang isa na may emoticon) nabawasan ang kanilang paggamit ng koryente sa pamamagitan ng 5%. Ang tumpak na dahilan para sa pagkakaiba na ito ay hindi kilala, ngunit Allcott (2011) speculated na pagtanggap ng isang sulat-kamay emoticon bilang bahagi ng isang pag-aaral sponsored ng isang unibersidad ay maaaring magkaroon ng isang mas malaking epekto sa pag-uugali kaysa sa pagtanggap ng isang naka-print na emoticon bilang bahagi ng isang mass produced ulat mula sa isang power kumpanya.

Dagdag dito, sa kasunod na pananaliksik, Allcott (2015) iniulat sa isang karagdagang 101 mga eksperimento na kinasasangkutan ng isang karagdagang 8 milyong kabahayan. Sa mga susunod na 101 mga eksperimento sa Home Energy Report patuloy na maging sanhi ng mga tao upang mas mababa ang kanilang pagkonsumo ng koryente, ngunit ang mga epekto ay kahit na mas maliit. Ang tumpak na dahilan para sa pagtanggi ay hindi kilala, ngunit Allcott (2015) speculated na ang pagiging epektibo ng mga ulat ay lumitaw na pagtanggi sa paglipas ng panahon dahil ito ay tunay na inilalapat sa iba't-ibang uri ng mga kalahok. Higit pang mga partikular, mga utility sa higit environmentalist lugar ay mas malamang umaayon sa mga programa nang mas maaga at ang kanilang mga customer ay mas tumutugon sa mga paggamot. Bilang utilities na may mas mababa sa kapaligiran mga customer pinagtibay ang programa, ang pagiging epektibo nito ay lumitaw na tanggihan. Kaya, tulad randomization sa mga eksperimento ay nagsisigurado na ang paggamot at control group ay pareho, randomization sa mga site ng pananaliksik ay nagsisigurado na ang mga pagtatantya ay maaaring pangkalahatan mula sa isang isang grupo ng mga kalahok sa isang mas pangkalahatang populasyon (sa tingin bumalik sa Kabanata 3 tungkol sampling). Kung pananaliksik mga site ay hindi na-sample na random, pagkatapos ay kalahatan-kahit mula sa isang ganap na dinisenyo at isinasagawa eksperimento maaaring may problema.

Magkasama, ang mga 111 mga eksperimento-10 in Allcott (2011) at 101 sa Allcott (2015) -ay nagsasangkot ng tungkol sa 8.5 milyong mga sambahayan mula sa buong Estados Unidos. Sila ay patuloy na ipakita na Home Energy Ulat mabawasan average consumption ng kuryente, isang resulta na sumusuporta sa orihinal na natuklasan ng Schultz at kasamahan mula sa 300 mga tahanan sa California. Higit pa sa Kinokopya ang mga orihinal na mga resulta, ang follow-up ng mga eksperimento din ipakita na ang laki ng epekto ay nag-iiba ayon sa lokasyon. Ang hanay ng mga eksperimento rin ay naglalarawan ng dalawang mas pangkalahatang puntos tungkol bahagyang digital eksperimento field. Una, ang mga mananaliksik ay magagawang upang empirically address alalahanin tungkol panlabas na katotohanan kapag ang gastos ng pagpapatakbo ng mga eksperimento ay mababa, at ito ay maaaring mangyari kung ang kinalabasan ay naka-pagiging nasusukat sa pamamagitan ng isang laging-on data system. Samakatuwid, ito ay nagpapahiwatig na ang pananaliksik ay dapat na sa ang hitsura-out para sa iba pang mga kagiliw-giliw at mahalagang pag-uugali na ay Ginagamit na naitala, at pagkatapos ay ang disenyo ng mga eksperimento sa tuktok ng ito umiiral pagsukat infrastructure. Pangalawa, sa hanay ng mga eksperimento ay nagpapaalaala sa atin na ang mga digital field eksperimento ay hindi lamang online; unting inaasahan ko na ang mga ito ay sa lahat ng dako na may maraming mga kinalabasan sinusukat sa pamamagitan ng sensors sa built kapaligiran.

Ang apat na uri ng validity-statistical pagkabisa konklusyon, panloob na bisa, ay makagawa ng pagkabisa, panlabas na katotohanan-magbigay ng isang mental checklist upang makatulong sa mga mananaliksik masuri kung ang mga resulta mula sa isang partikular na eksperimento suportahan ang isang mas pangkalahatang konklusyon. Kung ikukumpara sa analog eksperimento edad, sa digital eksperimento edad ay ito ay mas madali upang matugunan ang panlabas na katotohanan empirically at dapat itong maging mas madali upang matiyak panloob pagkabisa. Sa kabilang dako, mga isyu ng bisa tayuan ay marahil ay mas mahirap sa mga digital na mga eksperimento edad (bagaman na ay hindi ang kaso sa mga eksperimento Opower).