4.4.1 Validity

Validity ay tumutukoy sa kung magkano ang mga resulta ng isang eksperimento suportahan ang isang mas pangkalahatang konklusyon.

Walang eksperimento ay perpekto, at ang mga mananaliksik ay nakabuo ng isang malawak na bokabularyo upang ilarawan ang mga posibleng problema. Ang bisa ay tumutukoy sa lawak kung saan ang mga resulta ng isang partikular na eksperimento ay sumusuporta sa ilang mas pangkalahatang konklusyon. Natuklasan ng mga siyentipikong panlipunan na makatutulong na hatiin ang pagiging wasto sa apat na pangunahing uri: ang katumpakan ng istatistikang konklusyon, ang panloob na pagkakabisa, (Shadish, Cook, and Campbell 2001, chap. 2) bisa, at panlabas na bisa (Shadish, Cook, and Campbell 2001, chap. 2) . Ang pag-master ng mga konsepto na ito ay magbibigay sa iyo ng checklist para sa pag-iisip at pagpapabuti ng disenyo at pag-aaral ng isang eksperimento, at makakatulong ito sa iyong makipag-usap sa iba pang mga mananaliksik.

Ang mga istatistikang konklusyon ng istatistikang konklusyon sa paligid kung ang statistical analysis ng eksperimento ay tapos nang wasto. Sa konteksto ng Schultz et al. (2007) , ang tanong na ito ay maaring maituturing kung na-compute nila ang kanilang \(p\) -mga tamang halaga. Ang mga prinsipyong pang-istatistikang kailangan upang mag-disenyo at pag-aralan ang mga eksperimento ay lampas sa saklaw ng aklat na ito, ngunit hindi pa nila binago ang mga batayan sa digital age. Gayunman, kung ano ang nagbago ay ang kapaligiran ng data sa mga digital na eksperimento ay lumikha ng mga bagong pagkakataon tulad ng paggamit ng mga paraan sa pag-aaral ng machine upang tantiyahin ang heterogeneity ng mga epekto sa paggamot (Imai and Ratkovic 2013) .

Ang mga sentro ng balidong panloob sa paligid kung ang mga eksperimentong pamamaraan ay ginanap nang wasto. Bumabalik sa eksperimento ng Schultz et al. (2007) , ang mga katanungan tungkol sa panloob na bisa ay maaaring nakapokus sa randomization, paghahatid ng paggamot, at pagsukat ng mga kinalabasan. Halimbawa, maaari kang mag-alala na ang mga katulong sa pananaliksik ay hindi mapagkakatiwalaan ang mga metro ng kuryente. Sa katunayan, ang Schultz at kasamahan ay nag-aalala tungkol sa problemang ito, at nagkaroon sila ng isang sample ng metro na binabasa nang dalawang beses; sa kabutihang-palad, ang mga resulta ay mahalagang magkatulad. Sa pangkalahatan, ang eksperimento ng Schultz at mga kasamahan ay lilitaw na may mataas na panloob na bisa, ngunit hindi palaging ito ang kaso: ang kumplikadong larangan at mga online na eksperimento ay kadalasang tumatakbo sa mga problema na aktwal na naghahatid ng tamang paggamot sa mga tamang tao at pagsukat ng mga resulta para sa lahat. Sa kabutihang palad, ang digital age ay makakatulong upang mabawasan ang mga alalahanin tungkol sa panloob na bisa dahil madali na ngayong matiyak na ang paggamot ay maihahatid sa mga dapat tumanggap nito at upang sukatin ang mga resulta para sa lahat ng mga kalahok.

Bumuo ng mga sentro ng balido sa paligid ng tugma sa pagitan ng data at ang mga teoretikal na construct. Tulad ng tinalakay sa kabanata 2, ang mga construct ay abstract concepts na dahilan ng mga siyentipiko ng lipunan. Sa kasamaang palad, ang mga abstract na mga konsepto ay hindi laging may malinaw na mga kahulugan at sukat. Bumabalik sa Schultz et al. (2007) , ang claim na ang mga injunctive social norms ay maaaring magpababa sa paggamit ng kuryente ay nangangailangan ng mga mananaliksik na magdisenyo ng isang paggamot na mamanipula ang "injunctive social norms" (hal., Isang emoticon) at upang masukat ang "paggamit ng kuryente". Sa analog eksperimento, maraming mga mananaliksik ang nagdisenyo ng kanilang sariling mga paggamot at sinukat ang kanilang sariling mga kinalabasan. Tinitiyak ng diskarteng ito na, hangga't maaari, tumutugma ang mga eksperimento sa mga abstract na construct na pinag-aralan. Sa mga digital na eksperimento kung saan nakikipagtulungan ang mga mananaliksik sa mga kumpanya o pamahalaan upang maghatid ng mga paggamot at gumamit ng mga sistema ng data na laging upang sukatin ang mga resulta, ang tugma sa pagitan ng eksperimento at ang mga teoretikal na construct ay maaaring mas masikip. Kaya, inaasahan ko na ang pagtatayo ng pagiging wasto ay may posibilidad na maging mas malaking alalahanin sa mga digital na eksperimento kaysa sa mga eksperimentong analog.

Sa wakas, ang mga panlabas na mga sentro ng balido sa paligid kung ang mga resulta ng eksperimentong ito ay maaaring pangkalahatan sa ibang mga sitwasyon. Bumabalik sa Schultz et al. (2007) , maaaring itanong ng isang tao kung ang parehong ideya na ito ay nagbibigay ng mga taong may impormasyon tungkol sa paggamit ng kanilang enerhiya sa kaugnayan sa kanilang mga kapantay at isang senyas ng mga pamantayan ng injunctive (hal., Isang emoticon) -pagpapababa ng paggamit ng enerhiya kung ito ay ginawa sa ibang paraan sa ibang setting. Para sa karamihan sa mahusay na dinisenyo at mahusay na mga eksperimento, ang mga alalahanin tungkol sa panlabas na bisa ay ang pinakamahirap na tugunan. Sa nakaraan, ang mga debate na ito tungkol sa panlabas na pagiging wasto ay kadalasang nasasangkot ng isang grupo ng mga taong nakaupo sa isang silid na sinusubukan na isipin kung ano ang mangyayari kung ang mga pamamaraan ay ginawa sa ibang paraan, o sa ibang lugar, o may iba't ibang mga kalahok . Sa kabutihang palad, ang digital age ay nagpapahintulot sa mga mananaliksik na lumipat sa ibayo ng mga data na ito na walang ispekulasyon at susuriin ang panlabas na katumpakan sa empirically.

Dahil ang mga resulta mula sa Schultz et al. (2007) ay kapana-panabik na, isang kumpanya na pinangalanang Opower nakipagsosyo sa mga utility sa Estados Unidos upang palawakin ang paggamot nang mas malawak. Batay sa disenyo ng Schultz et al. (2007) , ang Opower ay lumikha ng na-customize na Home Energy Reports na mayroong dalawang pangunahing modules: isa na nagpapakita ng paggamit ng kuryente sa mga kapitbahay na may emoticon at isa na nagbibigay ng mga tip para sa pagpapababa ng paggamit ng enerhiya (figure 4.6). Pagkatapos, sa pakikipagsosyo sa mga mananaliksik, si Opower ay nagpatakbo ng mga random na kinokontrol na mga eksperimento upang masuri ang epekto ng Mga Ulat ng Enerhiya sa Home. Kahit na ang paggamot sa mga eksperimento na ito ay kadalasang inihatid sa pisikal-karaniwan sa pamamagitan ng luma na kuhol mail-ang kinalabasan ay sinusukat gamit ang mga digital na aparato sa pisikal na mundo (hal., Kapangyarihan metro). Dagdag dito, sa halip na manu-mano ang pagkolekta ng impormasyong ito sa mga assistant sa pananaliksik na binibisita ang bawat bahay, ang mga eksperimento ng Opower ay tapos na sa pakikipagtulungan sa mga kumpanya ng kapangyarihan na nagpapagana ng mga mananaliksik upang ma-access ang mga pagbabasa ng lakas. Kaya, ang mga bahagyang digital na mga eksperimento sa field ay pinatatakbo sa napakalaking sukat sa mababang halaga ng variable.

Figure 4.6: Ang Mga Ulat ng Enerhiya sa Bahay ay may Module ng Paghahambing ng Social at Module ng Mga Hakbang sa Pagkilos. Allcott (2011) pamamagitan ng pahintulot mula sa Allcott (2011) , mga numero 1 at 2.

Sa isang unang hanay ng mga eksperimento na kinasasangkutan ng 600,000 na kabahayan mula sa 10 iba't ibang mga site, Allcott (2011) na ang Home Energy Report ay nagpababa ng pagkonsumo ng kuryente. Sa ibang salita, ang mga resulta mula sa mas malaki, mas maraming heograpiyang magkakaibang pag-aaral ay may katapat na katulad ng mga resulta mula sa Schultz et al. (2007) . Dagdag pa, sa susunod na pananaliksik na may kinalaman sa walong milyon na karagdagang mga sambahayan mula sa 101 iba't ibang mga site, muli natagpuan ng Allcott (2015) na ang Home Energy Report ay patuloy na nagpababa ng pagkonsumo ng kuryente. Ang mas malaking hanay ng mga eksperimento ay nagsiwalat din ng isang kagiliw-giliw na bagong pattern na hindi makikita sa anumang isang eksperimento: ang sukat ng epekto ay tinanggihan sa mga susunod na eksperimento (figure 4.7). Allcott (2015) na ang pagtanggi na ito ay nangyari dahil, sa paglipas ng panahon, ang paggagamot ay inilalapat sa iba't ibang uri ng mga kalahok. Higit na partikular, ang mga utility na may mas maraming mga customer na nakatuon sa kapaligiran ay mas malamang na magpatibay ng programa nang mas maaga, at ang kanilang mga customer ay mas tumutugon sa paggamot. Bilang mga utility na may mas kaunting mga customer na nakatuon sa kapaligiran na nagpatupad ng programa, ang pagiging epektibo nito ay lumitaw sa pagtanggi. Samakatuwid, tulad ng randomization sa mga eksperimento ay nagsisiguro na ang paggamot at kontrol ng grupo ay pareho, ang randomization sa mga site ng pananaliksik ay nagsisiguro na ang mga pagtatantya ay maaaring pangkalahatan mula sa isang pangkat ng mga kalahok sa isang mas pangkalahatang populasyon (isipin pabalik sa kabanata 3 tungkol sa sampling). Kung ang mga site ng pananaliksik ay hindi sinasadya nang random, pagkatapos ay ang kalahatan-kahit na mula sa isang perpektong dinisenyo at isinasagawa na eksperimento-ay maaaring maging problema.

Figure 4.7: Mga resulta ng 111 eksperimento na sinusubok ang epekto ng Ulat ng Enerhiya sa Home sa paggamit ng kuryente. Sa mga site na kung saan ang programa ay pinagtibay mamaya, ito tended na magkaroon ng mas maliit na mga epekto. Allcott (2015) na ang isang pangunahing pinagkukunan ng pattern na ito ay ang mga site na may mas maraming mga customer na nakatuon sa kapaligiran ay mas malamang na magpatibay ng programa nang mas maaga. Inangkop mula sa Allcott (2015) , tayahin 3.

Magkasama, ang 111 eksperimentong ito-10 sa Allcott (2011) at 101 sa Allcott (2015) -nagpapalaki tungkol sa 8.5 milyong kabahayan mula sa lahat ng Allcott (2015) ng Estados Unidos. Palagi nilang ipinakikita na ang Home Energy Reports ay nagbabawas ng karaniwang paggamit ng kuryente, isang resulta na sumusuporta sa mga orihinal na natuklasan ng Schultz at mga kasamahan mula sa 300 mga tahanan sa California. Higit pa sa pagkopya lamang sa mga orihinal na resulta, ang mga eksperimentong follow-up ay nagpapakita rin na ang laki ng epekto ay nag-iiba ayon sa lokasyon. Ang hanay ng mga eksperimento ay naglalarawan din ng dalawa pang pangkalahatang punto tungkol sa bahagyang digital na mga eksperimento sa field. Una, ang mga mananaliksik ay maaaring empirically na matugunan ang mga alalahanin tungkol sa panlabas na bisa kapag ang gastos ng mga eksperimento na tumatakbo ay mababa, at ito ay maaaring mangyari kung ang kinalabasan ay nasusukat na ng isang sistema ng data na laging. Samakatuwid, ito ay nagpapahiwatig na ang mga mananaliksik ay dapat na nasa pagbabantay para sa iba pang mga kagiliw-giliw at mahalagang mga pag-uugali na naitala, at pagkatapos ay mag-disenyo ng mga eksperimento sa ibabaw ng umiiral na imprastrakturang pagsukat. Pangalawa, ang hanay ng mga eksperimentong ito ay nagpapaalala sa amin na ang mga eksperimentong digital na field ay hindi lamang online; Pagdaragdag, inaasahan ko na sila ay sa lahat ng dako na may maraming mga resulta na sinusukat ng mga sensors sa nakapaloob na kapaligiran.

Ang apat na uri ng validity-istatistikang konklusyon ng katumpakan, panloob na bisa, bumuo ng bisa, at panlabas na bisa - ay nagbibigay ng checklist sa isip upang matulungan ang mga mananaliksik na masuri kung ang mga resulta mula sa isang partikular na eksperimento ay sumusuporta sa isang mas pangkalahatang konklusyon. Kung ikukumpara sa mga eksperimento sa analog na edad, sa mga eksperimento sa digital na edad, dapat itong maging mas madali upang matugunan ang panlabas na katumpakan empirically, at dapat din itong maging mas madali upang matiyak ang panloob na bisa. Sa kabilang banda, ang mga isyu ng pagtatayo ng pagiging wasto ay marahil ay mas mahirap sa mga eksperimento sa digital na edad, lalo na sa mga eksperimento ng digital na patlang na may kaugnayan sa pakikipagsosyo sa mga kumpanya.