Wiwulo ntokasi si bi Elo awọn esi ti ohun ṣàdánwò atilẹyin kan diẹ gbogbo ipari.
Ko si ayẹwo ti o jẹ pipe, ati awọn oniwadi ti ṣe agbekalẹ ọrọ ti o tobi lati ṣe apejuwe awọn iṣoro ti o ṣeeṣe. Imuwọ agbara tọka si iye ti awọn esi ti idaduro kan pato ṣe atilẹyin diẹ ninu ipinnu diẹ sii. Awọn onimo ijinlẹ awujọ ti rii pe o ṣe iranlọwọ lati pin ipa si awọn ẹya pataki mẹrin: iṣafihan ipari iṣiro, iyasọtọ inu, imudani iwule, ati ẹtọ ti ita (Shadish, Cook, and Campbell 2001, chap. 2) . Ṣiṣe atunṣe awọn agbekale wọnyi yoo fun ọ ni iṣagbeye iṣaro fun idaniloju ati imudarasi apẹrẹ ati igbeyewo idanwo, ati pe yoo ran ọ lọwọ lati ba awọn oluwadi miiran sọrọ.
Awọn ile-iṣẹ ifunmọ iṣiro ipari awọn iṣiro nipa boya a ṣe ayẹwo iṣiro iṣiro ti idanwo naa ni otitọ. Ni ipo ti Schultz et al. (2007) , iru ibeere kan le ile-lori boya won ti se isiro wọn \(p\) -values ti tọ. Awọn agbekale iṣiro ti o nilo lati ṣe apẹrẹ ati ṣe itupalẹ awọn igbadun ko ju aaye ti iwe yii lọ, ṣugbọn wọn ko ti ṣe iyipada ni iṣaro ni ọjọ ori-ọjọ. Ohun ti o ti yipada, sibẹsibẹ, agbegbe data ni awọn idanwo oni-nọmba ti ṣẹda awọn anfani titun gẹgẹbi lilo awọn ọna ẹkọ ẹrọ lati ṣe afihan isodipupo ti awọn itọju (Imai and Ratkovic 2013) .
Awọn ile-iṣẹ aṣeyọri inu abule ni ayika boya awọn ilana igbadun ni a ṣe daradara. Pada si idanwo ti Schultz et al. (2007) , awọn ibeere nipa ijẹrisi inu-ile le wa ni ayika isọdi, iṣeduro itọju, ati wiwọn awọn esi. Fun apẹẹrẹ, o le ni ibanuje pe awọn arannilọwọ iwadi ko ka awọn ẹrọ miiẹrugbedele gbẹkẹle. Ni otitọ, Schultz ati awọn ẹlẹgbẹ wa ni iṣoro nipa iṣoro yii, wọn si ni apẹẹrẹ ti mita ka lẹmeji; daadaa, awọn esi ti o jẹ pataki julọ. Ni gbogbogbo, ayẹwo Ọlọgbọn Schultz ati awọn alabaṣiṣẹpọ farahan ni agbara to ga julọ, ṣugbọn kii ṣe nigbagbogbo ọran naa: aaye ti o nipọn ati awọn igbanilẹ lori ayelujara nigbagbogbo n ṣalaye si awọn iṣoro ti nfunni ni itọju ti o tọ si awọn eniyan ọtun ati idiwọn awọn esi fun gbogbo eniyan. O ṣeun, ọjọ ori ọjọ ori le ṣe iranlọwọ lati dinku awọn ifiyesi nipa ijẹrisi inu-ile nitori pe o rọrun bayi lati rii daju pe a fi itọju naa fun awọn ti o yẹ lati gba ati lati ṣe idiwọn fun gbogbo awọn olukopa.
Ṣẹda awọn ile-iṣẹ wulo kan ni ayika baramu laarin awọn data ati awọn itumọ ti koṣe. Gẹgẹbi a ti ṣe apejuwe ninu ori keji, awọn itumọ jẹ awọn akọsilẹ ti o jẹ abọtẹlẹ ti awọn onimo ijinle sayensi ṣe idiyele nipa. Laanu, awọn agbekalẹ abẹrẹ wọnyi ko ni awọn itumọ ati awọn wiwọn nigbagbogbo. Pada si Schultz et al. (2007) , ẹtọ ti awọn ilana awujọ aiṣedeede le dinku ina mọnamọna nilo awọn oluwadi lati ṣe itumọ ti itọju kan ti yoo ṣe atunṣe "awọn ilana awujọ aiṣedede" (fun apẹẹrẹ, emoticon) ati lati wọn "lilo ina mọnamọna". Ninu awọn igbadun ti o wa ni analog, ọpọlọpọ awọn oniwadi ṣe apẹrẹ awọn itọju ara wọn ati wọn awọn esi ti ara wọn. Ilana yii ṣe idaniloju pe, bi o ti ṣee ṣe, awọn adanwo ṣe deede pẹlu awọn nkan ti a kọ silẹ. Ni awọn igbadun ti awọn oniṣe ti awọn oluwadi ṣe alabaṣepọ pẹlu awọn ile-iṣẹ tabi awọn ijọba lati fi awọn itọju si ati lo awọn ọna ṣiṣe data nigbagbogbo lati wiwọn awọn esi, adaṣe laarin awọn idaduro ati awọn ọna itumọ ti o le jẹ kere ju. Bayi, Mo nireti pe iwulo-iṣẹ-ṣiṣe yoo jẹ ibanujẹ ti o tobi julọ ni awọn iṣeduro oni-nọmba ju awọn igbadun analog.
Lakotan, awọn ile-iṣẹ agbara-itagbangba ita gbangba boya boya awọn abajade ti idanwo yii le ṣee ṣe apejuwe si awọn ipo miiran. Pada si Schultz et al. (2007) , ọkan le beere boya iṣọkan kanna-ipese awọn eniyan pẹlu alaye nipa lilo agbara wọn ni ibasepọ pẹlu awọn ẹgbẹ wọn ati ifihan agbara ti awọn ilana idaniloju (fun apẹẹrẹ, emoticon) - yoo dinku lilo agbara bi a ba ṣe ni ọna ti o yatọ ni eto ti o yatọ. Fun ọpọlọpọ awọn adanwo-ṣiṣe ṣiṣe daradara-ṣiṣe, awọn ifiyesi nipa ijẹrisi itagbangba ni o ṣòro julọ lati koju. Ni iṣaaju, awọn ijiroro wọnyi nipa ijẹrisi itagbangba nigbagbogbo ma n ṣe ohunkohun diẹ sii ju ẹgbẹ kan ti awọn eniyan ti o joko ni yara kan ti o n gbiyanju lati rii ohun ti yoo ṣẹlẹ ti a ba ti ṣe awọn ilana ni ọna ọtọtọ, tabi ni ibi ọtọtọ, tabi pẹlu awọn alabaṣepọ ti o yatọ . O ṣeun, ọjọ ori ọjọ yii jẹ ki awọn oluwadi ṣaju awọn ẹkunrẹrẹ alaye ti kii ṣe lalailopinpin ati ṣe ayẹwo imudaniloju ita gbangba.
Nitori awọn esi lati Schultz et al. (2007) jẹ ohun moriwu, ile-iṣẹ kan ti a npè ni Opower ṣe alabapin pẹlu awọn ohun elo ni United States lati ṣe itọju naa siwaju sii. Da lori apẹrẹ ti Schultz et al. (2007) , Opower ṣẹda Awọn ile-iṣẹ agbara ti Ile-iṣẹ ti o ni awọn modulu akọkọ meji: ọkan ti afihan lilo ina ti ile kan pẹlu awọn aladugbo rẹ pẹlu emoticon ati ọkan ti o pese awọn itọnisọna fun sisọ agbara lilo (nọmba 4.6). Lẹhinna, ni ifowosowopo pẹlu awọn oluwadi, Opower ran awọn igbadun iṣakoso ti o jẹ iṣedede lati ṣayẹwo ipa ti Awọn Ile Iroyin Ile. Bi o tilẹ jẹ pe awọn itọju ni awọn igbadii wọnyi ni a maa firanṣẹ ni ti ara-ni igbagbogbo nipasẹ awọn apamọ ti o ni igbin ti atijọ-a ṣe iwọn abajade nipa lilo awọn ẹrọ oni-nọmba ni aye ara (fun apẹẹrẹ, mita agbara). Pẹlupẹlu, dipo ki o gba iṣedede yii pẹlu awọn oluranlọwọ iwadi lọ si ile kọọkan, awọn iṣeduro Opower ni gbogbo ṣe ni ajọṣepọ pẹlu awọn ile-iṣẹ agbara ti o jẹ ki awọn oluwadi naa le wọle si awọn iwe agbara. Bayi, awọn iṣiro-aaye awọn nọmba oni-nọmba yii ti ṣiṣẹ ni ipele ti o tobi ni iye owo kekere.
Ni ipilẹṣẹ akọkọ ti awọn adanwo ti o wa ni ẹgbẹrun 600,000 lati awọn aaye oriṣiriṣi mẹwa, Allcott (2011) ri pe Iroyin Allcott (2011) Ile ti din agbara ina silẹ. Ni awọn ọrọ miiran, awọn esi ti o tobi julọ, diẹ sii iwadi ti o yatọ si orilẹ-ede jẹ eyiti o ni ibamu si awọn esi lati Schultz et al. (2007) . Pẹlupẹlu, ni awọn iwadi ti o tẹle ti o ni awọn ẹda mẹjọ mililo miiran lati awọn aaye oriṣiriṣi 101, Allcott (2015) tun ri pe Iroyin Allcott (2015) deedee agbara ina mọnamọna. Awọn abajade ti awọn adanwo yii ti o tobi julo tun fi han awọn aṣa titun ti o ko ni han ni eyikeyi igbadii nikan: iwọn ti ipa naa kọ sinu awọn igbeyewo ti o ṣehin (nọmba 4.7). Allcott (2015) sọ pe idibajẹ yii sele nitori pe, lẹhin akoko, a ti lo itọju si orisirisi awọn olukopa. Diẹ diẹ sii, awọn ohun elo ti o ni diẹ sii pẹlu awọn onibara ti iṣeduro onibara wa ni diẹ seese gba eto tẹlẹ, ati awọn onibara wọn diẹ idahun si itọju. Bi awọn ohun elo ti o wa pẹlu awọn onibara ti iṣeduro ti ko ni ayika ti gba eto naa, ipa rẹ farahan lati kọ. Bayi, gẹgẹ bi iṣeduro ninu awọn idanwo ṣe idaniloju pe itọju ati iṣakoso ẹgbẹ ni o wa, iṣeduro ni awọn aaye-iwadi ni idaniloju pe awọn alaye naa le ni kikun lati ẹgbẹ kan ti awọn olukopa si ẹgbẹ ti o pọju (ronu pada si ori 3 nipa iṣapẹẹrẹ). Ti a ko ba ṣe afiwe awọn aaye iwadi ni laileto, lẹhinna ikopọ-ani lati inu idanwo ti a ṣe daradara ati idaniloju-le jẹ iṣoro.
Papọ, awọn adanwo-ọdun 111 ni Allcott (2011) ati 101 ni Allcott (2015) - eyiti o wa ni ayika 8.5 milionu ile lati gbogbo orilẹ-ede Amẹrika. Wọn fihan nigbagbogbo pe Awọn Ile agbara Agbara dinku dinku agbara ina mọnamọna, abajade ti o ṣe atilẹyin awọn alaye atilẹba ti Schultz ati awọn ẹlẹgbẹ lati awọn ile 300 ni California. Ni ikọja o kan atunṣe awọn esi atilẹba wọnyi, awọn abawọn atẹle ti o tun fihan pe iwọn ti ipa naa yatọ nipasẹ ipo. Ṣeto ti awọn adanwo yii tun ṣe apejuwe awọn ojuami meji diẹ sii nipa awọn adanwo awọn aaye abuda oni-nọmba kan. Ni akọkọ, awọn oluwadi yoo ni anfani lati ṣe afihan awọn ifiyesi nipa iṣeduro ti ita gbangba nigbati iye awọn igbadii ti nṣiṣe jẹ kekere, eyi le šẹlẹ ti o ba ti ni abajade ti tẹlẹ nipasẹ ọna kika data nigbagbogbo. Nitorina, o ni imọran pe awọn oniwadi yẹ ki o wa lori awọn ẹṣọ fun awọn iwa miiran ti o ṣe pataki ti o ti wa tẹlẹ silẹ, lẹhinna ṣe apẹrẹ awọn iṣeduro lori oke iru agbara amuwọn ti o wa tẹlẹ. Keji, ẹri awọn adanwo yii n rán wa leti pe awọn igbadun awọn aaye ti aṣejumọ kii ṣe lori ayelujara; diẹ sii, Mo reti pe wọn yoo wa nibikibi pẹlu ọpọlọpọ awọn abajade ti a ṣewọn nipasẹ awọn sensọ ni ayika ti a ṣe.
Awọn ẹri mẹrin ti ijẹrisi-iṣiro ipari-ọrọ-iṣiro, iyasọtọ inu, iwulo-iṣẹ-ṣiṣe, ati ẹtọ-ita-pese iwe-iṣaro ti opolo lati ṣe iranlọwọ fun awọn oluwadi ṣe ayẹwo boya awọn esi lati idaniloju kan ṣe atilẹyin fun ipinnu gbogbogbo. Ti a bawe pẹlu awọn adanwo-ori ọjọ-ori, ni awọn ọjọ-ọjọ ori-ọjọ, o yẹ ki o rọrun lati koju iṣaju iṣakoso ita gbangba, ati pe o yẹ ki o rọrun lati rii daju pe iṣẹ inu inu. Ni ida keji, awọn oran ti aṣekọja-ṣiṣe yoo jẹ diẹ ni ilọsiwaju ninu awọn iṣeduro oni-ọjọ, paapaa awọn igbadun ti awọn nọmba oni-nọmba ti o ni ipapọ pẹlu awọn ile-iṣẹ.