4.4.1 važenja

Valjanost odnosi se na to koliko su rezultati eksperimenta podržavaju više generalni zaključak.

No eksperiment je savršen, a istraživači su razvili opsežan vokabular za opisivanje mogućih problema. Važenja odnosi u onoj mjeri u kojoj su rezultati nekog eksperimenta podržava neke još opšti zaključak. Socijalni naučnici su otkrili da je korisno podijeliti važnosti u četiri osnovna tipa: statističke valjanosti zaključka, interne valjanosti, izgraditi valjanost, i vanjski valjanost (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering ovi koncepti će vam pružiti mentalnu spisak za kritiku i poboljšanje dizajna i analize eksperiment, i to će vam pomoći da komunicira s drugim istraživačima.

Statistički važenja zaključak centri oko li statističke analize eksperimenta je ispravno urađeno. U kontekstu Schultz et al. (2007) takvo pitanje može ubaciti na to da li su ispravno izračunati svoje p-vrijednosti. Statistička analiza je izvan okvira ove knjige, ali mogu reći da statistički principe neophodne za dizajn i analizu eksperimenti nisu promijenili u digitalnom dobu. Međutim, različite životne sredine podataka u digitalnom eksperimentima ne stvaraju nove statističke mogućnosti (npr, koristeći metode učenja mašina za procjenu heterogenost efekata tretmana (Imai and Ratkovic 2013) ) i nove računske izazovima (npr blokiranje u masivne eksperimentima (Higgins, Sävje, and Sekhon 2016) ).

Interna važenja centri oko da li je eksperimentalni postupci su pravilno izvode. Vraćajući se na eksperiment Schultz et al. (2007) , pitanja o internoj valjanosti mogao ubaciti oko randomizacije, isporuka tretmana, i mjerenje ishoda. Na primjer, možda ćete biti zabrinuti da je istraživanje asistenti nisu pročitali brojila pouzdano. U stvari, Schultz i kolege su bili zabrinuti o ovom problemu i oni su imali uzorak metara pročitao dva puta; Na sreću, rezultati su bili u suštini identični. U principu, pojavljuje Schultz i eksperiment kolega da imaju visoku internu valjanost, ali to nije uvijek slučaj; kompleks na terenu i online eksperimenti često naići na probleme zapravo isporuku pravi tretman pravim ljudima i mjerenje ishoda za svakoga. Srećom, digitalno doba može pomoći da se smanji zabrinutost zbog interne valjanosti jer olakšava kako bi se osiguralo da se tretman se isporučuje kao dizajniran za one koji su trebali da ga primi i za mjerenje ishoda za sve učesnike.

Construct važenja centara širom utakmici između podataka i teorijske konstrukcije. Kao što je objašnjeno u poglavlju 2, konstrukti su apstraktni pojmovi koji sociolozi razlog o. Na žalost, ove apstraktne koncepte ne uvijek imati jasne definicije i mjerenja. Vraćajući se Schultz et al. (2007) , tvrdnja da sudski nalog društvene norme mogu smanjiti korištenje električne energije zahtijeva istraživači dizajnirati tretman koji će manipulirati "sudski nalog društvenih normi" (npr, emotikon) i za mjerenje "korištenje električne energije". U analognom eksperimentima, mnogi istraživači dizajniran svoje tretmane i mjeriti svoje rezultate. Ovaj pristup osigurava da, koliko je to moguće, eksperimenti odgovaraju apstraktne konstrukcije koja se proučava. U digitalnom eksperimentima gdje istraživači partnerstvo sa kompanijama ili vlada dostaviti tretmane i koristite uvijek na sistemima podataka za mjerenje ishoda, meč između eksperimenta i teorijski konstrukti mogu biti manje čvrsto. Stoga, očekujem da će valjanost konstrukta imaju tendenciju da bude veća zabrinutost u digitalnom eksperimentima od analognih eksperimenata.

Konačno, vanjski valjanost centri oko da li su rezultati ovog eksperimenta bi generalizirati na druge situacije. Vraćajući se Schultz et al. (2007) , moglo bi se pitati, ove iste ideje-ljudima informacije o njihovoj upotrebi energije u odnosu na svoje vršnjake i signal sudski nalog normi (npr emotikon) -Smanjenje potrošnje energije ako je to urađeno na drugačiji način u različite postavke? Za većinu dobro osmišljen i dobro rade eksperimente, zabrinutost vanjski valjanost su najteže za rješavanje. U prošlosti, te rasprave o eksternim valjanosti su često samo gomila ljudi sjedi u sobi pokušavajući zamisliti što bi se desilo da su rađene procedure na drugačiji način, ili u drugom mjestu, ili sa različitim ljudima. Srećom, digitalno doba omogućava istraživačima da prevaziđe ove spekulacije podataka bez i procijeniti vanjski valjanost empirijski.

Jer su rezultati od Schultz et al. (2007) bili su tako uzbudljivo, kompanija pod nazivom Opower partnerstvo sa komunalijama u Sjedinjenim Državama da šire rasporedi tretmana. Na dizajn baziran Schultz et al. (2007) , Opower kreiran prilagođene Home Energy Izvještaji koji je imao dva glavna modula, jedan pokazujući domaćinstva korištenje električne energije u odnosu na svoje komšije sa emotikon i jedan pružanje savjeta za smanjenje potrošnje energije (Slika 4.6). Zatim, u partnerstvu sa istraživačima, Opower ran randomizovanih eksperimenata za procjenu uticaja Home Energy Izvještaji. Iako tretmana u ovim eksperimentima su obično isporučuje fizički-obično kroz starinski puž mail-ishod je mjerena pomoću digitalnih uređaja u fizičkom svijetu (npr brojila). Umjesto da ručno prikupljanje ovih informacija sa asistenata posjeti svakoj kući, eksperimente Opower su sve urađeno u partnerstvu sa energetskim kompanijama omogućava istraživačima da pristup očitavanja moć. Stoga, ovi eksperimenti djelomično digitalni terenu su vodili na masovno po niskoj varijabilni trošak.

Slika 4.6: The Home Energy Izvještaji u Allcott (2011) imao je i društveno Poređenje modula i Akcioni Koraci modul.

U prvom setu eksperimenata koji uključuju 600.000 domaćinstava je služio za 10 komunalnih preduzeća širom Sjedinjenih Država, Allcott (2011) pronašao Početna Prijavite energije spušta potrošnju električne energije za 1,7%. Drugim riječima, rezultati iz mnogo veće, više geografski raznolike studije su kvalitativno slični rezultati od Schultz et al. (2007) . Ali, veličina efekta je bio manji: u Schultz et al. (2007) domaćinstava u opisnim i injektivna norme stanje (onaj sa emotikon) smanjila njihova upotreba električne energije za 5%. Precizan razlog za ovu razliku je nepoznat, ali Allcott (2011) nagađali da je primio u rukopisu emotikon kao dio studije pod pokroviteljstvom univerzitet može imati veći utjecaj na ponašanje od primanja štampani emotikon kao dio izvještaja u masovnoj proizvodnji iz energetska kompanija.

Nadalje, u narednim istraživanjima, Allcott (2015) prijavio na dodatnom 101 eksperimenata koji uključuju dodatnih 8 miliona domaćinstava. U ovim narednih 101 eksperimentima Početna Prijavite energije i dalje izazvati ljude da smanje potrošnju električne energije, ali su efekti bili još manji. Precizan razlog za ovaj pad nije poznat, ali Allcott (2015) spekulisali da efikasnost izvještaja činilo da opada tokom vremena jer je stvarno se primjenjuje na različite vrste učesnika. Konkretnije, komunalije u više ekolog područjima češće usvoji program ranije i njihovi klijenti bili su odgovor na tretman. Kao i komunalne usluge sa manje kupaca ekološke usvojila program, svoju efikasnost pojavio da opada. Stoga, kao što randomizacije u eksperimentima osigurava da je grupa tretmana i kontrole su slične, randomizacije u istraživanju lokaliteta osigurava da se procjene mogu generalizovati iz jedne grupe učesnika na više opštoj populaciji (mislim natrag u Poglavlju 3 o uzorkovanje). Ako istraživanje lokaliteta nisu uzorkovane slučajno, onda generalizacija-čak i sa savršeno dizajniran i sprovodi eksperiment-može biti problematično.

Zajedno, ovi 111 eksperimenti-10 u Allcott (2011) i 101 u Allcott (2015) -involved oko 8,5 miliona domaćinstava iz svih krajeva Sjedinjenih Američkih Država. Oni su dosljedno pokazuju da je Home Energy Izvještaji smanjiti prosječna potrošnja električne energije, što je rezultat koji podržava originalni nalazima Schultz i kolege iz 300 domova u Kaliforniji. Osim samo repliciranje ovih originalnih rezultata, praćenje eksperimenti pokazuju da je veličina efekta varira od lokacije. Ovaj skup eksperimenata takođe ilustruje još dva opća mjesta, o eksperimentima djelomično digitalnom polje. Prvo, istraživači će biti u mogućnosti da empirijski adresa zabrinutost zbog eksterne valjanosti, kada je trošak radi eksperimenata je nizak, a to može doći ako ishod je već mjerena je uvijek na podacima sistemu. Stoga, to ukazuje na to da istraživanje treba biti na izgled-out za ostale zanimljive i važne ponašanja koji se već snima, a zatim dizajn eksperimenata na vrhu ove postojeće mjerenje infrastrukture. Drugo, ovaj skup eksperimenata nas podsjeća da digitalni eksperimenti na terenu nisu samo online; sve očekujem da će biti svuda sa mnogim ishodima mjerena senzorima u izgrađenom okruženju.

Četiri vrste valjanosti-statističke valjanosti zaključak, interne valjanosti, izgraditi validnost, vanjski Trajnost pružaju mentalni spisak pomoći istraživačima procijeni da li su rezultati iz određenog eksperimenta podržava više generalni zaključak. U odnosu na analogni dobi eksperimenata, u digitalnom dobu eksperimentima bi trebalo biti lakše rješavanje vanjski valjanost empirijski i to bi trebalo biti lakše da se osigura interne valjanosti. S druge strane, pitanje valjanosti konstrukta će vjerojatno biti veći izazov u digitalnom dobu eksperimentima (iako to nije bio slučaj sa eksperimentima Opower).