4.4.1 Тэрмін дзеяння

Тэрмін дзеяння ставіцца да таго , колькі вынікі эксперыменту падтрымліваюць больш агульная выснова.

Ні адзін эксперымент не з'яўляецца дасканалым, і даследчыкі распрацавалі шырокі слоўнікавы запас для апісання магчымых праблем. Тэрмін дзеяння ставіцца да ступені , у якой вынікі канкрэтнага эксперыменту падтрымліваць некаторы больш агульная выснова. Сацыёлагі выявілі , што карысна падзяліць рэчаіснасць на чатыры асноўных тыпу: статыстычны выснову валіднасць, унутраная валіднасць, пабудаваць рэчаіснасць, і знешняя валіднасць (Shadish, Cook, and Campbell 2001, chap. 2) . . Асвойваючы гэтыя паняцці падасце вам ментальны кантрольны спіс для крытыкуючы і паляпшэння дызайну і аналізу эксперыменту, і гэта дапаможа вам мець зносіны з іншымі даследнікамі.

Статыстычная дакладнасць вываду цэнтраў па ўсім , ці быў зроблены статыстычны аналіз эксперыменту правільна. У кантэксце Schultz et al. (2007) і Schultz et al. (2007) , такое пытанне можа канцэнтравацца на вылічаны Ці яны іх \(p\) -значения правільна. Статыстычныя прынцыпы неабходна распрацаваць і прааналізаваць эксперыменты выходзяць за рамкі гэтай кнігі, але яны прынцыпова не змяніліся ў эпоху лічбавых тэхналогій. Што змянілася, аднак, заключаецца ў тым , што асяроддзе дадзеных у лічбавых эксперыментах стварыла новыя магчымасці , такія як выкарыстанне метадаў машыннага навучання для ацэнкі гетэрагеннасць эфектаў лячэння (Imai and Ratkovic 2013) .

Унутраная валіднасць цэнтраў па ўсім , ці былі выкананы правільна эксперыментальныя працэдуры. Вяртаючыся да эксперыменту Schultz et al. (2007) і Schultz et al. (2007) , пытанні аб унутранай валіднасці могуць засяроджваюцца вакол рандомизации, дастаўка лячэння і вымярэнне вынікаў. Напрыклад, вы можаце быць занепакоеныя тым, што асістэнты ня чыталі электралічыльнікі надзейна. На самай справе, Шульц і яго калегі былі занепакоеныя гэтай праблемай, і яны мелі ўзор метраў прачытаных у два разы; На шчасце, вынікі былі практычна ідэнтычныя. Увогуле, Шульц і эксперымент калегаў, як уяўляецца, маюць высокую ўнутраную валіднасць, але гэта не заўсёды так: комплекснае поле і онлайн-эксперыменты часта сутыкаюцца з праблемамі, на самай справе, якiя прыносяць права звароту да патрэбных людзям і вымярэння вынікаў для ўсіх. На шчасце, лічбавай стагоддзе можа дапамагчы паменшыць неспакой з нагоды ўнутранай рэчаіснасці, таму што цяпер лягчэй гарантаваць, што лячэнне праводзіцца для тых, хто павінен атрымаць яе і вымяраць вынікі для ўсіх удзельнікаў.

Пабудаваць цэнтры валіднасці вакол матчу паміж дадзенымі і тэарэтычнымі пабудовамі. Як ужо гаварылася ў чале 2, канструкцыі з'яўляюцца абстрактнымі паняццямі, што грамадазнаўцы прычына кс. На жаль, гэтыя абстрактныя паняцці, не заўсёды маюць выразныя вызначэння і вымярэння. Вяртаючыся да Schultz et al. (2007) і Schultz et al. (2007) , сцвярджае , што сацыяльныя нормы судовага забароны можа знізіць спажыванне электраэнергіі патрабуе даследчыкаў распрацаваць лячэнне , якое будзе кіраваць «забеспячальнага сацыяльнымі нормамі» (напрыклад, смайлік) і вымераць «спажыванне электраэнергіі». У аналагавых эксперыментах, многія даследчыкі распрацавалі свае ўласныя працэдуры і вымералі іх уласныя вынікі. Такі падыход гарантуе, што, наколькі гэта магчыма, эксперыменты адпавядаюць абстрактныя канструкцыі доследнага. У лічбавых эксперыментах, дзе даследчыкі партнёр з кампаніямі або урадамі для дастаўкі лячэння і выкарыстанне заўсёды на сістэмах дадзеных для ацэнкі вынікаў, матч паміж эксперыментам і тэарэтычнымі пабудовамі можа быць менш жорсткім. Такім чынам, я мяркую, што канструкт рэчаіснасць будзе, як правіла, вялікую заклапочанасць у лічбавых эксперыментах, чым у аналагавых эксперыментах.

Нарэшце, знешняя валіднасць цэнтраў па ўсім Ці вынікі гэтага эксперыменту можна абагульніць на іншыя сітуацыі. Вяртаючыся да Schultz et al. (2007) і Schultz et al. (2007) , можна было б спытаць , ёсць ці гэта тая ж ідэя, падаючы людзям інфармацыю аб іх выкарыстанні энергіі ў сувязі з іх аднагодкамі і сігнал забеспячальніцкіх нормаў (напрыклад, смайлік) -would паменшыць спажыванне энергіі , калі гэта было зроблена па-іншаму ў іншым асяродзьдзі. Для большасці добра прадуманыя і добра праводзіць эксперыменты, асцярогі з нагоды знешняй рэчаіснасці цяжэй за ўсё вырашыць. У мінулым гэтыя дэбаты аб знешняй рэчаіснасці часта не ўдзельнічаюць нічога больш, чым група людзей, якія сядзяць у пакоі, спрабуючы ўявіць, што здарылася б, калі працэдуры былі зроблены па-іншаму, ці ў іншым месцы, або з рознымі ўдзельнікамі , На шчасце, лічбавы век дазваляе даследчыкам выйсці за межамі гэтых спекуляцый дадзеных, свабодныя і ацаніць знешнюю валіднасць эмпірычны.

З вынікаў , атрыманых Schultz et al. (2007) і Schultz et al. (2007) былі настолькі захапляльнымі, кампанія пад назвай Оповер партнёра камунальных паслуг у Злучаных Штатах , каб разгарнуць лячэнне больш шырока. На аснове канструкцыі Schultz et al. (2007) і Schultz et al. (2007) , Оповер створана індывідуальныя справаздачы Галоўнай Энергіі , якая была два асноўных модуля: адзін паказ выкарыстанне электраэнергіі хатнія гаспадаркі па адносінах да сваіх суседзяў з смайлікамі і адзін забяспечваючы парады для зніжэння спажывання энергіі (мал 4,6). Затым, у супрацоўніцтве з даследнікамі, Оповер бегала рандомізірованный кантраляваных эксперыменты, каб ацаніць уплыў гэтых унутраных энергетычных справаздач. Нягледзячы на ​​тое, што лячэнне ў гэтых эксперыментах, як правіла, дастаўляецца фізічна, як правіла, праз старамодную звычайную пошту, вынік быў вымераны з выкарыстаннем лічбавых прылад у фізічным свеце (напрыклад, вымяральнікі магутнасці). Акрамя таго, замест ручнога збору гэтай інфармацыі з навуковымі супрацоўнікамі, якія наведваюць кожны дом, эксперыменты Оповера усе яны былі зробленыя ў супрацоўніцтве з энергетычнымі кампаніямі, якія дазваляюць даследчыкамі атрымаць доступ да паказу магутнасці. Такім чынам, гэтыя эксперыменты часткова лічбавыя поля праводзіліся пры масавым маштабе пры нізкай кошту зменнай.

Малюнак 4.6: Галоўная Энергія Справаздачы мелі Comparison модуль Сацыяльны і модуль Action Steps. Прайграваецца з дазволу Allcott (2011) , лічбы 1 і 2.

У першай серыі эксперыментаў з удзелам 600000 хатніх гаспадарак з 10 розных сайтаў, Allcott (2011) выявіў , што Energy Report Home знізіў спажыванне электраэнергіі. Іншымі словы, вынікі нашмат большых, больш геаграфічна разнастайных даследаванняў былі якасна падобныя з вынікамі Schultz et al. (2007) і Schultz et al. (2007) . Акрамя таго, у наступных даследаваннях па восем мільёнаў дадатковых хатніх гаспадарак з 101 розных сайтаў, Allcott (2015) зноў выявіў , што Energy Report Home паслядоўна апускае спажыванне электраэнергіі. Гэта значна большы набор эксперыментаў таксама выявілі цікавую новую мадэль, якая не будзе бачная ў любым адным эксперыменце: памер эфекту адхілены ў наступных эксперыментах (мал 4,7). Allcott (2015) выказаў здагадку , што гэта зніжэнне адбылося таму, што з цягам часу, лячэнне ўжываецца да розных тыпаў удзельнікаў. Больш канкрэтна, камунальныя паслугі з больш экалагічна арыентаванымі кліентамі, больш верагодна, прыняць праграму раней, і іх кліенты былі больш спагаднымі на лячэнне. Як камунальныя паслугі з меншай колькасцю экалагічна арыентаваных кліентаў была прынята праграма, яе эфектыўнасць апынуліся зніжацца. Такім чынам, гэтак жа, як рандомизация ў эксперыментах гарантуе, што лячэнне і кантрольная група падобная, рандомизации ў даследчых цэнтрах гарантуюць, што ацэнкі могуць быць абагульнены з адной групы ўдзельнікаў да больш агульнаму групе насельніцтва (узгадайце кіраўніка 3 аб выбарцы). Калі навуковыя сайты не адбіраюцца выпадковым метадам, то абагульнення, нават зусім распрацаваны і праведзены эксперымент, можа быць праблематычным.

Малюнак 4.7: Вынікі 111 досведаў па праверцы ўплыву энергіі Даклад дома на спажыванне электраэнергіі. У месцах, дзе была прынятая пазней праграма, яна, як правіла, маюць меншы эфект. Allcott (2015) сцвярджае , што асноўная крыніца гэтай мадэлі з'яўляецца тое , што сайты з больш экалагічна арыентаванымі кліентамі, хутчэй за ўсё, прыняць праграму раней. Адаптавана з Allcott (2015) , малюнак 3.

Разам гэтыя 111 эксперыментаў-10 у Allcott (2011) і 101 у Allcott (2015) -involved каля 8,5 мільёнаў сем'яў з усіх куткоў Злучаных Штатаў. Яны ўвесь час паказваюць, што Home Energy Справаздачы скараціць сярэдняе спажыванне электраэнергіі, вынік, які падтрымлівае арыгінальныя вынікі Шульца і яго калега з 300 дамоў у Каліфорніі. За проста тыражаванне гэтыя першапачатковыя вынікі, наступныя эксперыменты таксама паказваюць, што велічыня эфекту залежыць ад месцазнаходжання. Гэты набор эксперыментаў таксама ілюструе два больш агульных кропак адносна эксперыментаў часткова лічбавых палёў. Па-першае, даследчыкі змогуць эмпірычным шляхам вырашэння праблем, звязаных вонкавай валіднасці, калі кошт правядзення эксперыментаў нізкая, і гэта можа адбыцца, калі вынік ужо вымяраецца заўсёды на дадзеных сістэмы. Такім чынам, можна меркаваць, што даследчыкі павінны быць у пошуку іншага цікавага і важнае паводзіны, якія ўжо запісаныя, а затым распрацаваць эксперыменты на вяршыні гэтай існуючай вымяральнай інфраструктуры. Па-другое, гэта мноства эксперыментаў нагадвае нам, што эксперыменты лічбавыя поля не толькі ў рэжыме онлайн; ўсё больш і больш, я спадзяюся, што яны будуць ўсюды з вялікай колькасцю вынікаў вымярэнняў з дапамогай датчыкаў ў штучнай асяроддзі.

Чатыры тыпу дзеянні-статыстычны выснову рэчаіснасці, унутраная рэчаіснасць, пабудаваць рэчаіснасць, і знешняя валіднасць, забяспечвае разумовы кантрольны спіс, каб дапамагчы даследчыкам ацаніць Ці вынікі канкрэтнага эксперыменту падтрымліваюць больш агульная выснова. У параўнанні з аналагавым узростам эксперыментамі, у лічбавым ўзросце эксперыментах, павінна быць лягчэй вырашаць знешнюю валіднасць эмпірычны, і гэта таксама павінна быць лягчэй забяспечыць ўнутраную валіднасць. З іншага боку, пытанні валіднасці, верагодна, будуць больш складанымі ў лічбавым ўзросце эксперыментах, асабліва эксперыменты лічбавых палёў, якія ўключаюць партнёрскія адносіны з кампаніямі.