4.4.1 માન્યતા

માન્યતા કેટલી પ્રયોગ પરિણામો વધુ સામાન્ય તારણ આધાર ઉલ્લેખ કરે છે.

કોઈ પ્રયોગ સંપૂર્ણ નથી, અને સંશોધકોએ શક્ય સમસ્યાઓનું વર્ણન કરવા માટે વ્યાપક શબ્દભંડોળ વિકસાવી છે. માન્યતા એ ઉલ્લેખ કરે છે કે કોઈ ચોક્કસ પ્રયોગના પરિણામો કેટલા સામાન્ય નિષ્કર્ષને સમર્થન આપે છે. સમાજના વૈજ્ઞાનિકોએ ચાર મુખ્ય પ્રકારોમાં માન્યતાને વિભાજીત કરવા માટે મદદરૂપ સાબિત કર્યું છે: આંકડાકીય નિષ્કર્ષની માન્યતા, આંતરિક માન્યતા, માન્યતાની રચના અને બાહ્ય માન્યતા (Shadish, Cook, and Campbell 2001, chap. 2) . આ વિભાવનાઓને નિપુણતા તમને પ્રયોગના ડિઝાઇન અને વિશ્લેષણના મૂલ્યાંકન અને સુધારણા માટે માનસિક ચેકલિસ્ટ આપશે અને તે તમને અન્ય સંશોધકો સાથે વાતચીત કરવામાં સહાય કરશે.

પ્રયોગનો આંકડાકીય વિશ્લેષણ યોગ્ય રીતે કરવામાં આવ્યું છે કે કેમ તે અંગે આંકડાકીય નિષ્કર્ષ માન્યતા કેન્દ્રો. Schultz et al. (2007) સંદર્ભમાં Schultz et al. (2007) , આવા પ્રશ્ન તેઓ તેમના \(p\) મૂલ્યોની ગણતરી કરે છે કે કેમ તે અંગે કેન્દ્રિત છે આંકડાકીય સિદ્ધાંતો પ્રયોગો ડિઝાઇન અને વિશ્લેષણ કરવાની જરૂર છે આ પુસ્તક તક બહાર છે, પરંતુ તેઓ મૂળભૂત ડિજિટલ વય માં બદલાયેલ નથી. શું બદલાયું છે, તેમ છતાં, ડિજિટલ પ્રયોગોમાં ડેટા વાતાવરણમાં નવી તક ઊભી થઈ છે, જેમ કે સારવારની અસરોની વિવિધતા (Imai and Ratkovic 2013) નો અંદાજ કાઢવા મશીનની પદ્ધતિઓનો ઉપયોગ કરવો.

પ્રાયોગિક કાર્યવાહી યોગ્ય રીતે કરવામાં આવી હતી કે કેમ તે આસપાસ આંતરિક માન્યતા કેન્દ્રો. Schultz et al. (2007) પ્રયોગ પર પાછા ફરવું Schultz et al. (2007) , આંતરિક માન્યતા વિશેના પ્રશ્નો રેન્ડમેડાકરણ, ઉપચારની પહોંચ, અને પરિણામોનું માપન કરી શકે છે. ઉદાહરણ તરીકે, તમને ચિંતા છે કે સંશોધન મદદનીશોએ ઇલેક્ટ્રીક મીટરને વિશ્વસનીય રીતે વાંચ્યું નથી હકીકતમાં, શ્લ્લત્ઝ અને તેના સાથીદારો આ સમસ્યા વિશે ચિંતિત હતા, અને તેમની પાસે મીટરનો નમૂનો બે વાર વાંચવા લાગ્યો હતો; સદભાગ્યે, પરિણામો અનિવાર્ય સમાન હતા. સામાન્ય રીતે, શ્લ્લત્ઝ અને સાથીઓના પ્રયોગને ઉચ્ચ આંતરિક માન્યતા હોવાનું જણાય છે, પરંતુ આ હંમેશા કિસ્સો નથી: જટિલ ક્ષેત્ર અને ઑનલાઇન પ્રયોગો ઘણીવાર યોગ્ય લોકો માટે યોગ્ય સારવાર આપતી સમસ્યાઓ અને દરેક માટેનાં પરિણામોને માપવામાં સમસ્યામાં પરિણમે છે. સદભાગ્યે, ડિજિટલ વય આંતરિક માન્યતા અંગેની ચિંતાઓને ઘટાડવામાં મદદ કરી શકે છે કારણ કે હવે એ સુનિશ્ચિત કરવું સરળ છે કે સારવાર તે પ્રાપ્ત કરવા માટે પહોંચાડવામાં આવે છે અને તે તમામ સહભાગીઓ માટે પરિણામો માપવા માટે છે.

ડેટા અને સૈદ્ધાંતિક રચનાઓ વચ્ચેના મેચની આસપાસ માન્યતા કેન્દ્રોનું નિર્માણ કરો. જેમ જેમ પ્રકરણ 2 માં ચર્ચા થઈ છે તેમ, રચનાઓ અમૂર્ત વિભાવના છે જે સમાજ વિજ્ઞાનીઓનું કારણ છે. કમનસીબે, આ અમૂર્ત વિભાવનાઓમાં હંમેશા સ્પષ્ટ વ્યાખ્યાઓ અને માપનો હોતો નથી. Schultz et al. (2007) પાછા ફરવું Schultz et al. (2007) , દાવો કરે છે કે સામાજિક ધોરણોને રોકવાથી વીજળીનો ઉપયોગ ઓછો થઇ શકે છે, સંશોધકોને એવી સારવાર ડિઝાઇન કરવાની જરૂર છે કે જે "કામચલાઉ સામાજિક ધોરણો" (દા.ત. ઇમોટિકન) ને ચાલાકી અને "વીજળીનો ઉપયોગ" માપવા એનાલોગ પ્રયોગોમાં, ઘણા સંશોધકોએ પોતાના ઉપાયો અને પોતાના પરિણામોનું માપન કર્યું છે. આ અભિગમ તેની ખાતરી કરે છે કે, જેટલું શક્ય તેટલું જ, પ્રયોગોનો અભ્યાસ થતાં અમૂર્ત રચના સાથે મેળ ખાય છે. ડિજિટલ પ્રયોગોમાં જ્યાં સંશોધકો કંપનીઓ અથવા સરકાર સાથે સારવારો પહોંચાડવા અને પરિણામોને માપવા માટે હંમેશાં ડેટા સિસ્ટમ્સનો ઉપયોગ કરે છે, પ્રયોગ અને સૈદ્ધાંતિક બંધારણો વચ્ચેની મેચમાં ઓછા ચુસ્ત હોઈ શકે છે. આથી, હું અપેક્ષા રાખું છું કે એનાલોગ પ્રયોગો કરતા ડિજિટલ પ્રયોગોમાં વૈધાનિકતાની રચના મોટી ચિંતા રહેશે.

છેવટે, બાહ્ય માન્યતા કેન્દ્રો કે કેમ આ પ્રયોગના પરિણામો અન્ય પરિસ્થિતિઓમાં સામાન્યીકૃત થઈ શકે છે Schultz et al. (2007) પાછા ફરવું Schultz et al. (2007) , શું લોકો આ વાતને પૂછી શકે કે શું લોકો તેમના ઉમરાવોના સંબંધમાં ઊર્જાનો ઉપયોગ અને ઇન્જેક્ટિવ ધોરણોના સિગ્નલ (દા.ત. ઇમોટિકન) સાથેની માહિતી ધરાવતા લોકો-ઊર્જા વપરાશને ઘટાડે છે જો તે અલગ રીતે કરવામાં આવે અલગ સેટિંગમાં મોટાભાગની સારી રચનાવાળા અને સારી રીતે ચાલતા પ્રયોગો માટે, બાહ્ય માન્યતા વિશેની ચિંતા એ સંબોધવા માટે સૌથી મુશ્કેલ છે. ભૂતકાળમાં, બાહ્ય માન્યતા અંગેની આ ચર્ચાઓ વારંવાર એક જૂથમાં બેઠેલા લોકોના જૂથ કરતાં વધુ કંઇ જ સામેલ ન હતા જે કલ્પના કરવાનો પ્રયાસ કરી શકે છે જો કાર્યવાહી કોઈ અલગ રીતે, અથવા કોઈ અલગ જગ્યાએ અથવા અલગ સહભાગીઓ સાથે થઈ હોય . સદભાગ્યે, ડિજિટલ વય સંશોધકોને આ માહિતી-મુક્ત અનુમાનથી આગળ વધવા માટે અને બાહ્ય માન્યતાને પારંપરિક રીતે મૂલવવા માટે સક્ષમ કરે છે.

કારણ કે Schultz et al. (2007) પરિણામો Schultz et al. (2007) એટલા ઉત્તેજક હતા, ઓપરેશન નામની એક કંપની યુનાઇટેડ સ્ટેટ્સમાં ઉપયોગિતાઓ સાથે ભાગીદારીમાં વધુ વ્યાપકપણે ઉપયોગ કરવા માટે ભાગીદારી કરે છે Schultz et al. (2007) ડિઝાઇન પર આધારિત Schultz et al. (2007) , ઓપરેરે વૈવિધ્યપૂર્ણ હોમ એનર્જી રિપોર્ટ્સ બનાવ્યાં છે જેમાં બે મુખ્ય મૉડ્યૂલ્સ હતા: એક ઇમોટિકન સાથે તેના પડોશીઓને સંબંધિત ઘરની વીજળીનો ઉપયોગ દર્શાવે છે અને એક ઊર્જા વપરાશ ઘટાડવા માટેની ટિપ્સ આપે છે (આંકડા 4.6). પછી, સંશોધકો સાથેની ભાગીદારીમાં, ઓપરે આ હોમ એનર્જી રિપોર્ટ્સની અસરનું મૂલ્યાંકન કરવા માટે રેન્ડમાઇઝ્ડ નિયંત્રિત પ્રયોગોનો ઉપયોગ કર્યો. ભલે આ પ્રયોગોના ઉપાયો સામાન્ય રીતે જૂના-ફેશનવાળા ગોકળગાય મેઇલ મારફતે ભૌતિક રૂપે વિતરિત થયા હતા- પરિણામ ડિજિટલ ડિવાઇસની મદદથી ભૌતિક વિશ્વમાં (દાખલા તરીકે, પાવર મીટર) માપવામાં આવ્યું હતું. વધુમાં, દરેક ઘરની મુલાકાત લેતા સંશોધન મદદનીશો સાથે આ માહિતીને મેન્યુઅલી એકત્ર કરવાને બદલે, ઓપનર પ્રયોગો પાવર કંપનીઓ સાથે ભાગીદારીમાં પૂર્ણ કરવામાં આવી હતી, જે સંશોધકોને પાવર રીડિંગ્સ ઍક્સેસ કરવા સક્ષમ બનાવતા હતા. આ રીતે, અંશતઃ ડિજિટલ ફિલ્ડ પ્રયોગ નીચા વેરિયેબલ ખર્ચે મોટા પાયા પર ચાલતા હતા.

આકૃતિ 4.6: હોમ એનર્જી રિપોર્ટ્સમાં સામાજિક સરખામણી મોડ્યુલ અને એક્શન સ્ટેપ્સ મૉડ્યૂલ છે. Allcott (2011) , આંકડાઓ 1 અને 2 ની પરવાનગી દ્વારા પુનઃઉત્પાદન.

10 જુદી જુદી સાઇટ્સમાંથી 600,000 પરિવારોના પ્રયોગોના પ્રથમ સેટમાં, Allcott (2011) જાણવા મળ્યું છે કે હોમ એનર્જી રિપોર્ટમાં વીજળી વપરાશમાં ઘટાડો થયો છે. બીજા શબ્દોમાં કહીએ તો, મોટા મોટા અને વધુ ભૌગોલિક વિવિધ અભ્યાસોના પરિણામો Schultz et al. (2007) ના પરિણામોના ગુણાત્મક રીતે સમાન હતા Schultz et al. (2007) . વધુમાં, 101 અલગ અલગ સાઇટ્સમાંથી આઠ મિલિયન વધારાના ઘરોને લગતા સંશોધનમાં, Allcott (2015) ફરી મળ્યું હતું કે હોમ એનર્જી રિપોર્ટ સતત વીજ વપરાશ ઘટાડ્યો છે. પ્રયોગોના આ મોટા સેટમાં એક રસપ્રદ નવો નમૂનો છે જે કોઈપણ એક પ્રયોગમાં દેખાશે નહીં: પછીના પ્રયોગો (આકૃતિ 4.7) માં અસરનું કદ ઘટ્યું હતું. Allcott (2015) એવી ધારણા છે કે આ ઘટાડો થયો છે કારણ કે, સમય જતાં, વિવિધ પ્રકારની સહભાગીઓ પર ઉપચાર લાગુ કરવામાં આવી રહ્યો હતો. વધુ વિશિષ્ટ રીતે, વધુ પર્યાવરણને ધ્યાન કેન્દ્રિત ગ્રાહકો સાથે ઉપયોગિતાઓ અગાઉથી પ્રોગ્રામને અપનાવતા હતા, અને તેમના ગ્રાહકો સારવાર માટે વધુ જવાબદાર હતા. ઓછા પર્યાવરણ-કેન્દ્રિત ગ્રાહકો સાથે ઉપયોગિતાએ આ કાર્યક્રમને અપનાવ્યો હતો, તેની અસરકારકતામાં ઘટાડો થવા લાગ્યો હતો. આમ, જેમ પ્રયોગોમાં રેન્ડમેડાઈઝેશન એ ખાતરી કરે છે કે સારવાર અને નિયંત્રણ જૂથ સમાન છે, સંશોધન સ્થળોમાં રેન્ડમેડાઈઝેશન એ ખાતરી કરે છે કે સહભાગીઓના એક જૂથમાંથી વધુ સામાન્ય વસ્તી (સેમ્પલિંગ વિશે પ્રકરણ 3 પર પાછા આવો) માં અંદાજોને સામાન્ય બનાવી શકાય છે. જો રિસર્ચ સાઇટ્સને રેન્ડમ રીતે સેમ્પલ કરવામાં આવતી નથી, તો સામાન્યીકરણ- એક સંપૂર્ણ ડિઝાઇન અને પ્રયોગાત્મક પ્રયોગોથી પણ સમસ્યારૂપ બની શકે છે.

આકૃતિ 4.7: વીજળી વપરાશ પર હોમ એનર્જી રિપોર્ટની અસરની ચકાસણી કરતી 111 પ્રયોગોના પરિણામો. સાઇટ્સ જ્યાં કાર્યક્રમ પાછળથી સ્વીકારવામાં આવ્યો હતો, તે નાના અસરો હોય છે. Allcott (2015) એવી દલીલ કરે છે કે આ Allcott (2015) મુખ્ય સ્રોત એ છે કે વધુ પર્યાવરણ-કેન્દ્રિત ગ્રાહકો ધરાવતા સાઇટ્સ અગાઉ આ પ્રોગ્રામને અપનાવશે તેવી શક્યતા છે. Allcott (2015) , આકૃતિ 3 માંથી Allcott (2015) .

એક સાથે, આ 111 પ્રયોગો - Allcott (2011) 10 Allcott (2011) અને Allcott (2015) 101 Allcott (2015) સમગ્ર યુનાઇટેડ સ્ટેટ્સથી લગભગ 8.5 મિલિયન પરિવારોનો વિકાસ થયો. તેઓ સતત દર્શાવે છે કે હોમ એનર્જી રિપોર્ટ્સ એવરેજ વીજ વપરાશને ઘટાડે છે, પરિણામે કે કેલિફોર્નિયામાં 300 ઘરોમાંથી શ્લ્લત્ઝ અને સહકાર્યકરોની મૂળ તારણોને આધાર આપે છે. આ મૂળ પરિણામોનું પ્રતિકૃતિ બિયોન્ડ કરતાં, અનુવર્તી પ્રયોગો પણ દર્શાવે છે કે અસરનું કદ સ્થાન દ્વારા બદલાય છે. પ્રયોગોના આ સેટમાં આંશિક રીતે ડિજિટલ ક્ષેત્ર પ્રયોગો વિશે વધુ બે સામાન્ય મુદ્દાઓ વર્ણવવામાં આવ્યા છે. પ્રથમ, સંશોધકો પ્રયોગો ચલાવવાનો ખર્ચ ઓછો હોય ત્યારે બાહ્ય માન્યતાની ચિંતાઓને પ્રયોગાત્મક રીતે સંબોધિત કરી શકશે, અને જો આ પરિણામ પહેલાથી હંમેશા ડેટા સિસ્ટમ દ્વારા માપી શકાય છે. તેથી, તે સૂચવે છે કે સંશોધકો અન્ય રસપ્રદ અને મહત્વપૂર્ણ વર્તણૂકોની તપાસ માટે હોવા જોઇએ જે પહેલાથી જ રેકોર્ડ કરવામાં આવી રહ્યા છે, અને પછી આ હાલના માપન માળખાકીય સુવિધાઓના શીર્ષ પરના પ્રયોગોને ડિઝાઇન કરો. બીજું, પ્રયોગોનો આ સેટ અમને યાદ અપાવે છે કે ડિજિટલ ફિલ્ડ પ્રયોગ ફક્ત ઑનલાઇન નથી; વધુને વધુ, હું આશા રાખું છું કે બિલ્ટ એન્વાર્નમેન્ટમાં સેન્સર દ્વારા માપવામાં આવેલા ઘણા પરિણામો સાથે તેઓ સર્વત્ર હશે.

ચાર પ્રકારની માન્યતા - આંકડાકીય નિષ્કર્ષની માન્યતા, આંતરિક માન્યતા, માન્યતાની રચના અને બાહ્ય માન્યતા - એક માનસિક ચેકલિસ્ટ પૂરી પાડવા માટે સંશોધકોને તે નક્કી કરવા માટે સહાય કરે છે કે શું કોઈ ચોક્કસ પ્રયોગના પરિણામો વધુ સામાન્ય નિષ્કર્ષને સમર્થન આપે છે. એનાલોગ-વય પ્રયોગોની તુલનામાં, ડિજિટલ-વય પ્રયોગોમાં, બાહ્ય માન્યતાને પારંપરિક રીતે સંબોધવા માટે સરળ હોવું જોઈએ, અને આંતરિક માન્યતાની ખાતરી કરવી પણ સરળ હોવું જોઈએ. બીજી તરફ, ડિજિટલ-વયના પ્રયોગોમાં ખાસ કરીને ડિજિટલ ફિલ્ડ પ્રયોગો કે જે કંપનીઓ સાથે ભાગીદારીનો સમાવેશ કરે છે તેમાં રચનાત્મક માન્યતાના મુદ્દાઓ વધુ પડકારરૂપ હશે.