મેથેમેટિકલ નોટ્સ

મને લાગે છે કે પ્રયોગોને સમજવા માટેનો શ્રેષ્ઠ માર્ગ સંભવિત પરિણામો ફ્રેમવર્ક છે (જે મેં પ્રકરણ 2 માં ગાણિતિક નોંધોમાં ચર્ચા કર્યા છે). (Aronow and Middleton 2013; Imbens and Rubin 2015, chap. 6) 3 (Aronow and Middleton 2013; Imbens and Rubin 2015, chap. 6) માં વર્ણવેલ ડિઝાઇન-આધારિત નમૂનામાંથી વિચારો સાથે સંભવિત પરિણામ ફ્રેમવર્કનો ગાઢ સંબંધ છે. આ જોડાણ પર એવી રીતે લખવામાં આવ્યું છે કે જોડાણ પર ભાર મૂકવો. આ ભાર થોડી બિન-પરંપરાગત છે, પરંતુ મને લાગે છે કે સેમ્પલ અને પ્રયોગો વચ્ચેનું જોડાણ ઉપયોગી છે: તેનો અર્થ એ કે જો તમને નમૂના વિશે કંઈક ખબર હોય તો તમે પ્રયોગો વિશે અને તેનાથી ઊલટું કંઈક જાણો છો. હું આ નોંધોમાં બતાવીશ, સંભવિત પરિણામ માળખું સાધક અસરોનો અંદાજ કાઢવા માટે રેન્ડમાઇઝ્ડ નિયંત્રિત પ્રયોગોની તાકાત દર્શાવે છે, અને તે સંપૂર્ણ અમલી પ્રયોગો સાથે શું કરી શકાય તે માટેની મર્યાદાઓ પણ દર્શાવે છે.

આ પરિશિષ્ટમાં, હું સંભવિત પરિણામ માળખાને વર્ણવીશ, આ નોંધોને સ્વયં-સમાયેલ બનાવવા માટે ક્રમમાં પ્રકરણ 2 માં ગાણિતિક નોંધમાંથી કેટલીક સામગ્રીઓને ડુપ્લિકેટ કરીશ. પછી હું શ્રેષ્ઠ ફાળવણીની ચર્ચા અને તફાવત-તફાવતોના અંદાજ સહિત, સરેરાશ સારવારની અસરોના અનુમાનની ચોકસાઇ વિશે કેટલીક ઉપયોગી પરિણામો વર્ણવશે. આ પરિશિષ્ટ Gerber and Green (2012) ભારે ખેંચે છે.

સંભવિત પરિણામો માળખું

સંભવિત પરિણામોના માળખાને સમજાવવા માટે, ચાલો આપણે રેસ્ટિવો અને વેન ડી રિઝટના પ્રયોગ પર પાછા જઈએ અને ભવિષ્યના યોગદાન પર બૉર્નસ્ટાર્મને વિકિપીડિયામાં મેળવવાની અસરનો અંદાજ કાઢીએ. સંભવિત પરિણામ માળખામાં ત્રણ મુખ્ય ઘટકો છે: એકમો , ઉપચાર અને સંભવિત પરિણામો . રેસ્ટિવો અને વાન દે રીજના કિસ્સામાં, આ એકમો સંપાદકોને યોગ્ય હતા - તે ટોચની 1% યોગદાનકર્તા હતા - જેમણે હજી સુધી બર્નસ્ટાર મેળવ્યું ન હતું અમે આ સંપાદકોને \(i = 1 \ldots N\) દ્વારા ઇન્ડેક્સ કરી શકીએ છીએ. તેમના પ્રયોગમાં સારવાર "બાર્નસ્ટાર" અથવા "નો બાર્નસ્ટાર" હતા અને હું \(W_i = 1\) જો વ્યક્તિ \(i\) સારવારની હાલતમાં હોય અને \(W_i = 0\) અન્યથા. સંભવિત પરિણામોના માળખાના ત્રીજા ઘટક સૌથી મહત્વપૂર્ણ છે: સંભવિત પરિણામો . આ બીટ વધુ કન્સેપ્ટીવ મુશ્કેલ છે કારણ કે તેમાં "સંભવિત" પરિણામો સામેલ છે-જે બની શકે તેવી વસ્તુઓ. દરેક વિકિપીડિયા એડિટર માટે, તે સારવારની સ્થિતિ ( \(Y_i(1)\) ) અને તે જે કંટ્રોલની સ્થિતિમાં કરે છે તે સંખ્યા ( \(Y_i(0)\) માં કરેલા ફેરફારોની કલ્પના કરી શકે છે. ).

નોંધ કરો કે એકમો, ઉપચાર અને પરિણામોની આ પસંદગી આ પ્રયોગમાંથી શું શીખી શકાય તે વ્યાખ્યાયિત કરે છે. ઉદાહરણ તરીકે, કોઈ વધારાની ધારણા વિના, રેસ્ટિવો અને વાન ડી રીજ બધાં વિકિપીડિયા એડિટર પર બર્નસ્ટર્સની અસરો વિશે અથવા સંપાદન ગુણવત્તા જેવા પરિણામો પર કશું કહી શકતા નથી. સામાન્ય રીતે, એકમો, સારવાર અને પરિણામોની પસંદગી અભ્યાસના લક્ષ્યાંકો પર આધારિત હોવી જોઈએ.

આ સંભવિત પરિણામોને જોતાં - જે ટેબલ 4.5 માં સારાંશ થયેલ છે - એક વ્યક્તિને સારવાર માટે સાધક અસર વ્યાખ્યાયિત કરી શકે છે \(i\) તરીકે

\[ \tau_i = Y_i(1) - Y_i(0) \qquad(4.1)\]

મારા માટે, આ સમીકરણ સાધક અસર વ્યાખ્યાયિત કરવા માટે એક સ્પષ્ટ માર્ગ છે, અને, અત્યંત સરળ હોવા છતાં, આ માળખું ઘણા મહત્વપૂર્ણ અને રસપ્રદ રીતે (Imbens and Rubin 2015) માં generalizable માટે કરે છે.

જો આપણે આ રીતે કાયદેસરતાને વ્યાખ્યાયિત કરીએ છીએ, જો કે, અમે એક સમસ્યામાં દોડીએ છીએ. લગભગ તમામ કેસોમાં, અમે બન્ને સંભવિત પરિણામોનું પાલન ન કરીએ એટલે કે, ચોક્કસ વિકિપીડિયા એડિટર ક્યાંતો બાર્નરસ્ટ મેળવ્યું છે કે નહીં. તેથી, અમે સંભવિત પરિણામો પૈકી એકનું અવલોકન કરીએ \(Y_i(1)\) અથવા \(Y_i(0)\) -પરંતુ બન્ને નહીં. બન્ને સંભવિત પરિણામોનું પાલન કરવાની અસમર્થતા એવી મોટી સમસ્યા છે કે Holland (1986) એ તેને કોઝનલ ઇનફેરન્સની ફન્ડામેન્ટલ પ્રોબ્લેમ કહેવાય છે.

સદભાગ્યે, જ્યારે આપણે સંશોધન કરી રહ્યા છીએ, ત્યારે અમારી પાસે માત્ર એક વ્યક્તિ નથી, અમારી પાસે ઘણા લોકો છે અને આ મૂળભૂત સંદર્ભની મૂળભૂત સમસ્યાની આસપાસ એક તક આપે છે. વ્યક્તિગત-સ્તરની સારવારની અસરનો અંદાજ કરવાનો પ્રયાસ કરતા, અમે સરેરાશ સારવારની અસરનો અંદાજ કરી શકીએ છીએ:

\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(4.2)\]

આ હજુ પણ \(\tau_i\) દ્રષ્ટિએ વ્યક્ત કરવામાં આવે છે, જે અસ્પૃશ્ય છે, પરંતુ કેટલાક બીજગણિત ( Gerber and Green (2012) ના ઇક 2.8) આપણને મળે છે

\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(4.3)\]

સમીકરણ 4.3 બતાવે છે કે જો આપણે સારવાર હેઠળ વસતીનો સરેરાશ પરિણામ અંદાજ કરી શકીએ ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ) અને વસ્તીનો સરેરાશ પરિણામ નિયંત્રણ હેઠળ છે ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ), તો પછી આપણે કોઈ પણ વિશિષ્ટ વ્યક્તિ માટે સારવારની અસરનો અંદાજો કાઢ્યા વગર, સરેરાશ સારવાર અસરનો અંદાજ કરી શકીએ છીએ.

હવે મેં મારા અંદાજને વ્યાખ્યાયિત કર્યો છે- જે વસ્તુ અમે અંદાજ કરવાનો પ્રયાસ કરી રહ્યા છીએ-હું તે માહિતી સાથે કેવી રીતે વાસ્તવમાં અંદાજ કરી શકીશ. મને નમૂનાના સમસ્યા તરીકે આ અંદાજ પડકાર વિશે વિચારવું ગમે છે (પ્રકરણ 3 માં ગાણિતિક નોંધમાં પાછા આવો). કલ્પના કરો કે અમે કોઈકને સારવારની હાલતમાં અવલોકન કરવા માટે કેટલાક લોકોને પસંદ કરીએ છીએ અને અમે રેન્ડમલી કેટલાક લોકોને નિયંત્રણની હાલતમાં અવલોકન કરવા માટે પસંદ કરીએ છીએ, પછી અમે દરેક શરતમાં સરેરાશ પરિણામનું અનુમાન કરી શકીએ છીએ:

\[ \widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average edits, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average edits, control}} \qquad(4.4)\]

જ્યાં \(N_t\) અને \(N_c\) એ સારવાર અને નિયંત્રણ શરતોમાં લોકોની સંખ્યા છે. સમીકરણ 4.4 એ તફાવત-ઓફ-ઇન્ડિયન અંદાજ છે. સેમ્પલ ડિઝાઇનના કારણે, આપણે જાણીએ છીએ કે પહેલી ટર્મ એ સારવાર હેઠળના સરેરાશ પરિણામ માટે બિનઅનુભવી અંદાજકાર છે અને બીજી મુદત નિયંત્રણ હેઠળ અનિશ્ચિત અંદાજકાર છે.

રેન્ડમાઈડમેશન કઈ રીતે સક્રિય કરે છે તે વિચારવાની બીજી રીત એ છે કે તે ખાતરી કરે છે કે સારવાર અને નિયંત્રણ સમૂહો વચ્ચેની સરખામણી વાજબી છે કારણ કે રેન્ડમાઇઝેશન એ ખાતરી કરે છે કે બે જૂથો એકબીજાને મળતા આવે છે. આ સામ્યતા એવી વસ્તુઓ માટે છે જે અમે માપી છે (પ્રયોગ પહેલાના 30 દિવસ પહેલા સંપાદનોની સંખ્યા) અને જે વસ્તુઓ અમે માપી ન હોય (લિંગ કહેવું). નિરીક્ષણ અને અવલોકિત બંને પરિબળો પર સંતુલન જાળવવાની આ ક્ષમતા મહત્વપૂર્ણ છે. બિનજરૂરી કારકો પર આપમેળે સંતુલિત કરવાની શક્તિ જોવા દો, ચાલો કલ્પના કરીએ કે ભાવિ સંશોધન બતાવે છે કે પુરૂષો સ્ત્રીઓ કરતાં પુરસ્કારો માટે વધુ જવાબદાર છે. શું તે રિસ્ટિવો અને વાન દે રીજતના પ્રયોગના પરિણામોને અમાન્ય કરશે? ના. રેન્ડમાઇઝિંગ દ્વારા, તેઓ ખાતરી કરે છે કે બધા અવગણનાત્મક સંતુલિત હશે, અપેક્ષામાં અજ્ઞાત સામે આ રક્ષણ ખૂબ જ શક્તિશાળી છે, અને તે એક મહત્વપૂર્ણ રીત છે કે પ્રયોગ પ્રકરણ 2 માં વર્ણવેલ બિન-પ્રાયોગિક તકનીકોથી અલગ છે.

સમગ્ર વસતિ માટે સારવારની અસરને વ્યાખ્યાયિત કરવા ઉપરાંત, લોકોના સબસેટ માટે સારવાર અસર વ્યાખ્યાયિત કરવી શક્ય છે. આને સામાન્ય રીતે શરતી સરેરાશ સારવાર અસર (CATE) કહેવાય છે. દાખલા તરીકે, રેસ્ટિવો અને વાન દે રીજ દ્વારા કરવામાં આવેલા અભ્યાસમાં, ચાલો કલ્પના કરીએ કે \(X_i\) એ છે કે શું સંપાદક પ્રયોગ પહેલા 90 દિવસો દરમિયાન સંપાદનની સરેરાશ સંખ્યાની ઉપર અથવા નીચે હતા. એક આ પ્રકાશ અને ભારે સંપાદકો માટે સારવાર અસર અલગ ગણતરી કરી શકે છે.

સંભવિત પરિણામ માળખું સાધક અનુમાન અને પ્રયોગો વિશે વિચારવાનો એક શક્તિશાળી માર્ગ છે. જો કે, ત્યાં બે વધારાના જટિલતાઓ છે કે તમારે ધ્યાનમાં રાખવી જોઈએ. આ બે જટીલતાઓને ઘણીવાર સ્ટેબલ યુનિટ ટ્રીટમેન્ટ વેલ્યુ એસિમ્પસન (એસયુટીવીએ) હેઠળ એકસાથે જોડવામાં આવે છે. SUTVA નો પહેલો ભાગ એવી ધારણા છે કે વ્યક્તિ માટે એક જ વસ્તુ છે \(i\) પરિણામ શું છે કે તે વ્યક્તિ સારવાર અથવા નિયંત્રણની હાલતમાં છે? બીજા શબ્દોમાં કહીએ તો, એવું માનવામાં આવે છે કે વ્યક્તિ \(i\) ને આપવામાં આવતી સારવારથી પ્રભાવિત નથી. આને ઘણી વખત "કોઈ દખલગીરી" અથવા "નો સ્પિલવર્સ" કહેવામાં આવે છે, અને તેને આ રીતે લખી શકાય છે:

\[ Y_i(W_i, \mathbf{W_{-i}}) = Y_i(W_i) \quad \forall \quad \mathbf{W_{-i}} \qquad(4.5)\]

જ્યાં \(\mathbf{W_{-i}}\) વ્યક્તિ સિવાય દરેક માટે સારવારની સ્થિતિનું વેક્ટર છે \(i\) . આનો ભંગ થઈ શકે તેવું એક રીત એ છે કે જો એક વ્યક્તિ બીજી વ્યક્તિની સારવારને હકારાત્મક કે નકારાત્મક રીતે ફેલાવે છે રેસ્ટિવો અને વાન ડી રિઝટના પ્રયોગમાં પાછો ફરવું, બે મિત્રોને \(i\) અને \(j\) કલ્પના કરો અને તે વ્યક્તિ \(i\) એક બાર્નરસ્ટ મેળવે છે અને \(j\) નથી. જો બાર્નસ્ટારના કારણો \(j\) વધુ (સ્પર્ધાના અર્થમાં બહાર) સંપાદિત કરવા માટે અથવા ઓછું (નિરાશાના અર્થમાં) ફેરફાર કરવા માટે \(i\) જો) \(i\) તો \(i\) , તો પછી SUTVA નું ઉલ્લંઘન થયું છે. સારવારની અસર અન્ય લોકોની કુલ સંખ્યા પર આધારિત હોય તો તે પણ ઉલ્લંઘન થઈ શકે છે. ઉદાહરણ તરીકે, જો રેસ્ટિવો અને વેન ડી રજતે 100 ની જગ્યાએ 1,000 કે 10,000 બૅનસ્ટાર આપ્યા હતા, તો આનાથી બર્નસ્ટાર પ્રાપ્ત કરવાની અસરને અસર થઈ હશે.

બીજા મુદ્દાને SUTVA માં લપડાવી એ ધારણા છે કે એકમાત્ર સંબંધિત સારવાર સંશોધકને પહોંચાડે છે; આ ધારણાને કેટલીકવાર કોઈ છુપાવેલ સારવાર અથવા અપવાદ ન હોવાનું કહેવાય છે. દાખલા તરીકે, રેસ્ટિવો અને વેન દે રીજમાં, તે કદાચ બારોસ્ટાર આપીને સંશોધકોએ લોકપ્રિય સંપાદકોના પૃષ્ઠ પર સંપાદિત કરનારાઓનું સંપાદન કર્યું અને તે લોકપ્રિય સંપાદકો પૃષ્ઠ પર રહીને-બૉર્નસ્ટાર મેળવવાની બદલે- તે વર્તન સંપાદન માં ફેરફાર કારણે. જો આ સાચું હોય તો, બૉર્નસ્ટારની અસર લોકપ્રિય સંપાદકોના પૃષ્ઠ પર હોવાના પ્રભાવથી અલગ નથી. અલબત્ત, તે સ્પષ્ટ નથી, જો વૈજ્ઞાનિક પરિપ્રેક્ષ્યથી, આ આકર્ષક અથવા બિનઆકર્ષક માનવામાં આવે છે. એટલે કે, તમે એવું સંશોધકની કલ્પના કરી શકો છો કે બાર્નસ્ટાર્ડ મેળવવાની અસરમાં બર્નસ્ટારને ચાલુ થતાં તમામ સારવારોનો સમાવેશ થાય છે. અથવા તમે એક એવી પરિસ્થિતિની કલ્પના કરી શકો છો કે જ્યાં સંશોધન આ તમામ અન્ય વસ્તુઓથી બાર્નર્સ્ટની અસરને દૂર કરવા માગશે. આના વિશે વિચારવાનો એક માર્ગ એ છે કે શું Gerber and Green (2012) (પૅજ 41) ને "સમપ્રમાણતામાં ભંગાણ" કહેવાય છે, તે અંગે કોઈ પ્રશ્ન છે કે નહીં? બીજા શબ્દોમાં કહીએ તો, શું ઉપચાર કરતા અન્ય કોઈ પણ બાબત છે જે લોકો સારવાર અને નિયંત્રણની સ્થિતિઓને અલગ રીતે વર્તન કરે છે? સમપ્રમાણતા તોડવા અંગેની ચિંતાઓ તબીબી ટ્રાયલ્સમાં નિયંત્રણ જૂથના મુખ્ય દર્દીઓને પ્લેસબો ટીલ લેવા માટે છે. આ રીતે, સંશોધકો ખાતરી કરી શકે છે કે બે શરતો વચ્ચેનો માત્ર એક જ તફાવત વાસ્તવિક દવા છે અને ગોળી લેવાનો અનુભવ નથી.

SUTVA પર વધુ માટે, Gerber and Green (2012) ના વિભાગ 2.7, Morgan and Winship (2014) વિભાગ 2.5 Morgan and Winship (2014) અને Imbens and Rubin (2015) ના વિભાગ 1.6 જુઓ.

ચોકસાઇ

પહેલાનાં વિભાગમાં, મેં વર્ણવ્યું છે કે કેવી રીતે એવરેજ ટ્રીટમેન્ટ ઇફેક્ટનો અંદાજ કાઢવો. આ વિભાગમાં, હું તે અંદાજોની ચલન અંગે કેટલાક વિચારો પ્રદાન કરું છું.

જો તમે બે નમૂના વચ્ચેના તફાવતનો અંદાજ કાઢવા સરેરાશ સારવાર અસરનો અંદાજ લગાવતા હોય, તો તે બતાવવું શક્ય છે કે સરેરાશ ઉપચારની સ્ટાન્ડર્ડ ભૂલ એ છે:

\[ SE(\widehat{\text{ATE}}) = \sqrt{\frac{1}{N-1} \left(\frac{m \text{Var}(Y_i(0))}{N-m} + \frac{(N-m) \text{Var}(Y_i(1))}{m} + 2\text{Cov}(Y_i(0), Y_i(1)) \right)} \qquad(4.6)\]

જ્યાં \(m\) લોકોને સારવાર માટે સોંપવામાં આવે છે અને \(Nm\) નિયંત્રિત કરવા માટે (જુઓ Gerber and Green (2012) , eq. 3.4). આથી, કેટલા લોકો સારવાર માટે સોંપી શકે છે અને કેટલા લોકોને નિયંત્રિત કરવા માટે સોંપે છે, તે તમે \(\text{Var}(Y_i(0)) \approx \text{Var}(Y_i(1))\) કે જો \(\text{Var}(Y_i(0)) \approx \text{Var}(Y_i(1))\) , તો પછી તમે ઇચ્છો કે \(m \approx N / 2\) , જ્યાં સુધી સારવાર અને નિયંત્રણના ખર્ચો સમાન હોય. સમીકરણ 4.6 સ્પષ્ટ કરે છે કે શા માટે બોન્ડ અને સહકાર્યકરોની ડિઝાઇન (2012) મતદાન પરની સામાજિક માહિતીની અસરો વિશે (આંકડા 4.18) અયોગ્ય આંકડાકીય રીતે યાદ રાખો કે તેની સારવારની સ્થિતિમાં 98 ટકા સહભાગીઓ છે. તેનો મતલબ એવો હતો કે નિયંત્રણની હાલતમાં સરેરાશ વર્તન ચોક્કસપણે અનુમાનિત ન હતું કારણ કે તે હોઇ શકે છે, જેનો અર્થ એવો થયો કે સારવાર અને નિયંત્રણની સ્થિતિ વચ્ચેનો અંદાજિત તફાવત એ ચોક્કસ હોઈ શકે નહીં કારણ કે તે શક્ય છે. પરિસ્થિતિઓમાં ભાગ લેનારાઓના શ્રેષ્ઠ ફાળવણી પર વધુ માટે, જ્યારે ખર્ચની સ્થિતિ વચ્ચે તફાવત હોય, ત્યારે List, Sadoff, and Wagner (2011) .

છેવટે, મુખ્ય પાઠમાં, મેં વર્ણવ્યું છે કે મિશ્ર-ભેદભાવનો અંદાજ, જેનો ઉપયોગ સામાન્ય રીતે મિશ્ર ડિઝાઇનમાં થાય છે, તે તફાવત-ઇન-અર્થ અંદાજ કરતાં નાના વિરાકરણ તરફ દોરી શકે છે, જે સામાન્ય રીતે વચ્ચે-વિષયોમાં વપરાય છે ડિઝાઇન જો \(X_i\) એ ઉપચારના પરિણામની મૂલ્ય છે, તો પછી તફાવતમાં તફાવત સાથેનો અંદાજ કાઢવાનો અમે પ્રયાસ કરી રહ્યા છીએ તે છે:

\[ \text{ATE}' = \frac{1}{N} \sum_{i=1}^N ((Y_i(1) - X_i) - (Y_i(0) - X_i)) \qquad(4.7)\]

તે જથ્થામાં પ્રમાણભૂત ભૂલ છે (જુઓ Gerber and Green (2012) , ઇક. 4.4)

\[ SE(\widehat{\text{ATE}'}) = \sqrt{\frac{1}{N-1} \left( \text{Var}(Y_i(0) - X_i) + \text{Var}(Y_i(1) - X_i) + 2\text{Cov}(Y_i(0) - X_i, Y_i(1) - X_i) \right)} \qquad(4.8)\]

ઇક ની સરખામણી 4.6 અને ઇક. 4.8 જણાવે છે કે તફાવતો-તફાવત વચ્ચેનો અભિગમ એક નાના પ્રમાણભૂત ભૂલ હશે (જ્યારે Gerber and Green (2012) , ઇક. 4.6)

\[ \frac{\text{Cov}(Y_i(0), X_i)}{\text{Var}(X_i)} + \frac{\text{Cov}(Y_i(1), X_i)}{\text{Var}(X_i)} > 1\qquad(4.9)\]

આશરે, જ્યારે \(X_i\) \(Y_i(1)\) અને \(Y_i(0)\) આગાહી કરી શકાય છે, ત્યારે તમે તફાવતથી અલગ-અલગ અભિગમથી વધુ ચોક્કસ અંદાજ મેળવી શકો \(Y_i(0)\) એકનો અર્થ એ છે કે રેસ્ટિવો અને વેન ડી રિઝટના પ્રયોગના સંદર્ભમાં આ વિશે વિચારવાનો એક રીત એ છે કે લોકો જે રીતે ફેરફાર કરે છે તેમાં ઘણાં કુદરતી પરિવર્તનો છે, તેથી તે સારવાર અને નિયંત્રણની શરતોની સરખામણી કરે છે: કોઈ સંબંધી શોધવા મુશ્કેલ છે ઘોંઘાટીયા પરિણામ માહિતીમાં નાના અસર. પરંતુ જો તમે આ કુદરતી રીતે અસ્તિત્વમાં રહેલી ચલની તફાવતને પાર પાડી શકો છો, તો ત્યાં ઘણી ઓછી વૈવિધ્યતા છે, અને તે નાના અસર શોધવાનું સરળ બનાવે છે.

Frison and Pocock (1992) તફાવત-ઓફ-માસ, તફાવત-તફાવત, અને વધુ સામાન્ય સેટિંગમાં ANCOVA- આધારિત અભિગમો માટે જુઓ જ્યાં બહુવિધ માપન પૂર્વ-સારવાર અને પોસ્ટ-સારવાર છે. ખાસ કરીને, તેઓ અન્કોવાને ખૂબ ભારપૂર્વક ભલામણ કરે છે, જે મેં અહીં આવ્યાં નથી. વધુમાં, McKenzie (2012) ને મલ્ટિપલ પોસ્ટ-ટ્રીટમેન્ટ પરિણામ પગલાંના મહત્વની ચર્ચા માટે જુઓ.