4.6.2 બદલો શુદ્ધ, અને ઘટાડો

, બિન-પ્રાયોગિક અભ્યાસ સાથે પ્રયોગો બદલીને સારવાર શુદ્ધિકરણ, અને સહભાગીઓ સંખ્યા ઘટાડવા દ્વારા તમારા પ્રયોગ વધારે માનવીય બનાવો.

કે હું ડિજિટલ પ્રયોગો ડિઝાઇન વિશે ઓફર કરવા માંગો છો સલાહ બીજા ભાગ નીતિશાસ્ત્ર સંબંધિત છે. વિકિપીડિયા શો barnstars પર Restivo અને વેન દે Rijt પ્રયોગ ઘટાડો ખર્ચ અર્થ એ થાય કે એથિક્સ સંશોધન ડિઝાઇન એક વધુને વધુ મહત્વપૂર્ણ ભાગ બની જશે. નૈતિક સિદ્ધાંતો પ્રાણીઓ સંડોવતા પ્રયોગો માર્ગદર્શન માટે વિકસાવવામાં: માનવ વિષયો સંશોધન કે હું પ્રકરણ 6 માં વર્ણન કરીશું માર્ગદર્શક નૈતિક માળખા ઉપરાંત, ડિજિટલ પ્રયોગો ડિઝાઇન સંશોધકો પણ વિવિધ સ્ત્રોત માંથી નૈતિક વિચારો પર ડ્રો કરી શકો છો. ખાસ કરીને, માનવીય પ્રાયોગિક ટેકનિક તેમના સીમાચિહ્ન પુસ્તક સિદ્ધાંતો, Russell and Burch (1959) બદલો શુદ્ધ, અને ઘટાડો: ત્રણ સિદ્ધાંતો કે પશુ સંશોધન માર્ગદર્શન જોઈએ પ્રસ્તાવ મૂક્યો. હું પ્રસ્તાવ છે કે આ ત્રણ આર પણ ઉપયોગ હોઈ શકે છે એક થોડો ફેરફાર માંગો છો માનવ પ્રયોગો ડિઝાઇન ફોર્મ માટે માર્ગદર્શન આપે છે. વિશેષ રીતે,

• બદલો: ઓછા આક્રમક પદ્ધતિઓ શક્ય હોય તો સાથે પ્રયોગો બદલો
• રીફાઇન: સારવાર રીફાઇન તેને શક્ય તેટલી હાનિકારક બનાવવા માટે
• ઘટાડો: એટલું તમારી પ્રયોગના સહભાગીઓની સંખ્યા ઘટાડવા શક્ય

આ ત્રણ આર કોંક્રિટ બનાવવા અને તેઓ કેવી રીતે સારું અને વધુ માનવીય પ્રાયોગિક ડિઝાઇન તરફ દોરી શકે છે તે બતાવવા માટે, હું એક ઓનલાઇન ક્ષેત્ર પ્રયોગ કે નૈતિક ચર્ચા પેદા વર્ણન કરીશું. પછી હું વર્ણન કરીશું કેવી રીતે ત્રણ આર પ્રયોગ ડિઝાઇન માટે કોંક્રિટ અને વ્યવહારુ ફેરફારો સૂચવે છે.

સૌથી નૈતિક ચર્ચા ડિજિટલ ક્ષેત્ર પ્રયોગો એક "લાગણીનો સંસર્ગ," જે આદમ ક્રેમર, જેમી Gillroy, અને જેફરી હેનકોક દ્વારા હાથ ધરવામાં આવી હતી છે (2014) . પ્રયોગ ફેસબુક પર સ્થાન લીધું હતું અને વૈજ્ઞાનિક અને વ્યવહારુ પ્રશ્નો મિશ્રણ દ્વારા પ્રોત્સાહિત કરવામાં આવી હતી. તે સમયે, પ્રભાવશાળી માર્ગ કે જે વપરાશકર્તાઓને ફેસબુક સાથે વ્યવહાર સમાચાર ફીડ, વપરાશકર્તા માતાનો ફેસબુક મિત્રો માંથી ફેસબુક સ્થિતિ અપડેટ્સ એક ઍલ્ગરિધમનો બનાવાયેલા સમૂહ હતો. ફેસબુક કેટલાક ટીકાકારો સૂચવે હતું કે, કારણ કે ન્યૂઝ ફીડ મોટે ભાગે હકારાત્મક તેમની તાજેતરની નિદર્શન પોસ્ટ્સ-મિત્રો પક્ષ તે વપરાશકર્તાઓ ઉદાસી લાગે છે, કારણ કે તેમના જીવન સરખામણીમાં ઓછી આકર્ષક લાગે છે કારણ બની શકે છે. પ્રશ્નની બીજી બાજુએ, કદાચ અસર બરાબર વિરોધી છે; કદાચ તમારા મિત્ર એક સારો સમય તમે ખુશ લાગે બનાવશે કર્યા જોયા? ક્રમમાં સંબોધવા માટે આ પૂર્વધારણા અને એક પ્રયોગ કેવી રીતે એક વ્યક્તિ લાગણીઓ તેના મિત્રો 'દ્વારા અસર થાય છે તેની આપણી સમજણ આગળ લાગણીઓ-ક્રેમર અને સહકર્મીઓ ચાલી સ્પર્ધા. સંશોધકો એક સપ્તાહ માટે ચાર જૂથો માં 700,000 વિશે વપરાશકર્તાઓ મૂકવામાં: એક "ઋણભારિતા ઘટાડો" જૂથ, નકારાત્મક શબ્દો (દા.ત., ઉદાસી) રેન્ડમ ન્યૂઝ ફીડ દેખાતી અવરોધિત કરવામાં આવી હતી જેની સાથે પોસ્ટ્સ; એક "હકારાત્મકતા ઘટાડો" જેમના માટે હકારાત્મક શબ્દો (દા.ત., હેપી) સાથે પોસ્ટ્સ રેન્ડમ અવરોધિત કરવામાં આવી હતી જૂથ; અને બે નિયંત્રણ જૂથો. "ઋણભારિતા ઘટાડો" જૂથ માટે નિયંત્રણ જૂથમાં, પોસ્ટ્સ રેન્ડમ "ઋણભારિતા ઘટાડો" જૂથ તરીકે પરંતુ ભાવનાત્મક સામગ્રી માટે ધ્યાનમાં લીધા વગર જ દરે અવરોધિત કરવામાં આવી હતી. "હકારાત્મકતા ઘટાડો" જૂથ માટે નિયંત્રણ જૂથ સમાંતર ફેશન માં બાંધકામ કરવામાં આવ્યું હતું. આ પ્રયોગ ડિઝાઇન સમજાવે છે કે યોગ્ય નિયંત્રણ જૂથ હંમેશા કોઈ ફેરફારો સાથે એક નથી. તેના બદલે, ક્યારેક નિયંત્રણ જૂથ ક્રમમાં ચોક્કસ સરખામણી બનાવવા માટે કે જે સંશોધન પ્રશ્ન માટે જરૂરી છે એક સારવાર મેળવે છે. બધા કિસ્સાઓમાં, પોસ્ટ્સ ન્યૂઝ ફીડ કરવાથી અવરોધિત કરવામાં આવી હતી હજુ પણ ફેસબુક વેબસાઇટ અન્ય ભાગો વપરાશકર્તાઓ માટે ઉપલબ્ધ હતા.

ક્રેમર અને સહકર્મીઓ જાણવા મળ્યું કે હકારાત્મકતા સહભાગીઓ સ્થિતિ ઘટાડો, તેમના સ્થિતિ અપડેટ્સ હકારાત્મક શબ્દો ટકાવારી ઘટાડો થયો છે અને નકારાત્મક શબ્દો ટકાવારી વધારો થયો છે. બીજી બાજુ, નકારાત્મકતા ઘટાડો સ્થિતિમાં સહભાગીઓને માટે, હકારાત્મક શબ્દો ટકાવારી વધારો થયો છે અને નકારાત્મક શબ્દો ટકાવારી (આકૃતિ 4.23) ઘટાડો થયો છે. જો કે, આ અસર ખૂબ નાના હતા: સારવાર અને નિયંત્રણો વચ્ચે હકારાત્મક અને નકારાત્મક શબ્દોમાં તફાવત લગભગ 1 1000 શબ્દો હતા.

આકૃતિ 4.23: ભાવનાત્મક સંસર્ગ પુરાવા (Kramer, Guillory, and Hancock 2014) . હકારાત્મક શબ્દો અને પ્રાયોગિક શરત દ્વારા નકારાત્મક શબ્દો ટકાવારી. બાર્સ પ્રમાણભૂત ભૂલો અંદાજ રજૂ કરે છે.

હું પ્રકરણના અંતે વધુ વાંચન વિભાગ આ પ્રયોગ વૈજ્ઞાનિક પાસાઓ ચર્ચા મૂકી છે, પરંતુ કમનસીબે, આ પ્રયોગ સૌથી નૈતિક ચર્ચા પેદા કરવા માટે જાણીતા છે. થોડા દિવસો પછી આ કાગળ સાયન્સ ઓફ ધ નેશનલ એકેડમી ઓફ કાર્યવાહીઓ માં પ્રકાશિત કરવામાં આવી હતી, ત્યાં બંને સંશોધકો અને પ્રેસે એક પ્રચંડ કરાયો હતો. 1) સહભાગીઓ ધોરણ ફેસબુક શરતો ની સેવા એક સારવાર છે કે કેટલાક વિચારો અને સહભાગીઓ માટે નુકસાન કારણ બની શકે છે 2) અભ્યાસ નથી પસાર કરી હતી તૃતીય પક્ષ નૈતિક માટે બહાર કોઇ સંમતિ આપી નથી: બે મુખ્ય બિંદુઓ પર ધ્યાન કેન્દ્રિત કર્યું કાગળ આસપાસ અત્યાચાર સમીક્ષા (Grimmelmann 2015) . આ ચર્ચા માં ઊભા નૈતિક પ્રશ્નો કારણે જર્નલ ઝડપથી નીતિશાસ્ત્ર અને સંશોધન માટે નૈતિક સમીક્ષા પ્રક્રિયા વિશે ભાગ્યે જ "ચિંતા ના સંપાદકીય અભિવ્યક્તિ" પ્રકાશિત કરવા માટે (Verma 2014) . પછીના વર્ષોમાં, પ્રયોગ તીવ્ર ચર્ચા અને મતભેદ સ્ત્રોત બની રહ્યું છે, અને આ મતભેદ પડછાયાઓ અન્ય ઘણા પ્રયોગો કે કંપનીઓ દ્વારા કરવામાં આવી રહી છે કે ડ્રાઇવિંગ અકારણ અસર હતી હોઈ શકે છે (Meyer 2014) .

લાગણીનો સંસર્ગ વિશે પૃષ્ઠભૂમિ આપેલ છે, હવે હું તે બતાવવા માટે 3 આર વાસ્તવિક અભ્યાસ માટે કોંક્રિટ, વ્યવહારુ સુધારાઓ (ગમે તમે વ્યક્તિગત આ ચોક્કસ પ્રયોગ નીતિશાસ્ત્ર વિશે વિચારો શકે છે) સૂચવે કરી શકો છો માંગો છો. પ્રથમ આર બદલો: સંશોધકો, ઓછા આક્રમક અને જોખમી ટેકનિક સાથે પ્રયોગો બદલવા માટે જો શક્ય હોય તો લેવી જોઈએ. ઉદાહરણ તરીકે, તેના બદલે એક પ્રયોગ ચાલી કરતાં, સંશોધકો એક કુદરતી પ્રયોગ શોષણ કરી શકે છે. પ્રકરણ 2 માં વર્ણવ્યા અનુસાર, કુદરતી પ્રયોગો (દા.ત., એક લોટરી જે નક્કી કરવા માટે લશ્કરી માં તૈયાર કરવામાં આવશે નહીં) જ્યાં કંઈક વિશ્વમાં જે સારવાર રેન્ડમ સોંપણી અંદાજે બને પરિસ્થિતિ છે. કુદરતી પ્રયોગ ફાયદો એ છે કે સંશોધક સારવાર પહોંચાડવા માટે નથી છે; પર્યાવરણ તમારા માટે કરે છે. અન્ય શબ્દોમાં, એક કુદરતી પ્રયોગ સાથે, સંશોધકો પ્રાયોગિક લોકોની સમાચાર ફીડ્સ ચાલાકી કરવા માટે જરૂરી ન હોત.

હકીકતમાં, ભાવનાત્મક સંસર્ગ પ્રયોગ સાથે લગભગ વારાફરતી, Coviello et al. (2014) શોષણ કરવામાં આવી હતી શું ભાવનાત્મક સંસર્ગ કુદરતી પ્રયોગ કહી શકાય. તેમના અભિગમ, જે એક ટેકનિક નિમિત્ત ચલો કહેવાય વાપરે છે, જો તમે તે પહેલાં ક્યારેય ન જોઈ કર્યું થોડી જટિલ છે. તેથી, તે સમજાવવા માટે શા માટે તે જરૂરી હતી, ચાલો તેને અપ બિલ્ડ દો. પ્રથમ વિચાર કેટલાક સંશોધકો ભાવનાત્મક સંસર્ગ અભ્યાસ હોય શકે છે કે દિવસ છે કે જ્યાં તમારા સમાચાર ફીડ ખૂબ જ દિવસોમાં તમારી પોસ્ટ્સ પર હકારાત્મક કે જ્યાં તમારા સમાચાર ફીડ ખૂબ જ નકારાત્મક હતો પર તમારી પોસ્ટ્સ સરખાવવા માટે હશે. જો ધ્યેય તમારી પોસ્ટ્સ ભાવનાત્મક સામગ્રી આગાહી માત્ર હતી આ અભિગમ દંડ થશે, પરંતુ આ અભિગમ સમસ્યારૂપ છે ધ્યેય તમારી પોસ્ટ્સ પર તમારા સમાચાર ફીડ સાધક અસર અભ્યાસ છે જો. આ ડિઝાઇન સાથે સમસ્યા જોવા માટે, થેંક્સગિવિંગ વિચારો. આ યુ માં, હકારાત્મક પોસ્ટ્સ સ્પાઇક અને નકારાત્મક પોસ્ટ્સ થેંક્સગિવિંગ પર ઓળંબો. આમ, થેંક્સગિવિંગ પર, સંશોધકો જોઈ શકે છે કે જે તમારા સમાચાર ફીડ ખૂબ જ હકારાત્મક હતી અને તમે હકારાત્મક બાબતો તેમજ પોસ્ટ છે. પરંતુ, તમારા હકારાત્મક પોસ્ટ્સ તમારા સમાચાર ફીડ સામગ્રી દ્વારા નથી પરમેશ્વરનો ઉપકાર માનવાનો ઉત્સવ કારણે કરવામાં આવી છે શકે છે. તેના બદલે, ક્રમમાં સાધક અસર સંશોધકો કંઈક કે જે સીધા તમારા લાગણીઓ ફેરફાર કર્યા વિના તમારી સમાચાર ફીડ સામગ્રી ફેરફારો જરૂર અંદાજ છે. હવામાન: સદનસીબે, ત્યાં કે શું થઈ રહ્યું તમામ સમય કંઈક છે.

Coviello અને સહકર્મીઓ જાણવા મળ્યું છે કે કોઈની શહેરમાં એક વરસાદી દિવસ આવશે, સરેરાશ, પોસ્ટ્સ કે આશરે 1 ટકાવારી બિંદુ દ્વારા હકારાત્મક છે પ્રમાણ ઘટે છે અને પોસ્ટ્સ કે આશરે 1 ટકાનો નકારાત્મક છે પ્રમાણ વધારે છે. પછી, Coviello અને સહકર્મીઓ જરૂર પ્રાયોગિક ચાલાકી કોઈની ન્યૂઝ ફીડ વગર ભાવનાત્મક સંસર્ગ અભ્યાસ માટે આ હકીકત શોષણ. જરૂરીયાતમાં તેઓ શું કર્યું માપ કેવી રીતે તમારી પોસ્ટ્સ શહેરોમાં જ્યાં તમારા મિત્રો રહેતા હવામાન દ્વારા અસર કરવામાં આવી હતી છે. શા માટે જોવા માટે આ અર્થમાં બનાવે છે, કલ્પના કરો કે તમે ન્યુ યોર્ક સિટી માં રહે છે અને તમે એક મિત્ર જે સિએટલ જીવન હોય છે. હવે કલ્પના કરો કે એક દિવસ તે શરૂ થાય છે સિએટલ માં raining. સિએટલ માં આ વરસાદ સીધા તમારા મૂડ પર અસર કરે નહીં, પરંતુ તે તમારા સમાચાર ફીડ, કારણ કે તમારા મિત્ર પોસ્ટ્સ ઓછા હકારાત્મક અને નકારાત્મક હોઈ થાય છે. આમ, સિએટલ વરસાદ રેન્ડમ તમારા સમાચાર ફીડ ચાલવે. એક વિશ્વસનીય આંકડાકીય પ્રક્રિયા આ અંતર્જ્ઞાન ટર્નિંગ જટિલ છે (અને ચોક્કસ Coviello અને સાથીઓ દ્વારા વપરાતા માર્ગ થોડી બિન પ્રમાણભૂત છે) તેથી હું વધુ વાંચન વિભાગ વધુ વિગતવાર ચર્ચા મૂકી દીધું છે. સૌથી મહત્વની વસ્તુ Coviello વિશે યાદ અને સાથીદાર અભિગમ છે કે તે તેમને સક્ષમ પ્રયોગ કે સંભવિત સહભાગીઓ નુકસાન પહોંચાડી શકે છે ચલાવ્યા વગર ભાવનાત્મક સંસર્ગ અભ્યાસ છે, અને તે કેસ કે ઘણા અન્ય સેટિંગ્સ તમે અન્ય સાથે પ્રયોગો બદલો કરી શકો છો હોઈ શકે છે પઘ્ઘતિ.

3 રૂપિયા બીજું રીફાઇન છે: સંશોધકોએ ક્રમમાં નાના નુકસાન શક્ય કારણો તેમના સારવાર રિફાઇન કરવા માટે લેવી જોઈએ. ઉદાહરણ તરીકે, તેના બદલે સામગ્રી કે જે ક્યાં તો હકારાત્મક કે નકારાત્મક રહી હતી અવરોધિત કરતાં, સંશોધકો સામગ્રી કે સકારાત્મક કે નકારાત્મક રહી હતી વધારો કરી શકે છે. આ બુસ્ટીંગ ડિઝાઇન સહભાગીઓ સમાચાર ફીડ્સ ભાવનાત્મક સામગ્રી બદલી છે, પરંતુ તે ચિંતા છે કે ટીકાકારો વ્યક્ત સંબોધવામાં હોત: કે પ્રયોગો સહભાગીઓ કારણે હોઈ શકે છે તેમના સમાચાર ફીડ મહત્વની જાણકારી ચૂકી છે. ક્રેમર અને સાથીઓ દ્વારા ઉપયોગ ડિઝાઇન સાથે, એક સંદેશ છે કે મહત્વપૂર્ણ છે, કારણ કે એક કે નથી, કારણ કે અવરોધિત કરવામાં આવે તેવી શક્યતા છે. જો કે, એક બુસ્ટીંગ ડિઝાઇન સાથે, સંદેશાઓ કે જે વિસ્થાપિત કરવામાં આવશે કે જેઓ ઓછા મહત્વના છે રહેશે.

છેલ્લે, ત્રીજા આર ઘટાડો છે: સંશોધકો, તેમના પ્રયોગના સહભાગીઓની સંખ્યા ઘટાડવા માટે જો શક્ય હોય તો લેવી જોઈએ. ભૂતકાળમાં, આ ઘટાડો કુદરતી થયું કારણ કે એનાલોગ પ્રયોગો ચલ ખર્ચ ઊંચો હતો, જે તેમની ડિઝાઇન અને વિશ્લેષણ ઑપ્ટિમાઇઝ સંશોધન માટે પ્રોત્સાહન આપ્યું. જો કે, જ્યારે શૂન્ય ચલ ખર્ચ માહિતી છે, સંશોધકો તેમના પ્રયોગ માપ પર ખર્ચ મર્યાદા સામનો નથી, અને આ સંભવિત બિનજરૂરી મોટી પ્રયોગો તરફ દોરી શકે છે.

ઉદાહરણ તરીકે, ક્રેમર અને સહકર્મીઓ તેમના વિશ્લેષણમાં વધુ કાર્યક્ષમ બનાવવા માટે વર્તન તેમના સહભાગીઓ જેમ પૂર્વ સારવાર પોસ્ટ વિશે પૂર્વ સારવાર માહિતી ઉપયોગ કરી શકે છે. વધુ ખાસ રીતે, તેના બદલે સારવાર અને નિયંત્રણ પરિસ્થિતિમાં હકારાત્મક શબ્દો પ્રમાણ સરખામણી કરતાં, ક્રેમર અને સહકર્મીઓ શરતો વચ્ચે હકારાત્મક શબ્દો પ્રમાણમાં ફેરફાર સરખામણીમાં હોઈ શકે છે; એક અભિગમ ઘણીવાર તફાવત ઈન તફાવતો અને જે નજીકથી (આકૃતિ 4.5) મિશ્ર ડિઝાઇન કે હું પ્રકરણ પહેલાં વર્ણવ્યા સાથે સંબંધિત છે કહેવામાં આવે છે. એટલે કે, દરેક સહભાગી માટે, સંશોધકો એક સ્કોર બદલો (પોસ્ટ સારવાર વર્તન - પૂર્વ સારવાર વર્તન) બનાવવામાં આવેલ છે શકે છે અને પછી સારવાર અને નિયંત્રણ શરતો સહભાગીઓ ફેરફાર સ્કોર્સ સરખામણીમાં. આ તફાવત ઈન તફાવતો અભિગમ જેનો અર્થ એ થાય છે કે સંશોધકો જ આંકડાકીય વિશ્વાસ ખૂબ નાના નમૂનાઓ ઉપયોગ કરીને પ્રાપ્ત કરી શકો છો આંકડાકીય વધુ કાર્યક્ષમ છે. બીજા શબ્દોમાં કહીએ તો, "વિજેટો" જેવા સહભાગીઓ સારવાર નથી દ્વારા, સંશોધકો ઘણી વખત વધુ ચોક્કસ અંદાજ મેળવી શકો છો.

કાચા માહિતી કર્યા વગર તેને બરાબર ખબર કેવી રીતે વધુ કાર્યક્ષમ તફાવત ઈન તફાવતો અભિગમ આ કિસ્સામાં આવી હશે મુશ્કેલ છે. પરંતુ, Deng et al. (2013) અહેવાલ છે કે બિંગ સર્ચ એન્જિન પર ત્રણ પ્રયોગો તેઓ લગભગ 50% દ્વારા તેમના અંદાજ અણબનાવ ઘટાડવા માટે સમર્થ હતા, અને સમાન પરિણામો Netflix પર કેટલાક ઑનલાઇન પ્રયોગો માટે જાણ કરવામાં આવી છે (Xie and Aurisset 2016) . આ 50% અણબનાવ ઘટાડો અર્થ એ થાય કે લાગણીનો સંસર્ગ સંશોધકો અડધા તેમના નમૂના કાપી જો તેઓ થોડી અલગ વિશ્લેષણ પદ્ધતિઓ ઉપયોગ કર્યો હતો સક્ષમ કરવામાં આવી છે શકે છે. અન્ય શબ્દોમાં, વિશ્લેષણ માં એક નાના ફેરફાર સાથે, 350,000 લોકો પ્રયોગ સહભાગી બચી કરવામાં આવી છે શકે છે.

આ બિંદુએ તમે આશ્ચર્ય થઈ શકે છે શા માટે સંશોધકો જો 3,50,000 લોકો બિનજરૂરી લાગણીનો સંસર્ગ હતા કાળજી લેવી જોઈએ. ત્યાં કે વધુ પડતા કદ સાથે ચિંતા યોગ્ય બનાવવા લાગણીનો સંસર્ગ બે ખાસ લક્ષણો છે, અને આ લક્ષણો ઘણા ડિજિટલ ક્ષેત્ર પ્રયોગો દ્વારા શેર કરવામાં આવે છે: 1) ત્યાં પ્રયોગ ઓછામાં ઓછા કેટલાક સહભાગીઓ માટે નુકસાન થાય છે અને 2) ભાગીદારી ન હતી કે શું અનિશ્ચિતતા છે સ્વૈચ્છિક. આ બે લક્ષણો સાથે પ્રયોગો તેને પ્રયોગ શક્ય તેટલી નાની રાખવા સલાહભર્યું લાગે છે.

અંતમા, ત્રણ, R's બદલો રિફાઇન, અને સિદ્ધાંતો મદદ કરી શકે છે કે સંશોધકો તેમના પ્રાયોગિક ડિઝાઇન માં નીતિશાસ્ત્ર બિલ્ડ ઘટાડવા-પૂરી પાડે છે. અલબત્ત, ભાવનાત્મક સંસર્ગ આ શક્ય ફેરફારો દરેક વેપાર ન પરિચય આપે છે. ઉદાહરણ તરીકે, કુદરતી પ્રયોગો ના પુરાવા નથી કારણ કે હંમેશા સ્વચ્છ રેન્ડમાઇઝ્ડ પ્રયોગો ના પુરાવા છે અને બુસ્ટીંગ વધુ વાહનવ્યવહારની મુશ્કેલ બ્લોક કરતાં અમલ કરવા માટે કરવામાં આવી છે શકે છે. તેથી, આ ફેરફારો સૂચવે હેતુ અન્ય સંશોધકો નિર્ણયો બીજા ધારી ન હતી. તેના બદલે, તે સમજાવવા માટે ઑનલાઇન કેવી રીતે ત્રણ આર એક વાસ્તવિક પરિસ્થિતિ માં લાગુ કરી શકાય છે.