ในภาคผนวกนี้ฉันจะสรุปความคิดบางอย่างเกี่ยวกับการอนุมานสาเหตุจากข้อมูลที่ไม่ได้ทดลองในรูปแบบทางคณิตศาสตร์เล็กน้อย มีสองแนวทางหลักคือกรอบแนวคิดเกี่ยวกับสาเหตุส่วนใหญ่เกี่ยวข้องกับ Judea Pearl และเพื่อนร่วมงานและกรอบผลลัพธ์ที่เป็นไปได้ซึ่งเกี่ยวข้องกับโดนัลด์รูบินและเพื่อนร่วมงานมากที่สุด ฉันจะแนะนำกรอบผลลัพธ์ที่เป็นไปได้เนื่องจากมีการเชื่อมโยงอย่างใกล้ชิดกับแนวคิดในบันทึกทางคณิตศาสตร์ในตอนท้ายของบทที่ 3 และ 4 สำหรับข้อมูลเพิ่มเติมเกี่ยวกับกรอบแนวคิดสาเหตุฉันขอแนะนำ Pearl, Glymour, and Jewell (2016) (เบื้องต้น ) และ Pearl (2009) (ขั้นสูง) สำหรับการรักษาความยาวของหนังสือที่เกี่ยวกับการอนุมานเชิงสาเหตุที่รวมเอากรอบผลลัพธ์ที่เป็นไปได้และกรอบกราฟสาเหตุผมขอแนะนำ Morgan and Winship (2014)
เป้าหมายของภาคผนวกนี้คือการช่วยให้คุณทำความคุ้นเคยกับสัญกรณ์และรูปแบบของผลสืบเนื่องที่อาจเป็นไปได้เพื่อที่คุณจะสามารถเปลี่ยนไปใช้เนื้อหาทางเทคนิคที่เขียนขึ้นในหัวข้อนี้ได้ อันดับแรกฉันจะอธิบายกรอบผลลัพธ์ที่เป็นไปได้ จากนั้นฉันจะใช้เพื่อหารือเกี่ยวกับการทดลองตามธรรมชาติเช่นเดียวกับ Angrist (1990) เกี่ยวกับผลกระทบของการรับราชการทหารกับรายได้ ส่วนภาคผนวกนี้นำมาใช้อย่างมากกับ Imbens and Rubin (2015)
กรอบผลลัพธ์ที่เป็นไปได้
กรอบผลลัพธ์ที่เป็นไปได้มีสามองค์ประกอบหลัก ได้แก่ หน่วย การรักษา และ ผลลัพธ์ที่อาจเกิดขึ้น เพื่อที่จะแสดงให้เห็นถึงองค์ประกอบเหล่านี้ลองพิจารณารูปแบบเก๋ ๆ ของคำถามที่ระบุไว้ใน Angrist (1990) : อะไรคือผลกระทบของการรับราชการทหารต่อรายได้? ในกรณีนี้เราสามารถกำหนด หน่วย ให้เป็นบุคคลที่มีสิทธิ์ได้รับร่างรัฐธรรมนูญปีพ. ศ. 2513 ในสหรัฐอเมริกาและเราสามารถจัดทำดัชนีคนเหล่านี้ได้โดย การ รักษา ในกรณีนี้อาจเป็น "การรับราชการทหาร" หรือ "ไม่ทำหน้าที่ในการทหาร" ฉันจะเรียกสิ่งเหล่านี้ว่าเงื่อนไขการรักษาและการควบคุมและฉันจะเขียน ถ้าบุคคลนั้น อยู่ในสภาพบำบัดและ ถ้าบุคคล อยู่ในสภาวะการควบคุม ในที่สุด ผลที่อาจเกิดขึ้น มีความยากมากขึ้นเกี่ยวกับแนวคิดเนื่องจากเกี่ยวข้องกับผลลัพธ์ "ศักยภาพ" สิ่งที่อาจเกิดขึ้น สำหรับแต่ละคนที่มีสิทธิ์ได้รับร่างพ. ศ. 2513 เราสามารถจินตนาการจำนวนเงินที่จะได้รับในปี 2521 หากทำหน้าที่เป็นทหารซึ่งผมจะเรียกว่า และจำนวนเงินที่พวกเขาจะได้รับ 1978 ถ้าพวกเขาไม่ได้ทำหน้าที่ในการทหารซึ่งฉันจะเรียก ในกรอบผลลัพธ์ที่เป็นไปได้ และ ถือว่าเป็นปริมาณคงที่ในขณะที่ เป็นตัวแปรสุ่ม
การเลือกหน่วยการรักษาและผลลัพธ์เป็นสิ่งสำคัญเนื่องจากกำหนดสิ่งที่สามารถและไม่สามารถเรียนรู้ได้จากการศึกษา ทางเลือกของหน่วยงานที่มีสิทธิ์สำหรับร่าง 1970 ไม่รวมผู้หญิงและอื่น ๆ โดยไม่มีข้อสันนิษฐานเพิ่มเติมการศึกษานี้จะไม่บอกเราเกี่ยวกับผลกระทบของการรับราชการทหารต่อสตรี การตัดสินใจเกี่ยวกับวิธีการกำหนดวิธีการรักษาและผลลัพธ์เป็นสิ่งสำคัญเช่นเดียวกัน ตัวอย่างเช่นการรักษาความสนใจควรมุ่งเน้นไปที่การให้บริการในการรบทางทหารหรือประสบปัญหาหรือไม่? ผลที่น่าสนใจควรเป็นรายได้หรือความพึงพอใจในงาน? ในท้ายที่สุดการเลือกหน่วยการรักษาและผลลัพธ์ควรได้รับการขับเคลื่อนโดยเป้าหมายทางวิทยาศาสตร์และนโยบายของการศึกษา
เมื่อพิจารณาถึงทางเลือกของหน่วยการรักษาและผลลัพธ์ที่อาจเกิดขึ้นผลกระทบเชิงสาเหตุของการรักษากับคน , คือ
ในคำอื่น ๆ เราเปรียบเทียบคนเท่าใด จะได้รับหลังจากที่ให้บริการเท่าใดคน จะมีรายได้โดยไม่ต้องให้บริการ ให้ฉัน eq. 2.1 เป็นวิธีการที่ชัดเจนที่สุดในการกำหนดผลกระทบเชิงสาเหตุและถึงแม้ว่าจะง่ายมากก็ตามกรอบนี้จะแสดงออกในหลายรูปแบบที่น่าสนใจและน่าสนใจ (Imbens and Rubin 2015)
เมื่อใช้กรอบผลลัพธ์ที่เป็นไปได้ฉันมักพบว่าเป็นประโยชน์ในการเขียนตารางแสดงผลลัพธ์ที่เป็นไปได้และผลการรักษาสำหรับทุกหน่วย (ตาราง 2.5) หากคุณไม่สามารถจินตนาการโต๊ะแบบนี้เพื่อการศึกษาของคุณได้คุณอาจจำเป็นต้องระบุคำจำกัดความของหน่วยการรักษาและผลลัพธ์ที่อาจเกิดขึ้นได้ชัดเจนยิ่งขึ้น
คน | กำไรในสภาพการรักษา | รายได้อยู่ในสภาพควบคุม | ผลการรักษา |
---|---|---|---|
1 | |||
2 | |||
หมายความ |
เมื่อกำหนดผลกระทบเชิงสาเหตุด้วยวิธีนี้เราจะประสบปัญหา ในเกือบทุกกรณีเราไม่ได้สังเกตเห็นผลที่อาจเกิดขึ้นทั้งสอง นั่นคือบุคคลใดบุคคลหนึ่งให้บริการหรือไม่ได้ให้บริการ ดังนั้นเราจึงสังเกตเห็นหนึ่งในผลที่อาจเกิดขึ้น - หรือ ไม่ใช่ทั้งสองอย่าง ไม่สามารถที่จะสังเกตเห็นผลลัพธ์ที่เป็นไปได้ทั้งสองอย่างนี้เป็นปัญหาสำคัญที่ Holland (1986) เรียกว่า ปัญหาพื้นฐานของการอนุมานสาเหตุ
โชคดีที่เมื่อเรากำลังทำวิจัยเราไม่ได้มีแค่หนึ่งคนเท่านั้น แต่เรามีคนจำนวนมากและนี่เป็นวิธีการแก้ปัญหาพื้นฐานของการอนุมานสาเหตุ แทนที่จะพยายามประมาณผลการรักษาแต่ละระดับเราสามารถประมาณ ผลการรักษาโดยเฉลี่ย สำหรับทุกหน่วย:
สมการนี้ยังคงแสดงออกมาในรูปของ ซึ่งไม่สามารถสังเกตได้ แต่ด้วยพีชคณิต (eq 2.8 ของ Gerber and Green (2012) ) เราได้
นี้แสดงให้เห็นว่าถ้าเราสามารถประมาณการประชากรผลเฉลี่ยอยู่ภายใต้การรักษา ( ) และประชากรผลเฉลี่ยภายใต้การควบคุม ( ) จากนั้นเราสามารถประมาณผลการรักษาโดยเฉลี่ยได้โดยไม่ต้องประมาณผลการรักษาสำหรับบุคคลใดบุคคลหนึ่ง
ตอนนี้ฉันได้กำหนดค่าประมาณของเราแล้ว - สิ่งที่เรากำลังพยายามประเมิน - ฉันจะหันไปหาวิธีที่เราสามารถประมาณค่าได้ด้วยข้อมูล และที่นี่เราทำงานโดยตรงกับปัญหาที่เราสังเกตเฉพาะผลลัพธ์ที่อาจเป็นไปได้สำหรับแต่ละคน เราจะเห็น หรือ (ตารางที่ 2.6) เราสามารถประมาณผลการรักษาโดยเฉลี่ยได้โดยการเปรียบเทียบรายได้ของคนที่ทำกำไรกับคนที่ไม่ได้ให้บริการ:
ที่ และ คือจำนวนคนในเงื่อนไขการรักษาและการควบคุม วิธีนี้จะทำงานได้ดีถ้าการ กำหนดการ รักษาเป็นอิสระจากผลลัพธ์ที่อาจเกิดขึ้นเงื่อนไขที่บางครั้งเรียกว่า ignorability แต่น่าเสียดายที่ในกรณีที่ไม่มีการทดลองความไม่รู้ไม่ค่อยพอใจซึ่งหมายความว่าตัวประมาณในสมการ 2.4 ไม่น่าจะมีการคาดการณ์ที่ดี วิธีหนึ่งที่จะคิดเกี่ยวกับเรื่องนี้คือในกรณีที่ไม่มีการกำหนดแบบสุ่มของการรักษา eq. 2.4 ไม่ได้เปรียบเทียบกับชอบ; มันคือการเปรียบเทียบรายได้ของคนประเภทต่างๆ หรือแสดงออกแตกต่างกันเล็กน้อยโดยไม่ได้รับมอบหมายแบบสุ่มในการรักษาการจัดสรรการรักษาอาจเกี่ยวข้องกับผลลัพธ์ที่อาจเกิดขึ้น
ในบทที่ 4 ฉันจะอธิบายว่าการทดลองที่มีการควบคุมแบบสุ่มช่วยให้นักวิจัยสามารถประมาณค่าเชิงสาเหตุและที่นี่ฉันจะอธิบายวิธีที่นักวิจัยสามารถใช้ประโยชน์จากการทดลองตามธรรมชาติเช่นการจับสลากร่าง
คน | กำไรในสภาพการรักษา | รายได้อยู่ในสภาพควบคุม | ผลการรักษา |
---|---|---|---|
1 | ? | ? | |
2 | ? | ? | |
? | ? | ||
หมายความ | ? | ? | ? |
การทดลองตามธรรมชาติ
วิธีการหนึ่งในการประเมินสาเหตุโดยไม่ต้องใช้การทดสอบคือการมองหาบางสิ่งที่เกิดขึ้นในโลกที่ได้รับมอบหมายให้ทำแบบสุ่มสำหรับคุณ วิธีนี้เรียกว่า การทดลองตามธรรมชาติ ในหลาย ๆ สถานการณ์โชคไม่ดีธรรมชาติไม่สุ่มให้การรักษาที่คุณต้องการให้ประชากรที่น่าสนใจ แต่บางครั้งธรรมชาติจะสุ่มให้การรักษาที่เกี่ยวข้อง โดยเฉพาะอย่างยิ่งฉันจะพิจารณากรณีที่มี การรักษาทุติยภูมิ ที่กระตุ้นให้คนได้รับการ รักษาหลัก ตัวอย่างเช่นร่างอาจได้รับการพิจารณาการรักษาที่ได้รับมอบหมายแบบสุ่มที่ได้รับการสุ่มตัวอย่างซึ่งสนับสนุนให้บางคนได้รับการรักษาหลักซึ่งทำหน้าที่ในการทหาร การออกแบบนี้บางครั้งเรียกว่าการ ออกแบบการให้กำลังใจ และวิธีการวิเคราะห์ที่ฉันจะอธิบายเพื่อจัดการกับสถานการณ์นี้บางครั้งเรียกว่า ตัวแปรของเครื่องมือ ในการตั้งค่านี้มีข้อสันนิษฐานบางอย่างนักวิจัยสามารถใช้การให้กำลังใจเพื่อเรียนรู้เกี่ยวกับผลกระทบของการบำบัดรักษาเบื้องต้นของเซตย่อยเฉพาะ
เพื่อที่จะจัดการกับสองวิธีการรักษาที่แตกต่างกันนั่นคือการให้กำลังใจและการรักษาหลักเราจำเป็นต้องมีสัญกรณ์ใหม่ สมมุติว่ามีคนร่างแบบสุ่ม ( ) หรือไม่ร่าง ( ); ในสถานการณ์เช่นนี้ บางครั้งเรียกว่า เครื่องมือ
ในบรรดาคนที่ถูกเกณฑ์ทหารบางคนทำหน้าที่ ( ) และบางคนก็ไม่ได้ ( ) ในทำนองเดียวกันในหมู่ผู้ที่ไม่ได้ร่างบางคนทำหน้าที่ ( ) และบางคนก็ไม่ได้ ( ) ผลลัพธ์ที่เป็นไปได้สำหรับแต่ละคนสามารถขยายเพื่อแสดงสถานะของพวกเขาทั้งในการให้กำลังใจและการรักษา ยกตัวอย่างเช่นให้ เป็นรายได้ของบุคคล ถ้าเขาถูกเกณฑ์ทหารโดยที่ เป็นสถานะการให้บริการของเขาถ้าร่างขึ้น นอกจากนี้เราสามารถแบ่งประชากรออกเป็น 4 กลุ่มคือกลุ่มผู้มีส่วนได้ส่วนเสียคนที่ไม่เคยเสียสติและคนที่มีใจเสมอ (ตาราง 2.7)
ชนิด | บริการถ้าร่าง | บริการหากไม่ได้จัดทำเป็นร่าง |
---|---|---|
compliers | ใช่ | ไม่ |
ไม่เคยผู้รับ | ไม่ | ไม่ |
Defiers | ไม่ | ใช่ |
ผู้รับเสมอ | ใช่ | ใช่ |
ก่อนที่เราจะหารือเกี่ยวกับการประเมินผลของการรักษา (เช่นการรับราชการทหาร) เราสามารถนิยามผลกระทบจากการให้กำลังใจทั้งสองแบบ (เช่นการร่าง) ประการแรกเราสามารถกำหนดผลของการให้กำลังใจในการรักษาเบื้องต้น สองเราสามารถกำหนดผลของการให้กำลังใจกับผล จะมีการเปิดเผยว่าผลกระทบทั้งสองนี้สามารถนำมารวมกันเพื่อประเมินผลกระทบของการรักษาต่อคนกลุ่มใดกลุ่มหนึ่งได้
ประการแรกผลของการให้กำลังใจในการรักษาสามารถกำหนดสำหรับบุคคล as
นอกจากนี้ปริมาณนี้สามารถกำหนดได้มากกว่าประชากรทั้งหมดเป็น
สุดท้ายเราสามารถประมาณ โดยใช้ข้อมูล:
โดยที่ เป็นอัตราการรักษาที่สังเกตได้สำหรับผู้ที่ได้รับการสนับสนุนและ คือ อัตราการรักษาที่สังเกตได้สำหรับผู้ที่ไม่ได้รับการส่งเสริม บางครั้งก็เรียกว่า อัตราการดูดซึม
ถัดไปผลของการให้กำลังใจกับผลลัพธ์ที่สามารถกำหนดสำหรับบุคคล เป็น:
นอกจากนี้ปริมาณนี้สามารถกำหนดได้มากกว่าประชากรทั้งหมดเป็น
สุดท้ายเราสามารถประมาณ โดยใช้ข้อมูล:
ที่ เป็นผลลัพธ์ที่สังเกตได้ (เช่นรายได้) สำหรับผู้ที่ได้รับการสนับสนุน (เช่นร่าง) และ เป็นผลลัพธ์ที่สังเกตได้สำหรับผู้ที่ไม่ได้รับการสนับสนุน
สุดท้ายเราหันไปสนใจผลกระทบ: ผลของการรักษาเบื้องต้น (เช่นการรับราชการทหาร) ต่อผล (เช่นรายได้) แต่น่าเสียดายที่ปรากฎว่าเราไม่สามารถประเมินผลกระทบนี้ได้จากทุกหน่วยงาน อย่างไรก็ตามนักวิจัยสามารถคาดการณ์ผลกระทบของการรักษาต่อผู้ทรงคุณวุฒิ (เช่นคนที่จะให้บริการถ้าร่างและผู้ที่ไม่ยอมทำหน้าที่ถ้าไม่ได้ร่างขึ้นตารางที่ 2.7) ฉันจะเรียกค่าประมาณนี้และค่าคอมมิชชั่น เฉลี่ย (CACE) (ซึ่งบางครั้งเรียกว่า ผลการรักษาโดยเฉลี่ยในท้องถิ่น LATE):
โดยที่ บริจาคกลุ่มบุคคล (ดูตารางที่ 2.7) และ คือจำนวนผู้คอมไพล์ กล่าวอีกนัยหนึ่ง eq. 2.11 เปรียบเทียบรายได้ของผู้ ที่กำลังร่าง และไม่ได้ร่าง ค่าประมาณใน eq. 2.11 ดูเหมือนจะยากที่จะประเมินจากข้อมูลที่สังเกตได้เนื่องจากไม่สามารถระบุตัวบ่งชี้ได้โดยใช้ข้อมูลที่สังเกตได้เท่านั้น (หากต้องการทราบว่าใครเป็นคอมไพเลอร์คุณจะต้องสังเกตดูว่าเขาทำหน้าที่เมื่อร่างและไม่ว่าจะทำหน้าที่เมื่อไม่ได้ร่างหรือไม่ก็ตาม)
ปรากฎว่าไม่ค่อยน่าแปลกใจคือหากมีผู้รวบรวมรายอื่น ๆ จากนั้นให้สมมติฐานสามข้อทำให้เราสามารถคาดการณ์ CACE จากข้อมูลที่สังเกตได้ ประการแรกต้องสมมติว่าการกำหนดให้เข้ารับการรักษาเป็นแบบสุ่ม ในกรณีของการจับสลากร่างนี้เป็นเรื่องที่สมเหตุสมผล อย่างไรก็ตามในการตั้งค่าบางอย่างที่การทดลองตามธรรมชาติไม่ได้อาศัยการสุ่มตัวอย่างทางกายภาพสมมติฐานนี้อาจเป็นปัญหาได้มากขึ้น ประการที่สองเราต้องสมมติว่าไม่มี defiers (สมมติฐานนี้บางครั้งเรียกว่าสมมติฐาน monotonicity) ในบริบทของร่างเห็นได้ชัดว่าสมมติว่ามีผู้น้อยมากที่จะไม่ให้บริการถ้าร่างและจะให้บริการถ้าไม่ได้ร่างขึ้น ประการที่สามและสุดท้ายก็มาถึงสมมติฐานที่สำคัญที่สุดซึ่งเรียกว่า ข้อ จำกัด การยกเว้น ภายใต้ข้อ จำกัด การยกเว้นเราต้องสมมติว่าผลการรักษาทั้งหมดผ่านการรักษาด้วยตัวเอง กล่าวอีกนัยหนึ่งเราต้องสมมติว่าไม่มีผลโดยตรงต่อการให้กำลังใจกับผลลัพธ์ ในกรณีของการจับสลากร่างนั้นจำเป็นต้องสมมติว่าสถานะร่างไม่มีผลต่อรายได้อื่นนอกเหนือจากการรับราชการทหาร (รูปที่ 2.11) ข้อ จำกัด ในการยกเว้นอาจถูกละเมิดหากตัวอย่างเช่นคนที่ถูกเกณฑ์ทหารใช้เวลาเรียนอยู่ในโรงเรียนมากขึ้นเพื่อหลีกเลี่ยงการให้บริการหรือถ้านายจ้างมีโอกาสน้อยที่จะจ้างคนที่ถูกเกณฑ์ทหาร
รูปที่ 2.11: ข้อ จำกัด การยกเว้นจำเป็นต้องให้การสนับสนุน (การจับสลากร่าง) มีผลต่อผลลัพธ์ (รายได้) เฉพาะในการรักษา (การรับราชการทหาร) อาจมีการละเมิดข้อยกเว้นการยกเว้นตัวอย่างเช่นผู้ที่ถูกเกณฑ์ทหารใช้เวลาเรียนอยู่ในโรงเรียนมากขึ้นเพื่อหลีกเลี่ยงการให้บริการและการเพิ่มเวลาเรียนในโรงเรียนทำให้มีรายได้สูงขึ้น
ถ้าเงื่อนไขทั้งสามนี้ (การกำหนดแบบสุ่มเพื่อการรักษาไม่มี defiers และข้อ จำกัด การยกเว้น) จะได้รับการตอบสนองแล้ว
เพื่อให้เราสามารถประมาณการ CACE:
วิธีหนึ่งที่จะนึกถึง CACE คือผลลัพธ์ที่แตกต่างกันระหว่างผู้ที่ได้รับการสนับสนุนและผู้ที่ไม่ได้รับการสนับสนุนซึ่งเพิ่มขึ้นจากอัตราการบริโภค
มีข้อควรระวังสำคัญสองประการที่ต้องคำนึงถึง ประการแรกข้อ จำกัด ในการยกเว้นเป็นข้อสมมติฐานที่แข็งแกร่งและจำเป็นต้องได้รับการพิสูจน์เป็นกรณี ๆ ไปซึ่งมักต้องใช้ความชำนาญเฉพาะเรื่อง ข้อ จำกัด การยกเว้นไม่สามารถเป็นเหตุผลได้ด้วยการสุ่มให้กำลังใจ ประการที่สองความท้าทายในทางปฏิบัติร่วมกับการวิเคราะห์ตัวแปรแบบมีประโยชน์มาจากการที่การให้กำลังใจมีผลเพียงเล็กน้อยต่อการรักษา (เมื่อ มีขนาดเล็ก นี้เรียกว่า เครื่องมือที่อ่อนแอ และจะนำไปสู่ความหลากหลายของปัญหา (Imbens and Rosenbaum 2005; Murray 2006) วิธีหนึ่งในการคิดเกี่ยวกับปัญหาเกี่ยวกับเครื่องมือที่อ่อนแอคือ อาจมีความสำคัญกับอคติเล็ก ๆ ใน เนื่องจาก การฝ่าฝืนข้อยกเว้นการกีดกัน - เพราะอคติเหล่านี้ได้รับการขยายโดยขนาดเล็ก (ดูสม 2.13) หากการรักษาธรรมชาติที่ได้รับมอบหมายไม่ได้มีผลกระทบอย่างมากต่อการรักษาที่คุณสนใจ แต่คุณก็จะมีเวลาเรียนรู้เกี่ยวกับการรักษาที่คุณสนใจ
ดูบทที่ 23 และ 24 ของ Imbens and Rubin (2015) สำหรับการอภิปรายแบบเป็นทางการนี้ วิธีการทางเศรษฐมิติแบบดั้งเดิมกับตัวแปรของเครื่องมือมักแสดงออกมาในแง่ของการประมาณสมการไม่ใช่ผลลัพธ์ที่เป็นไปได้ สำหรับการแนะนำจากมุมมองอื่น ๆ ให้ดูที่ Angrist and Pischke (2009) และสำหรับการเปรียบเทียบระหว่างสองวิธีนี้ดูหัวข้อ 24.6 Imbens and Rubin (2015) อีกทางเลือกหนึ่งนำเสนอเล็กน้อยในรูปแบบการนำเสนอของบรรเจิดมีไว้ในบทที่ 6 ของ Gerber and Green (2012) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อ จำกัด การยกเว้นโปรดดู D. Jones (2015) Aronow and Carnegie (2013) อธิบายถึงข้อสันนิษฐานเพิ่มเติมที่สามารถใช้ประเมิน ATE แทน CACE สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการทดลองตามธรรมชาติอาจเป็นการยากที่จะตีความได้ดู Sekhon and Titiunik (2012) สำหรับการแนะนำทั่วไปเกี่ยวกับการทดลองตามธรรมชาติอย่างใดอย่างหนึ่งที่นอกเหนือไปจากวิธีตัวแปรแบบมีประโยชน์แล้วยังรวมถึงการออกแบบเช่นการถดถอยแบบไม่ต่อเนื่องดู Dunning (2012)