3.4.2 ตัวอย่างไม่น่าจะเป็น: น้ำหนัก

กับกลุ่มตัวอย่างที่ไม่น่าจะเป็นน้ำหนักสามารถยกเลิกการบิดเบือนที่เกิดจากขั้นตอนการสุ่มตัวอย่างสันนิษฐานว่า

ในทางเดียวกันว่าการตอบสนองน้ำหนักนักวิจัยจากกลุ่มตัวอย่างที่น่าจะเป็นพวกเขายังสามารถน้ำหนักการตอบรับจากกลุ่มตัวอย่างที่ไม่น่าจะเป็น ยกตัวอย่างเช่นเป็นทางเลือกให้ CPS ๆ ลองจินตนาการว่าคุณวางโฆษณาแบนเนอร์ในเว็บไซต์หลายพันแห่งที่จะรับสมัครผู้เข้าร่วมการสำรวจเพื่อประเมินอัตราการว่างงานที่ อย่างที่คุณจะไม่เชื่อว่าค่าเฉลี่ยของกลุ่มตัวอย่างที่เรียบง่ายของคุณจะเป็นประมาณการที่ดีของอัตราการว่างงาน ความสงสัยของคุณอาจเป็นเพราะคุณคิดว่าบางคนมีแนวโน้มที่จะเสร็จสิ้นการสำรวจของคุณมากกว่าคนอื่น ๆ ตัวอย่างเช่นคนที่ไม่ได้ใช้เวลามากในเว็บที่มีโอกาสน้อยที่จะเสร็จสิ้นการสำรวจของคุณ

ขณะที่เราเห็นในส่วนที่ผ่านมา แต่ถ้าเรารู้วิธีที่กลุ่มตัวอย่างได้รับเลือกในฐานะที่เราทำกับความน่าจะเป็นตัวอย่างแล้วเราสามารถยกเลิกการบิดเบือนที่เกิดจากขั้นตอนการสุ่มตัวอย่าง แต่น่าเสียดายที่เมื่อทำงานกับกลุ่มตัวอย่างที่ไม่น่าจะเป็นเราไม่ทราบว่ากลุ่มตัวอย่างที่ได้รับการคัดเลือก แต่เราสามารถทำให้สมมติฐานเกี่ยวกับขั้นตอนการสุ่มตัวอย่างและจากนั้นให้ใช้น้ำหนักในทางเดียวกัน หากสมมติฐานเหล่านี้ถูกต้องแล้วน้ำหนักจะยกเลิกการบิดเบือนที่เกิดจากขั้นตอนการสุ่มตัวอย่าง

ตัวอย่างเช่นสมมติว่าในการตอบสนองต่อโฆษณาแบนเนอร์ของคุณคุณได้รับคัดเลือก 100,000 ผู้ตอบแบบสอบถาม แต่คุณไม่เชื่อว่าสิ่งเหล่านี้ผู้ตอบแบบสอบถามมี 100,000 ตัวอย่างสุ่มอย่างง่ายของผู้ใหญ่ชาวอเมริกัน ในความเป็นจริงเมื่อคุณเปรียบเทียบผู้ตอบแบบสอบถามของคุณเพื่อประชากรสหรัฐคุณจะพบว่าผู้คนจากบางรัฐ (เช่นนิวยอร์ก) มากกว่าตัวแทนและผู้คนจากบางรัฐ (เช่นอลาสก้า) อยู่ภายใต้การเป็นตัวแทน ดังนั้นอัตราการว่างงานของกลุ่มตัวอย่างของคุณมีแนวโน้มที่จะประมาณการที่ไม่ดีของอัตราการว่างงานในกลุ่มเป้าหมาย

วิธีหนึ่งที่จะยกเลิกการบิดเบือนที่เกิดขึ้นในขั้นตอนการสุ่มตัวอย่างคือการกำหนดน้ำหนักให้กับแต่ละคน; น้ำหนักที่ลดลงกับคนที่มาจากรัฐที่มีมากกว่าตัวแทนในตัวอย่าง (เช่นนิวยอร์ก) และน้ำหนักที่สูงขึ้นเพื่อผู้คนจากรัฐที่อยู่ภายใต้การเป็นตัวแทนในตัวอย่าง (เช่นอลาสก้า) โดยเฉพาะอย่างยิ่งน้ำหนักสำหรับแต่ละผู้ตอบแบบสอบถามมีความเกี่ยวข้องกับความชุกของพวกเขาในญาติตัวอย่างของคุณความชุกของพวกเขาในประชากรสหรัฐ ขั้นตอนการชั่งน้ำหนักนี้จะเรียกว่าการโพสต์การแบ่งชั้นและความคิดของเครื่องชั่งที่ควรจะเตือนคุณของตัวอย่างในมาตรา 3.4.1 ที่ผู้ตอบแบบสอบถามจาก Rhode Island ได้รับน้ำหนักน้อยกว่าผู้ตอบแบบสอบถามจากแคลิฟอร์เนีย โพสต์แบ่งชั้นต้องการให้คุณรู้พอที่จะนำผู้ตอบแบบสอบถามของคุณเป็นกลุ่มและจะรู้ว่าสัดส่วนของประชากรเป้าหมายในแต่ละกลุ่ม

แม้ว่าน้ำหนักของน่าจะเป็นตัวอย่างและของกลุ่มตัวอย่างที่ไม่น่าจะเป็นทางคณิตศาสตร์เดียวกัน (ดูภาคผนวกทางเทคนิค) พวกเขาทำงานได้ดีในสถานการณ์ที่แตกต่างกัน หากนักวิจัยมีความน่าจะเป็นตัวอย่างที่สมบูรณ์แบบ (คือไม่มีข้อผิดพลาดความคุ้มครองและไม่มีการตอบสนองที่) จากนั้นน้ำหนักจะผลิตประมาณการที่เป็นกลางสำหรับลักษณะทั้งหมดในทุกกรณี การรับประกันนี้ทฤษฎีที่แข็งแกร่งคือเหตุผลสนับสนุนความน่าจะเป็นของกลุ่มตัวอย่างพบพวกเขาเพื่อให้น่าสนใจ บนมืออื่น ๆ ตัวอย่างที่ไม่น่าจะเป็นน้ำหนักจะผลิตประมาณการที่เป็นกลางสำหรับทุกลักษณะถ้าทำความตอบสนองจะเหมือนกันสำหรับทุกคนในแต่ละกลุ่ม ในคำอื่น ๆ คิดกลับไปตัวอย่างของเราใช้การโพสต์การแบ่งชั้นจะผลิตประมาณการที่เป็นกลางถ้าทุกคนในนิวยอร์กมีความน่าจะเป็นเดียวกันของการมีส่วนร่วมและทุกคนในอลาสก้ามีความน่าจะเป็นเดียวกันของการมีส่วนร่วมและอื่น ๆ สมมติฐานนี้เรียกว่าสมมติฐานที่เป็นเนื้อเดียวกันการตอบสนอง-ทำความภายในกลุ่มและจะมีบทบาทสำคัญในการรู้ว่าถ้าโพสต์แบ่งชั้นจะทำงานได้ดีกับกลุ่มตัวอย่างที่ไม่น่าจะเป็น

แต่น่าเสียดายที่ในตัวอย่างของเราสมมติฐานที่เป็นเนื้อเดียวกันการตอบสนอง-ทำความภายในกลุ่มดูเหมือนว่าไม่น่าจะเป็นจริง นั่นคือมันดูเหมือนว่าไม่น่าที่ทุกคนในอลาสก้ามีความน่าจะเป็นของการเป็นเดียวกันในการสำรวจของคุณ แต่มีสามจุดสำคัญที่จะเก็บไว้ในใจเกี่ยวกับการโพสต์การแบ่งชั้นซึ่งทั้งหมดนี้ทำให้ดูเหมือนมีแนวโน้มมากขึ้น

ครั้งแรกเป็นเนื้อเดียวกันการตอบสนอง-ทำความภายในกลุ่มสมมติฐานกลายเป็นที่น่าเชื่อถือมากขึ้นตามจำนวนของกลุ่มเพิ่มขึ้น และนักวิจัยไม่ จำกัด เฉพาะกลุ่มขึ้นอยู่เพียงแค่ในมิติทางภูมิศาสตร์เดียว ตัวอย่างเช่นเราสามารถสร้างกลุ่มขึ้นอยู่กับรัฐอายุเพศและระดับการศึกษา ดูเหมือนว่าเป็นไปได้มากขึ้นว่ามีการตอบสนองที่เป็นเนื้อเดียวกันทำความภายในกลุ่มของ 18-29, หญิง, บัณฑิตวิทยาลัยที่อาศัยอยู่ในอลาสก้ากว่าในกลุ่มของคนทุกคนที่อาศัยอยู่ในอลาสก้าที่ ดังนั้นที่จำนวนของกลุ่มที่ใช้สำหรับการโพสต์การแบ่งชั้นเพิ่มสมมติฐานที่จำเป็นในการสนับสนุนมันกลายเป็นที่เหมาะสมมากขึ้น ให้ความจริงนี้ก็ดูเหมือนว่านักวิจัยต้องการที่จะสร้างเป็นจำนวนมากของกลุ่มสำหรับการโพสต์การแบ่งชั้น แต่เป็นจำนวนของกลุ่มเพิ่มขึ้นนักวิจัยทำงานเป็นปัญหาที่แตกต่างกัน: ข้อมูล sparsity หากมีเพียงจำนวนน้อยของผู้คนในแต่ละกลุ่มแล้วประมาณการที่จะมีความไม่แน่นอนมากขึ้นและในกรณีที่รุนแรงที่มีกลุ่มที่ไม่มีผู้ตอบแบบสอบถามแล้วโพสต์แบ่งชั้นแบ่งลงอย่างสมบูรณ์ มีสองวิธีการออกจากความตึงเครียดโดยธรรมชาติระหว่างเหอะ homogeneous- สมมติฐานการตอบสนองความเอนเอียงภายในกลุ่มและความต้องการสำหรับขนาดตัวอย่างที่เหมาะสมในแต่ละกลุ่มที่มี วิธีหนึ่งคือการย้ายไปแบบจำลองทางสถิติที่ซับซ้อนมากขึ้นสำหรับการคำนวณน้ำหนักและอื่น ๆ คือการเก็บรวบรวมขนาดใหญ่ของกลุ่มตัวอย่างที่มีความหลากหลายมากขึ้นซึ่งจะช่วยให้มั่นใจขนาดตัวอย่างที่เหมาะสมในแต่ละกลุ่ม และนักวิจัยบางครั้งทำทั้งสองอย่างที่ผมจะอธิบายในรายละเอียดด้านล่าง

การพิจารณาที่สองเมื่อทำงานร่วมกับการโพสต์การแบ่งชั้นจากตัวอย่างที่ไม่น่าจะเป็นว่าสมมติฐานที่เป็นเนื้อเดียวกันการตอบสนอง-นิสัยชอบภายในกลุ่มที่มีอยู่แล้วทำบ่อยครั้งเมื่อวิเคราะห์ตัวอย่างความน่าจะเป็น ด้วยเหตุผลที่ว่าสมมติฐานนี้เป็นสิ่งจำเป็นสำหรับความน่าจะเป็นตัวอย่างในการปฏิบัติคือว่าน่าจะเป็นตัวอย่างที่ไม่ได้มีการตอบสนองและวิธีการที่พบมากที่สุดสำหรับการปรับสำหรับการไม่ตอบสนองการโพสต์การแบ่งชั้นตามที่อธิบายไว้ข้างต้น แน่นอนเพียงเพราะนักวิจัยหลายคนทำให้สมมติฐานบางอย่างไม่ได้หมายความว่าคุณควรจะทำมันเกินไป แต่ก็ไม่ได้หมายความว่าเมื่อเปรียบเทียบกับกลุ่มตัวอย่างที่ไม่น่าจะเป็นตัวอย่างความน่าจะเป็นในทางปฏิบัติเราจะต้องเก็บไว้ในใจว่าทั้งสองขึ้นอยู่กับสมมติฐานและข้อมูลเสริมเพื่อผลิตประมาณการ ในการตั้งค่าที่เหมือนจริงมากที่สุดมีเพียงไม่วิธีสมมติฐานฟรีเพื่ออนุมาน

สุดท้ายถ้าคุณดูแลเกี่ยวกับการคาดคะเนโดยเฉพาะอย่างยิ่งในตัวอย่างการว่างงานของเราอัตราแล้วคุณจะต้องสภาพที่อ่อนแอกว่าสมมติฐานที่เป็นเนื้อเดียวกันการตอบสนอง-นิสัยชอบภายในกลุ่ม โดยคุณไม่จำเป็นต้องคิดว่าทุกคนมีนิสัยชอบการตอบสนองเดียวกันคุณจะต้องคิดว่ามีความสัมพันธ์ระหว่างนิสัยชอบการตอบสนองและอัตราการว่างงานในแต่ละกลุ่มไม่ แน่นอนแม้สภาวะนี้ได้ปรับตัวลดลงจะไม่ถือในบางสถานการณ์ ตัวอย่างเช่นสมมติประมาณการสัดส่วนของชาวอเมริกันที่ทำผลงานอาสาสมัคร ถ้าคนที่ทำผลงานอาสาสมัครที่มีแนวโน้มที่จะเห็นด้วยที่จะอยู่ในการสำรวจแล้วนักวิจัยจะเป็นระบบมากกว่าที่ประมาณการปริมาณของอาสาสมัครถึงแม้ว่าพวกเขาจะปรับเปลี่ยนการโพสต์การแบ่งชั้นผลที่ได้รับการแสดงให้เห็นถึงสังเกตุโดย Abraham, Helms, and Presser (2009)

ที่ผมกล่าวว่าก่อนหน้านี้กลุ่มตัวอย่างที่ไม่น่าจะถูกมองด้วยความสงสัยที่ดีโดยนักวิทยาศาสตร์ทางสังคมส่วนหนึ่งเป็นเพราะบทบาทของพวกเขาในบางส่วนของความล้มเหลวที่น่าอับอายที่สุดในวันแรกของการวิจัยเชิงสำรวจ ตัวอย่างที่ชัดเจนของวิธีการห่างไกลเราได้มากับกลุ่มตัวอย่างที่ไม่น่าจะเป็นงานวิจัยของ Wei วังเดวิดรอ ธ ไชล, วาโกลและแอนดรู Gelman ที่ถูกต้องกู้คืนผลของการเลือกตั้งสหรัฐ 2012 โดยใช้กลุ่มตัวอย่างที่ไม่น่าจะเป็นของผู้ใช้อเมริกัน Xbox -a ตัวอย่างเด็ดที่ไม่ใช่แบบสุ่มของชาวอเมริกัน (Wang et al. 2015) นักวิจัยได้คัดเลือกผู้ตอบแบบสอบถามจากระบบการเล่นเกม XBox และเป็นคุณอาจคาดหวังตัวอย่าง Xbox เบ้ชายและเบ้หนุ่ม: 18 - อายุ 29 ปีให้เพิ่มขึ้น 19% จากการเลือกตั้ง แต่ 65% ของกลุ่มตัวอย่าง Xbox และคนทำขึ้น 47% ของการเลือกตั้งและ 93% ของกลุ่มตัวอย่าง Xbox (รูปที่ 3.4) เพราะความอคติทางประชากรเหล่านี้แข็งแกร่งข้อมูล Xbox ดิบเป็นตัวบ่งชี้ที่ดีของผลตอบแทนการเลือกตั้ง มันคาดการณ์ชัยชนะที่แข็งแกร่งสำหรับนวมรอมนีย์มากกว่าโอบามา อีกครั้งนี้เป็นตัวอย่างของอันตรายของดิบตัวอย่างที่ไม่น่าจะเป็นเท็มเพลตอื่นและเป็นที่ระลึกของความล้มเหลววรรณกรรม Digest

รูปที่ 3.4: ประชากรของผู้ตอบแบบสอบถามใน Wang et al. (2015) เพราะผู้ตอบแบบสอบถามได้รับคัดเลือกจาก Xbox, พวกเขามีแนวโน้มที่จะเป็นหนุ่มสาวและมีแนวโน้มที่จะเป็นชายที่สัมพันธ์กับผู้มีสิทธิเลือกตั้งในการเลือกตั้ง 2012

อย่างไรก็ตามวังและเพื่อนร่วมงานได้รับทราบถึงปัญหาเหล​​่านี้และพยายามที่จะตอบแบบสอบถามน้ำหนักที่ถูกต้องสำหรับขั้นตอนการสุ่มตัวอย่าง โดยเฉพาะอย่างยิ่งที่พวกเขาใช้เป็นรูปแบบที่มีความซับซ้อนมากขึ้นของการโพสต์การแบ่งชั้นผมบอกคุณเกี่ยวกับ มันเป็นมูลค่าการเรียนรู้อีกเล็กน้อยเกี่ยวกับวิธีการของพวกเขาเพราะมันสร้างปรีชาเกี่ยวกับการโพสต์การแบ่งชั้นและรุ่นเฉพาะวังและเพื่อนร่วมงานที่ใช้เป็นหนึ่งในวิธีการที่น่าตื่นเต้นที่สุดในน้ำหนักตัวอย่างที่ไม่น่าจะเป็น

ในตัวอย่างง่ายๆของเราเกี่ยวกับการประเมินการว่างงานในมาตรา 3.4.1 เราแบ่งประชากรออกเป็นกลุ่มขึ้นอยู่กับสถานะของที่อยู่อาศัย ในทางตรงกันข้ามวังและเพื่อนร่วมงานแบ่งประชากรออกเป็นออกเป็น 176,256 กลุ่มที่กำหนดโดย: เพศ (2 ประเภท) การแข่งขัน (4 หมวดหมู่) อายุ (4 ประเภท) การศึกษา (4 หมวดหมู่) รัฐ (51 หมวดหมู่) รหัสบุคคล (3 หมวดหมู่) อุดมการณ์ (3 ประเภท) และการลงคะแนนเสียง 2008 (3 ประเภท) กับกลุ่มอื่น ๆ นักวิจัยหวังว่ามันจะมีแนวโน้มมากขึ้นว่าในแต่ละกลุ่มการตอบสนองความเอนเอียงเป็น uncorrelated ด้วยการสนับสนุนโอบามา ถัดไปมากกว่าการสร้างน้ำหนักแต่ละระดับในขณะที่เราทำในตัวอย่างของเราวังและเพื่อนร่วมงานที่ใช้รูปแบบที่ซับซ้อนในการประมาณการสัดส่วนของผู้คนในแต่ละกลุ่มที่จะลงคะแนนให้โอบามา ในที่สุดพวกเขารวมกลุ่มเหล่านี้ประมาณการของการสนับสนุนที่มีขนาดที่รู้จักกันของแต่ละกลุ่มในการผลิตระดับโดยรวมโดยประมาณของการสนับสนุน ในคำอื่น ๆ ที่พวกเขาสับประชากรเป็นกลุ่มที่แตกต่างกันประมาณสนับสนุนสำหรับโอบามาในแต่ละกลุ่มแล้วเอาค่าเฉลี่ยถ่วงน้ำหนักของประมาณการทางกลุ่มในการผลิตการประมาณการโดยรวม

ดังนั้นความท้าทายใหญ่ในแนวทางของพวกเขาคือการประเมินการสนับสนุนสำหรับโอบามาในแต่ละเหล่านี้ 176,256 กลุ่ม แม้ว่าแผงของพวกเขารวม 345,858 ผู้เข้าร่วมที่ไม่ซ้ำกันเป็นจำนวนมากตามมาตรฐานของการเลือกตั้งการเลือกตั้งที่มีหลายคนหลายกลุ่มที่วังและเพื่อนร่วมงานได้เกือบจะไม่มีผู้ตอบแบบสอบถาม ดังนั้นเพื่อประเมินการสนับสนุนในแต่ละกลุ่มที่พวกเขาใช้เทคนิคที่เรียกว่าการถดถอยหลายที่มีการโพสต์การแบ่งชั้นซึ่งนักวิจัยเสน่หาโทรนายพีเป็นหลักในการประมาณการการสนับสนุนสำหรับโอบามาภายในกลุ่มเฉพาะสระว่ายน้ำนายพีข้อมูลจากหลาย ๆ กลุ่มที่เกี่ยวข้องอย่างใกล้ชิด ยกตัวอย่างเช่นพิจารณาความท้าทายของการประเมินการสนับสนุนโอบามาในหมู่หญิง, ละตินอเมริกาที่ระหว่าง 18-29 ปีที่มีบัณฑิตวิทยาลัยที่ได้รับการจดทะเบียนพรรคประชาธิปัตย์ที่ตนเองระบุได้ว่าเป็นฝ่ายกลางและผู้ที่ได้รับการโหวตให้โอบามาในปี 2008 นี้ เป็นกลุ่มมากที่เฉพาะเจาะจงมากและมันก็เป็นไปได้ว่ามีใครในกลุ่มตัวอย่างที่มีลักษณะเหล่านี้ ดังนั้นเพื่อให้การประมาณการเกี่ยวกับกลุ่มนี้สระว่ายน้ำด้วยกันนายพีประมาณการจากคนในกลุ่มที่คล้ายกันมาก

ใช้กลยุทธ์การวิเคราะห์นี้วังและเพื่อนร่วมงานก็สามารถที่จะใช้ตัวอย่างที่ไม่น่าจะเป็น XBox ที่จะประเมินอย่างใกล้ชิดการสนับสนุนโดยรวมว่าโอบามาได้รับในการเลือกตั้ง 2012 (รูปที่ 3.5) ในความเป็นจริงการประมาณการของพวกเขามีความถูกต้องมากกว่ารวมของการสำรวจความคิดเห็นของประชาชน ดังนั้นในกรณีนี้น้ำหนักโดยเฉพาะนายพี-ดูเหมือนว่าจะทำผลงานที่ดีในการแก้ไขอคติข้อมูลที่ไม่น่าจะเป็น; อคติที่มองเห็นได้เมื่อคุณมองไปที่การประมาณการจากข้อมูล Xbox เท็มเพลต

รูปที่ 3.5: ประเมินจาก Wang et al. (2015) ตัวอย่าง XBox เท็มเพลตที่ผลิตประมาณการที่ไม่ถูกต้อง แต่ตัวอย่าง XBox ถ่วงน้ำหนักผลิตประมาณการว่ามีความถูกต้องมากขึ้นกว่าค่าเฉลี่ยของการสำรวจทางโทรศัพท์ตามความน่าจะเป็น

มีสองบทเรียนหลักจากการศึกษาของวังและเพื่อนร่วมงานที่มี ครั้งแรกที่กลุ่มตัวอย่างที่ไม่น่าจะเป็นเท็มเพลตสามารถนำไปสู่​​การประมาณการที่ไม่ดี นี่เป็นบทเรียนว่านักวิจัยหลายคนเคยได้ยินมาก่อน แต่บทเรียนที่สองคือกลุ่มตัวอย่างที่ไม่น่าจะเป็นเมื่อถ่วงน้ำหนักอย่างถูกต้องสามารถผลิตจริงประมาณการค่อนข้างดี ในความเป็นจริงการประมาณการของพวกเขามีความถูกต้องมากขึ้นกว่าที่ประมาณการจาก pollster.com การรวมตัวของโพลเลือกตั้งแบบดั้งเดิมมากขึ้น

ในที่สุดก็มีข้อ จำกัด ที่สำคัญกับสิ่งที่เราสามารถเรียนรู้จากการศึกษานี้หนึ่งที่เฉพาะเจาะจง เพียงเพราะการโพสต์การแบ่งชั้นทำงานได้ดีในกรณีนี้โดยเฉพาะอย่างยิ่งมีการรับประกันว่ามันจะทำงานได้ดีในกรณีอื่น ๆ ไม่มี ในความเป็นจริงการเลือกตั้งอาจจะเป็นหนึ่งในการตั้งค่าที่ง่ายที่สุดเพราะ pollsters ได้รับการศึกษาการเลือกตั้งเป็นเวลาเกือบ 100 ปีที่ผ่านมามีข้อเสนอแนะทั่วไป (เราสามารถมองเห็นผู้ที่ชนะการเลือกตั้ง) และบัตรประจำตัวบุคคลและลักษณะทางประชากรค่อนข้างคาดการณ์ของการลงคะแนน ณ จุดนี้เราขาดทฤษฎีที่เป็นของแข็งและประสบการณ์เชิงประจักษ์ให้ทราบเมื่อมีการปรับน้ำหนักตัวอย่างที่ไม่น่าจะเป็นที่จะมีการประมาณการที่ถูกต้องเพียงพอ สิ่งหนึ่งที่เป็นที่ชัดเจน แต่คือถ้าคุณถูกบังคับให้ทำงานกับกลุ่มตัวอย่างที่ไม่น่าจะเป็นแล้วมีเหตุผลที่ดีที่จะเชื่อว่าประมาณการที่ปรับจะดีกว่าประมาณการที่ไม่ได้ปรับ