3.6.2 ขอขยาย

ขอร้องให้ใช้รูปแบบการคาดการณ์เพื่อรวบรวมข้อมูลการสำรวจจากคนสองสามคนที่มีแหล่งข้อมูลขนาดใหญ่จากหลาย ๆ คน

อีกวิธีหนึ่งในการรวมการสำรวจและแหล่งข้อมูลขนาดใหญ่เป็นกระบวนการที่ฉันจะเรียกว่า ขยายถาม นักวิจัยต้องการใช้แบบจำลองการคาดเดาเพื่อรวมข้อมูลการสำรวจจำนวนเล็กน้อยกับแหล่งข้อมูลขนาดใหญ่เพื่อสร้างการประมาณในระดับหรือรายละเอียดที่ไม่สามารถทำได้โดยใช้แหล่งข้อมูลอย่างใดอย่างหนึ่ง ตัวอย่างที่สำคัญของการถามที่เพิ่มขึ้นมาจากผลงานของ Joshua Blumenstock ที่ต้องการรวบรวมข้อมูลที่สามารถช่วยพัฒนาแนวทางในประเทศยากจนได้ ในอดีตนักวิจัยรวบรวมข้อมูลประเภทนี้โดยทั่วไปต้องใช้วิธีการหนึ่งในสองวิธี ได้แก่ การสำรวจตัวอย่างหรือการสำรวจสำมะโนประชากร การสำรวจตัวอย่างที่นักวิจัยให้สัมภาษณ์คนจำนวนน้อยสามารถยืดหยุ่นได้ทันเวลาและค่อนข้างถูก อย่างไรก็ตามการสำรวจเหล่านี้เนื่องจากตัวอย่างเหล่านี้มักมีข้อ จำกัด ในการแก้ปัญหา ด้วยการสำรวจตัวอย่างมักจะยากที่จะทำการประเมินเกี่ยวกับภูมิภาคทางภูมิศาสตร์ที่เฉพาะเจาะจงหรือกลุ่มประชากรเฉพาะเจาะจง สำมะโนประชากรในมืออื่น ๆ พยายามที่จะสัมภาษณ์ทุกคนและเพื่อให้พวกเขาสามารถใช้ในการผลิตประมาณการสำหรับพื้นที่ทางภูมิศาสตร์ขนาดเล็กหรือกลุ่มประชากร (โดยเฉพาะคำถามเล็ก ๆ น้อย ๆ ) และไม่ทันเวลา (เกิดขึ้นในตารางเวลาที่กำหนดเช่นทุกๆ 10 ปี) (Kish 1979) แทนที่จะติดอยู่กับการสำรวจตัวอย่างหรือการสำรวจสำมะโนประชากรสมมติว่านักวิจัยสามารถรวมลักษณะที่ดีที่สุดของทั้งสองได้ ลองจินตนาการดูว่านักวิจัยสามารถถามคำถามทุกคำถามทุกวันได้หรือไม่ การสำรวจที่แพร่หลายตลอดเวลานี้เป็นการสำรวจจินตนาการทางสังคมศาสตร์แบบหนึ่ง แต่ดูเหมือนว่าเราสามารถ เริ่ม ประมาณนี้ได้โดยการรวมคำถามสำรวจจากผู้คนจำนวนน้อยที่มีร่องรอยดิจิตอลจากหลาย ๆ คน

การวิจัยของ Blumenstock เริ่มต้นขึ้นเมื่อเขาร่วมมือกับผู้ให้บริการโทรศัพท์มือถือรายใหญ่ที่สุดในรวันดาและ บริษัท ได้จัดทำบันทึกการทำธุรกรรมจากลูกค้าประมาณ 1.5 ล้านคนในระหว่างปี 2548-2552 ข้อมูลเหล่านี้มีข้อมูลเกี่ยวกับการโทรและข้อความแต่ละข้อความเช่นเวลาเริ่มต้นระยะเวลา และตำแหน่งทางภูมิศาสตร์โดยประมาณของผู้โทรและผู้รับ ก่อนที่ฉันจะพูดถึงประเด็นทางสถิติเราควรชี้ให้เห็นว่าขั้นตอนแรกนี้อาจเป็นสิ่งที่ยากที่สุดสำหรับนักวิจัยหลายคน ดังที่ได้อธิบายไว้ในบทที่ 2 แหล่งข้อมูลขนาดใหญ่ส่วนใหญ่ ไม่สามารถเข้าถึง นักวิจัยได้ ข้อมูลโทรศัพท์โดยเฉพาะอย่างยิ่งโดยเฉพาะอย่างยิ่งจะไม่สามารถเข้าถึงได้โดยเฉพาะเนื่องจากเป็นไปไม่ได้ที่จะเปิดเผยชื่อและเกือบจะมีข้อมูลที่ผู้เข้าร่วมจะต้องพิจารณาอย่างละเอียด (Mayer, Mutchler, and Mitchell 2016; Landau 2016) ในกรณีนี้นักวิจัยระมัดระวังในการปกป้องข้อมูลและการทำงานของพวกเขาถูกดูแลโดยบุคคลที่สาม (เช่น IRB ของพวกเขา) ฉันจะกลับไปดูประเด็นด้านจริยธรรมเหล่านี้ในรายละเอียดในบทที่ 6

Blumenstock สนใจในการวัดความมั่งคั่งและความเป็นอยู่ที่ดี แต่ลักษณะเหล่านี้ไม่ได้อยู่ในบันทึกการโทรโดยตรง กล่าวอีกนัยหนึ่งบันทึกข้อมูลเหล่านี้ ไม่สมบูรณ์ สำหรับงานวิจัยนี้ซึ่งเป็นลักษณะทั่วไปของแหล่งข้อมูลขนาดใหญ่ที่กล่าวถึงในรายละเอียดในบทที่ 2 อย่างไรก็ตามดูเหมือนว่าข้อมูลการโทรอาจมีข้อมูลบางอย่างที่อาจให้ข้อมูลเกี่ยวกับความมั่งคั่งและข้อมูลทางอ้อม ความผาสุก เมื่อพิจารณาถึงความเป็นไปได้นี้ Blumenstock ได้ถามว่าจะสามารถฝึกแบบจำลองการเรียนรู้ของเครื่องเพื่อทำนายว่าจะมีคนตอบแบบสำรวจตามประวัติการโทรของพวกเขาได้อย่างไร หากเป็นไปได้ Blumenstock สามารถใช้แบบจำลองนี้ในการคาดการณ์การตอบแบบสำรวจของลูกค้าทั้งหมด 1.5 ล้านราย

เพื่อสร้างและฝึกอบรมแบบจำลองนี้ Blumenstock และผู้ช่วยวิจัยจาก Kigali Institute of Science and Technology เรียกว่าเป็นตัวอย่างสุ่มประมาณหนึ่งพันคน นักวิจัยได้อธิบายถึงเป้าหมายของโครงการให้กับผู้เข้าร่วมประชุมขอความยินยอมในการเชื่อมโยงการตอบแบบสำรวจไปยังบันทึกการโทรจากนั้นจึงถามคำถามเหล่านี้เพื่อวัดความมั่งคั่งและความเป็นอยู่ที่ดีเช่น "คุณเป็นเจ้าของ วิทยุ "และ" คุณเป็นเจ้าของจักรยานหรือไม่ "(ดูรูปที่ 3.14 สำหรับรายการบางส่วน) ผู้เข้าร่วมการสำรวจทั้งหมดได้รับการชดเชยทางการเงิน

ถัดไป Blumenstock ใช้ขั้นตอนสองขั้นตอนในการเรียนรู้ด้วยเครื่อง: วิศวกรรมคุณลักษณะตามด้วยการเรียนรู้ที่ได้รับการดูแล ขั้นแรกในขั้นตอนเกี่ยวกับ คุณลักษณะด้านวิศวกรรม สำหรับทุกคนที่ได้รับการสัมภาษณ์ Blumenstock ได้แปลงบันทึกการโทรเป็นชุดคุณลักษณะเกี่ยวกับแต่ละคน นักวิทยาศาสตร์ข้อมูลอาจเรียกคุณลักษณะเหล่านี้ว่า "คุณลักษณะ" และนักวิทยาศาสตร์ทางสังคมจะเรียกพวกเขาว่า "ตัวแปร" ตัวอย่างเช่นสำหรับแต่ละคน Blumenstock คำนวณจำนวนวันทั้งหมดที่มีกิจกรรมจำนวนคนที่แตกต่างกันที่บุคคลได้ติดต่อไว้ จำนวนเงินที่ใช้จ่ายในเวลาออกอากาศและอื่น ๆ อย่างยิ่งเทคนิคคุณลักษณะที่ดีต้องมีความรู้เกี่ยวกับการตั้งค่าการวิจัย ตัวอย่างเช่นหากมีความสำคัญในการแยกแยะระหว่างการโทรระหว่างประเทศและระหว่างประเทศ (เราอาจคาดหวังว่าผู้ที่โทรจากต่างประเทศจะรวย) จากนั้นจะต้องดำเนินการในขั้นตอนเกี่ยวกับคุณลักษณะด้านวิศวกรรม นักวิจัยที่มีความเข้าใจน้อยเกี่ยวกับรวันดาอาจไม่รวมถึงคุณลักษณะนี้จากนั้นประสิทธิภาพในการคาดการณ์ของแบบจำลองจะประสบปัญหา

ถัดไปในขั้นตอน การเรียนรู้ที่ได้รับการควบคุม Blumenstock ได้สร้างแบบจำลองในการทำนายการตอบแบบสำรวจสำหรับแต่ละคนตามคุณลักษณะของพวกเขา ในกรณีนี้ Blumenstock ใช้การถดถอยโลจิสติก แต่เขาอาจใช้วิธีการเรียนรู้ทางสถิติหรือเครื่องอื่น ๆ

ดังนั้นมันทำงานอย่างไรดี? "คุณเป็นเจ้าของวิทยุหรือไม่" และ "คุณเป็นเจ้าของรถจักรยานหรือไม่" โดยใช้คุณลักษณะที่ได้จากบันทึกการโทร? เพื่อประเมินประสิทธิภาพของรูปแบบการคาดเดาของเขา Blumenstock ใช้ การตรวจสอบข้าม ซึ่งเป็นเทคนิคที่ใช้กันทั่วไปในด้านวิทยาศาสตร์ข้อมูล แต่ไม่ค่อยมีในด้านวิทยาศาสตร์สังคม เป้าหมายของการตรวจสอบข้ามคือการประเมินผลการคาดการณ์อย่างเป็นธรรมโดยการฝึกอบรมและการทดสอบในส่วนย่อยข้อมูลต่างๆ โดยเฉพาะอย่างยิ่ง Blumenstock แบ่งข้อมูลของเขาออกเป็น 10 ชิ้น ๆ ละ 100 คน จากนั้นเขาใช้เก้าชิ้นเพื่อฝึกแบบจำลองของเขาและผลการคาดการณ์ของโมเดลที่ผ่านการฝึกอบรมได้รับการประเมินในส่วนที่เหลือ เขาทำซ้ำขั้นตอนนี้ 10 ครั้ง - เมื่อข้อมูลแต่ละอันมีการเปิดเป็นข้อมูลการตรวจสอบและให้ผลลัพธ์เป็นแบบเฉลี่ย

ความถูกต้องของการคาดการณ์สูงสำหรับลักษณะบางอย่าง (รูปที่ 3.14); ตัวอย่างเช่น Blumenstock สามารถทำนายได้อย่างแม่นยำ 97.6% หากใครเป็นเจ้าของวิทยุ นี่อาจฟังดูน่าประทับใจ แต่ก็เป็นสิ่งสำคัญเสมอที่จะเปรียบเทียบวิธีการทำนายที่ซับซ้อนกับทางเลือกง่ายๆ ในกรณีนี้ทางเลือกง่ายๆคือการคาดการณ์ว่าทุกคนจะให้คำตอบที่พบได้บ่อยที่สุด ตัวอย่างเช่น 97.3% ของผู้ตอบแบบสอบถามรายงานว่าเป็นเจ้าของวิทยุดังนั้นหาก Blumenstock คาดการณ์ว่าทุกคนจะรายงานว่าเป็นเจ้าของวิทยุเขาจะมีความถูกต้อง 97.3% ซึ่งเป็นที่น่าแปลกใจที่คล้ายคลึงกับประสิทธิภาพของขั้นตอนที่ซับซ้อนมากขึ้น (ความแม่นยำ 97.6%) . กล่าวอีกนัยหนึ่งข้อมูลแฟนซีทั้งหมดและการสร้างแบบจำลองเพิ่มความถูกต้องของการคาดการณ์จาก 97.3% เป็น 97.6% อย่างไรก็ตามสำหรับคำถามอื่น ๆ เช่น "คุณเป็นเจ้าของจักรยานหรือไม่" การคาดการณ์นั้นดีขึ้นจาก 54.4% เป็น 67.6% โดยทั่วไปรูปที่ 3.15 แสดงให้เห็นว่าสำหรับลักษณะบางอย่าง Blumenstock ไม่ได้ปรับปรุงให้ดีขึ้นมากนักนอกเหนือจากการคาดการณ์พื้นฐานที่เรียบง่าย แต่สำหรับลักษณะอื่น ๆ มีการปรับปรุงบางอย่าง เมื่อมองจากผลลัพธ์เหล่านี้คุณอาจไม่คิดว่าวิธีนี้มีแนวโน้มเป็นอย่างยิ่ง

รูปที่ 3.14: ความแม่นยำในการคาดเดาสำหรับแบบจำลองทางสถิติที่ได้รับการฝึกอบรมมาพร้อมกับบันทึกการโทร ปรับตัวจาก Blumenstock (2014) ตารางที่ 2

รูปที่ 3.15: การเปรียบเทียบความแม่นยําในการคาดการณ์สำหรับแบบจำลองทางสถิติที่ได้รับการฝึกอบรมพร้อมกับบันทึกการโทรไปยังการคาดการณ์พื้นฐานที่เรียบง่าย จุดมีความกระปรี้กระเปร่าเล็กน้อยเพื่อหลีกเลี่ยงการทับซ้อนกัน ปรับตัวจาก Blumenstock (2014) ตารางที่ 2

อย่างไรก็ตามหนึ่งปีต่อมา Blumenstock และเพื่อนร่วมงานสองคนคือ Gabriel Cadamuro และ Robert On ได้ตีพิมพ์บทความเรื่อง Science ด้วยผลลัพธ์ที่ดีกว่า (Blumenstock, Cadamuro, and On 2015) มีสองเหตุผลทางเทคนิคที่สำคัญสำหรับการปรับปรุงนี้: (1) ใช้วิธีการที่ซับซ้อนมากขึ้น (เช่นแนวทางใหม่ในการออกแบบด้านคุณลักษณะและแบบจำลองที่ซับซ้อนมากขึ้นเพื่อคาดการณ์การตอบสนองจากคุณลักษณะ) และ (2) แทนที่จะพยายามอนุมานการตอบสนองต่อบุคคล คำถามเกี่ยวกับการสำรวจ (เช่น "คุณเป็นเจ้าของวิทยุหรือไม่") พวกเขาพยายามที่จะสรุปดัชนีความมั่งคั่ง การปรับปรุงด้านเทคนิคเหล่านี้หมายความว่าพวกเขาสามารถทำงานที่เหมาะสมในการใช้บันทึกการโทรเพื่อคาดการณ์ความมั่งคั่งของคนในกลุ่มตัวอย่าง

การคาดการณ์ถึงความมั่งคั่งของประชาชนในกลุ่มตัวอย่างนั้นไม่ใช่เป้าหมายสูงสุดของการวิจัย โปรดจำไว้ว่าเป้าหมายสูงสุดคือการรวมคุณลักษณะที่ดีที่สุดของการสำรวจตัวอย่างและการสำรวจสำมะโนประชากรเพื่อสร้างความถูกต้องและความละเอียดสูงเกี่ยวกับความยากจนในประเทศกำลังพัฒนา เพื่อประเมินความสามารถในการบรรลุเป้าหมายนี้ Blumenstock และเพื่อนร่วมงานใช้โมเดลและข้อมูลของตนเพื่อทำนายความมั่งคั่งของทั้ง 1.5 ล้านคนในบันทึกการโทร และพวกเขาใช้ข้อมูลภูมิสารสนเทศที่ฝังอยู่ในบันทึกการโทร (จำได้ว่าข้อมูลดังกล่าวรวมถึงตำแหน่งของหอเซลล์ที่ใกล้ที่สุดสำหรับแต่ละสาย) เพื่อประมาณที่อยู่อาศัยโดยประมาณของแต่ละบุคคล (รูปที่ 3.17) การประเมินทั้งสองแบบนี้ทำให้ Blumenstock และเพื่อนร่วมงานได้ประมาณการการกระจายตัวทางภูมิศาสตร์ของความมั่งคั่งของสมาชิกโดยมีรายละเอียดเชิงพื้นที่ที่ละเอียดมาก ตัวอย่างเช่นพวกเขาสามารถประมาณความมั่งคั่งเฉลี่ยใน 2,148 เซลล์ของรวันดา (หน่วยการบริหารที่เล็กที่สุดในประเทศ)

ประมาณการเหล่านี้มีความสอดคล้องกับระดับความยากจนที่แท้จริงในภูมิภาคเหล่านี้อย่างไร? ก่อนที่ฉันจะตอบคำถามนี้ฉันต้องการเน้นความจริงที่ว่ามีเหตุผลมากมายที่จะไม่เชื่อ ตัวอย่างเช่นความสามารถในการทำให้การคาดการณ์ในแต่ละระดับมีความดังมาก (รูปที่ 3.17) และอาจสำคัญกว่าคนที่มีโทรศัพท์มือถืออาจแตกต่างจากคนอื่นโดยไม่ใช้โทรศัพท์มือถือ ดังนั้น Blumenstock และเพื่อนร่วมงานอาจประสบกับประเภทของข้อผิดพลาดด้านความคุ้มครองที่ลำเอียงแบบสำรวจสำรวจ วรรณคดี 1936 ที่ฉันได้อธิบายไว้ก่อนหน้านี้

เพื่อให้ได้คุณภาพในการประมาณการของพวกเขา Blumenstock และเพื่อนร่วมงานจำเป็นต้องเปรียบเทียบกับสิ่งอื่น กลุ่มนักวิจัยอีกกลุ่มหนึ่งกำลังดำเนินการสำรวจทางสังคมแบบดั้งเดิมในรวันดามากกว่าในช่วงเวลาใกล้เคียงกับการศึกษาของพวกเขา การสำรวจอื่น ๆ ซึ่งเป็นส่วนหนึ่งของโครงการสำรวจประชากรและสุขภาพที่มีการยอมรับอย่างกว้างขวางมีงบประมาณจำนวนมากและใช้วิธีการดั้งเดิมที่มีคุณภาพสูง ดังนั้นการประมาณการจากการสำรวจประชากรและสุขภาพจึงสมควรได้รับการพิจารณาว่าเป็นประมาณการมาตรฐานทองคำ เมื่อเปรียบเทียบทั้งสองแบบพบว่ามีความคล้ายคลึงกันมาก (รูปที่ 3.17) กล่าวได้อีกนัยหนึ่งด้วยการรวมข้อมูลการสำรวจจำนวนน้อยเข้ากับบันทึกการโทร Blumenstock และเพื่อนร่วมงานสามารถสร้างประมาณการที่เทียบเท่ากับวิธีมาตรฐานทองคำได้

คนขี้ระแวงอาจเห็นผลลัพธ์เหล่านี้เป็นความผิดหวัง หลังจากที่ทุกวิธีหนึ่งของการดูพวกเขาคือการบอกว่าโดยใช้ข้อมูลขนาดใหญ่และการเรียนรู้เครื่อง Blumenstock และเพื่อนร่วมงานก็สามารถที่จะผลิตประมาณการที่อาจจะทำขึ้นอย่างน่าเชื่อถือโดยวิธีการที่มีอยู่แล้ว แต่ฉันไม่คิดว่านั่นเป็นวิธีที่ถูกต้องในการศึกษานี้ด้วยเหตุผลสองประการ ประการแรกการประเมินจาก Blumenstock และเพื่อนร่วมงานมีความเร็วประมาณ 10 เท่าและลดลง 50 เท่า (เมื่อต้นทุนถูกวัดเป็นค่าใช้จ่ายผันแปร) ขณะที่ผมโต้เถียงในบทก่อนหน้านี้นักวิจัยได้ละเลยค่าใช้จ่ายที่อันตรายของพวกเขา ในกรณีนี้ตัวอย่างเช่นค่าใช้จ่ายที่ลดลงอย่างมากหมายความว่าแทนที่จะใช้งานทุกๆสองสามปีซึ่งเป็นมาตรฐานสำหรับการสำรวจประชากรและสุขภาพการสำรวจนี้สามารถดำเนินการได้ทุกเดือนซึ่งจะเป็นประโยชน์สำหรับนักวิจัยและนโยบาย เครื่องชง เหตุผลที่สองที่จะไม่ใช้มุมมองของคนขี้ระแวงคือการศึกษาครั้งนี้เป็นสูตรพื้นฐานที่สามารถปรับแต่งให้เหมาะกับสถานการณ์การวิจัยที่แตกต่างกัน สูตรนี้มีเพียงสองส่วนผสมและสองขั้นตอน ส่วนผสมคือ (1) แหล่งข้อมูลขนาดใหญ่ที่กว้าง แต่บาง (เช่นมีหลายคน แต่ไม่ใช่ข้อมูลที่คุณต้องการเกี่ยวกับแต่ละคน) และ (2) แบบสำรวจที่แคบ แต่หนา (เช่นมีเพียง ไม่กี่คน แต่ก็มีข้อมูลที่คุณต้องการเกี่ยวกับคนเหล่านั้นด้วย) ส่วนผสมเหล่านี้จะรวมกันแล้วในสองขั้นตอน ประการแรกสำหรับคนในทั้งสองแหล่งข้อมูลสร้างโมเดลการเรียนรู้ด้วยเครื่องที่ใช้แหล่งข้อมูลขนาดใหญ่เพื่อทำนายคำตอบแบบสำรวจ จากนั้นใช้แบบจำลองดังกล่าวเพื่อกำหนดคำตอบแบบสำรวจของทุกคนในแหล่งข้อมูลขนาดใหญ่ ดังนั้นหากมีคำถามบางอย่างที่คุณต้องการถามผู้คนจำนวนมากให้มองหาแหล่งข้อมูลขนาดใหญ่จากคนเหล่านั้นที่อาจใช้ในการทำนายคำตอบ แม้ว่าคุณจะไม่สนใจเกี่ยวกับแหล่งข้อมูลขนาดใหญ่ ก็ตาม นั่นคือ Blumenstock และเพื่อนร่วมงานไม่เคยสนใจเกี่ยวกับบันทึกการโทร พวกเขาสนใจเกี่ยวกับบันทึกการโทรเท่านั้นเนื่องจากสามารถใช้เพื่อคาดเดาคำตอบแบบสำรวจที่พวกเขาสนใจ ความสนใจโดยนัยทางอ้อมเพียงอย่างเดียวนี้ในแหล่งข้อมูลขนาดใหญ่ทำให้มีการขยายความถามที่แตกต่างจากคำถามที่ฝังอยู่ซึ่งผมได้อธิบายไว้ก่อนหน้านี้

ภาพที่ 3.16: Schematic ของการศึกษาโดย Blumenstock, Cadamuro, and On (2015) บันทึกการโทรจาก บริษัท โทรศัพท์ได้รับการแปลงเป็นเมทริกซ์โดยมีแถวเดียวสำหรับแต่ละบุคคลและหนึ่งคอลัมน์สำหรับแต่ละคุณลักษณะ (เช่นตัวแปร) ถัดไปนักวิจัยสร้างโมเดลการเรียนรู้ที่ได้รับการดูแลเพื่อทำนายการตอบแบบสำรวจจากเมทริกซ์แบบบุคคลโดยคุณลักษณะ จากนั้นรูปแบบการเรียนรู้ที่ได้รับการดูแลเอาไว้ใช้เพื่อกำหนดการตอบแบบสำรวจสำหรับลูกค้าทั้งหมด 1.5 ล้านคน นอกจากนี้นักวิจัยยังได้ประมาณที่อยู่อาศัยโดยประมาณสำหรับลูกค้าทั้งหมด 1.5 ล้านคนโดยพิจารณาจากสถานที่ที่ทำการโทรศัพท์อยู่ เมื่อประมาณการทั้งสองนี้คือความมั่งคั่งและที่อยู่อาศัยโดยประมาณผลการวิจัยนี้มีความคล้ายคลึงกับประมาณการจากการสำรวจประชากรและสุขภาพซึ่งเป็นแบบสำรวจมาตรฐานทองคำ (รูปที่ 3.17)

รูปที่ 3.17: ผลลัพธ์จาก Blumenstock, Cadamuro, and On (2015) ในระดับบุคคลนักวิจัยสามารถทำผลงานได้อย่างสมเหตุสมผลในการทำนายความมั่งคั่งของใครบางคนจากบันทึกการโทร การประมาณความมั่งคั่งในระดับอำเภอสำหรับ 30 เขตของรวันดาซึ่งขึ้นอยู่กับการประเมินความมั่งคั่งและสถานที่พำนักของแต่ละบุคคลนั้นคล้ายคลึงกับผลการสำรวจประชากรและสุขภาพซึ่งเป็นแบบสำรวจมาตรฐานทองคำ ดัดแปลงมาจาก Blumenstock, Cadamuro, and On (2015) ตัวเลข 1a และ 3c

สรุปได้ว่า Blumenstock ได้ถามถึงวิธีการรวมข้อมูลการสำรวจกับแหล่งข้อมูลขนาดใหญ่เพื่อสร้างการประมาณค่าที่เทียบได้กับแบบสำรวจมาตรฐานทองคำ ตัวอย่างนี้ยังชี้ให้เห็นถึงข้อดีบางประการระหว่างการถามแบบขยายและวิธีการสำรวจแบบดั้งเดิม การประมาณค่าที่ขอให้ขยายขึ้นเป็นไปอย่างรวดเร็วมากขึ้นราคาถูกลงและมีความละเอียดมากขึ้น แต่ในทางกลับกันยังไม่มีพื้นฐานทางทฤษฎีที่แข็งแกร่งสำหรับการถามเรื่องแบบขยายนี้ ตัวอย่างเดียวนี้ไม่ได้แสดงให้เห็นว่าวิธีการนี้จะใช้ได้ผลหรือไม่และเมื่อนักวิจัยใช้วิธีนี้แล้วจะต้องกังวลเป็นพิเศษเกี่ยวกับความลำเอียงที่อาจเกิดขึ้นจากผู้ที่รวมอยู่ในแหล่งข้อมูลขนาดใหญ่ของตน นอกจากนี้วิธีการถามที่เพิ่มขึ้นยังไม่มีวิธีที่ดีในการหาจำนวนความไม่แน่นอนของค่าประมาณ โชคดีที่การถามเกี่ยวกับการขยายมีความสัมพันธ์ลึกซึ้งกับพื้นที่ขนาดใหญ่สามแห่งในการประมาณค่าสถิติและพื้นที่ขนาดเล็ก (Rao and Molina 2015) , การนำมาใช้ (Rubin 2004) และการแบ่งชั้นหลังแบบจำลอง (ซึ่งเป็นแนวคิดที่เกี่ยวข้องกับนายพี, วิธีที่ฉันอธิบายไว้ก่อนหน้าในบท) (Little 1993) เนื่องจากความเชื่อมโยงลึกเหล่านี้ฉันจึงคาดหวังว่าจะมีการปรับปรุงโครงสร้างพื้นฐานของระเบียบวิธีการต่างๆมากมาย

สุดท้ายการเปรียบเทียบความพยายามครั้งแรกและครั้งที่สองของ Blumenstock ยังแสดงให้เห็นบทเรียนที่สำคัญเกี่ยวกับการวิจัยทางสังคมยุคดิจิทัล: จุดเริ่มต้นไม่ใช่จุดจบ นั่นคือหลายครั้งวิธีการแรกจะไม่ดีที่สุด แต่ถ้านักวิจัยทำงานต่อไปสิ่งต่างๆจะดีขึ้น โดยทั่วไปเมื่อประเมินแนวทางใหม่ในการวิจัยทางสังคมในยุคดิจิตอลเป็นเรื่องสำคัญที่ต้องทำการประเมินผลสองอย่างที่แตกต่างกัน: (1) งานนี้ทำได้ดีแค่ไหน? และ (2) การทำงานนี้จะเป็นอย่างไรในอนาคตเนื่องจากภูมิทัศน์ข้อมูลมีการเปลี่ยนแปลงและนักวิจัยให้ความสนใจกับปัญหานี้มากขึ้น? แม้ว่านักวิจัยจะได้รับการฝึกอบรมเพื่อทำการประเมินผลประเภทที่หนึ่ง แต่ประการที่สองมักมีความสำคัญมากกว่า