ความเห็นเพิ่มเติม

ในส่วนนี้จะถูกออกแบบมาเพื่อใช้เป็นข้อมูลอ้างอิงมากกว่าที่จะอ่านเป็นเรื่องเล่า

• บทนำ (มาตรา 3.1)

หลายรูปแบบในบทนี้ยังได้รับการสะท้อนในที่อยู่ที่ประธานาธิบดีล่าสุดที่สมาคมอเมริกันของการวิจัยความคิดเห็นสาธารณะ (AAPOR) เช่น Dillman (2002) , Newport (2011) , Santos (2014) และ Link (2015)

สำหรับภูมิหลังทางประวัติศาสตร์เพิ่มเติมเกี่ยวกับการพัฒนาของการวิจัยเชิงสำรวจดูที่ Smith (1976) และ Converse (1987) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความคิดของสามยุคของการวิจัยสำรวจดู Groves (2011) และ Dillman, Smyth, and Christian (2008) (ซึ่งแบ่งสามยุคแตกต่างกันเล็กน้อย)

สูงสุดภายในการเปลี่ยนแปลงจากครั้งแรกที่ไปสู่ยุคที่สองในการวิจัยเชิงสำรวจเป็น Groves and Kahn (1979) ซึ่งจะเปรียบเทียบหัวหัวไปรายละเอียดระหว่างใบหน้าเพื่อใบหน้าและการสำรวจทางโทรศัพท์. Brick and Tucker (2007) หันกลับมามองพัฒนาการทางประวัติศาสตร์ของหลักสุ่มโทรออกวิธีการสุ่มตัวอย่าง

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการวิจัยเชิงสำรวจมีการเปลี่ยนแปลงในอดีตที่ผ่านมาในการตอบสนองต่อการเปลี่ยนแปลงในสังคมเห็น Tourangeau (2004) , Mitofsky (1989) และ Couper (2011)

• ขอเทียบกับการสังเกต (มาตรา 3.2)

เรียนรู้เกี่ยวกับเขตฯ โดยการถามคำถามอาจเป็นปัญหาได้เพราะบางครั้งผู้ตอบแบบสอบถามที่ตัวเองไม่ได้ตระหนักถึงรัฐภายในของพวกเขา ยกตัวอย่างเช่น Nisbett and Wilson (1977) มีกระดาษที่ยอดเยี่ยมที่มีชื่อเรื่องอารมณ์: "บอกมากกว่าที่เราสามารถรู้:. รายงานทางวาจาในกระบวนการทางจิต" ในกระดาษเขียนสรุป: "วิชาบางครั้ง (ก) ไม่รู้ การดำรงอยู่ของมาตรการกระตุ้นเศรษฐกิจที่สำคัญมีอิทธิพลต่อการตอบสนองที่ (ข) ไม่รู้ของการดำรงอยู่ของการตอบสนองและ (ค) ไม่ทราบว่ามาตรการกระตุ้นเศรษฐกิจได้รับผลกระทบการตอบสนอง. "

สำหรับข้อโต้แย้งว่านักวิจัยจะชอบสังเกตพฤติกรรมพฤติกรรมรายงานหรือทัศนคติดู Baumeister, Vohs, and Funder (2007) (Psychology) และ Jerolmack and Khan (2014) และการตอบสนอง (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (สังคมวิทยา) ความแตกต่างระหว่างการถามและการสังเกตยังเกิดขึ้นในทางเศรษฐศาสตร์ที่นักวิจัยตั้งค่าพูดคุยเกี่ยวกับที่ระบุไว้และเปิดเผย ยกตัวอย่างเช่นนักวิจัยสามารถขอตอบแบบสอบถามว่าพวกเขาชอบกินไอศครีมหรือจะไป (การตั้งค่าที่ระบุไว้) ห้องออกกำลังกายหรือการวิจัยอาจสังเกตว่ามักจะมีคนกินไอศครีมและไปที่โรงยิม (การตั้งค่าการเปิดเผย) มีความสงสัยลึกของบางประเภทของข้อมูลที่ระบุไว้ในการตั้งค่าทางเศรษฐศาสตร์คือ (Hausman 2012)

ธีมหลักจากการอภิปรายเหล่านี้คือพฤติกรรมรายงานไม่ถูกต้องเสมอ แต่พฤติกรรมที่บันทึกโดยอัตโนมัติอาจไม่ถูกต้องอาจจะไม่ได้มีการเก็บตัวอย่างที่น่าสนใจและอาจไม่สามารถเข้าถึงนักวิจัย ดังนั้นในบางสถานการณ์ผมคิดว่าพฤติกรรมของรายงานจะมีประโยชน์ นอกจากนี้รูปแบบหลักที่สองจากการอภิปรายเหล่านี้คือรายงานเกี่ยวกับอารมณ์ความรู้ความคาดหวังและความคิดเห็นที่มีความไม่ถูกต้องเสมอ แต่ถ้าข้อมูลเกี่ยวกับสถานะภายในเหล่านี้มีความจำเป็นโดยนักวิจัย-อย่างใดอย่างหนึ่งที่จะช่วยอธิบายพฤติกรรมบางอย่างหรือเป็นสิ่งที่อธิบายได้แล้วถามอาจจะเหมาะสม

• ข้อผิดพลาดแบบสำรวจทั้งหมด (มาตรา 3.3)

สำหรับการรักษาความยาวหนังสือเกี่ยวกับข้อผิดพลาดแบบสำรวจทั้งหมดให้ดู Groves et al. (2009) หรือ Weisberg (2005) สำหรับประวัติของการพัฒนาของข้อผิดพลาดแบบสำรวจทั้งหมดให้ดู Groves and Lyberg (2010)

ในแง่ของการเป็นตัวแทนแนะนำที่ดีในเรื่องของการที่ไม่ตอบสนองและไม่ตอบสนองอคติเป็นรายงานสภาวิจัยแห่งชาติใน nonresponse ในการสำรวจสังคมศาสตร์: การวิจัยวาระ (2013) อีกภาพรวมประโยชน์ที่ให้บริการโดย (Groves 2006) นอกจากนี้ปัญหาพิเศษทั้งหมดของวารสารทางการสถิติมติมหาชนไตรมาสและพงศาวดารของอเมริกันสถาบันทางการเมืองและสังคมศาสตร์ได้รับการเผยแพร่ในหัวข้อของการไม่ตอบสนอง ในที่สุดก็มีวิธีการที่แตกต่างกันจำนวนมากจริงในการคำนวณอัตราการตอบสนอง; วิธีการเหล่านี้จะมีการอธิบายในรายละเอียดในรายงานโดยสมาคมอเมริกันของนักวิจัยความคิดเห็นของประชาชน (AAPOR) (Public Opinion Researchers} 2015)

1936 วรรณกรรม Digest โพลได้รับการศึกษาในรายละเอียด (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) นอกจากนี้ยังได้ถูกใช้เป็นคำอุปมาที่จะเตือนต่อการเก็บรวบรวมข้อมูลจับจด (Gayo-Avello 2011) ในปี 1936 จอร์จกัลล์ได้ใช้รูปแบบที่ซับซ้อนมากขึ้นของการสุ่มตัวอย่างและก็สามารถที่จะผลิตประมาณการที่ถูกต้องมากขึ้นด้วยตัวอย่างที่มีขนาดเล็กมาก ความสำเร็จของ Gallup มากกว่าวรรณกรรม Digest เป็นความสำเร็จครั้งสำคัญในการพัฒนาของการวิจัยเชิงสำรวจ (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3)

ในแง่ของการวัดทรัพยากรแรกที่ดีสำหรับการออกแบบแบบสอบถามเป็น Bradburn, Sudman, and Wansink (2004) สำหรับการรักษาที่สูงขึ้นเน้นเฉพาะในคำถามทัศนคติดู Schuman and Presser (1996) เพิ่มเติมเกี่ยวกับคำถามก่อนการทดสอบที่มีอยู่ใน Presser and Blair (1994) , Presser et al. (2004) และบทที่ 8 ของ Groves et al. (2009)

การรักษาคลาสสิก, หนังสือความยาวของการออกระหว่างค่าใช้จ่ายในการสำรวจและข้อผิดพลาดสำรวจ Groves (2004)

• ใครจะถาม (มาตรา 3.4)

การรักษาหนังสือที่มีความยาวคลาสสิกของการสุ่มตัวอย่างความน่าจะเป็นมาตรฐานและการประมาณมี Lohr (2009) (แนะนำเพิ่มเติม) และ Särndal, Swensson, and Wretman (2003) (ขั้นสูง) การรักษาหนังสือที่มีความยาวคลาสสิกของการโพสต์การแบ่งชั้นและวิธีการที่เกี่ยวข้องคือ Särndal and Lundström (2005) การตั้งค่าในบางยุคดิจิตอลนักวิจัยรู้ไม่น้อยเกี่ยวกับผู้ตอบแบบสอบถามที่ไม่ได้ซึ่งไม่ได้มักจะเป็นจริงในอดีตที่ผ่านมา รูปแบบที่แตกต่างกันของการปรับการตอบสนองที่เป็นไปได้เมื่อนักวิจัยมีข้อมูลเกี่ยวกับผู้ตอบแบบสอบถามที่ไม่- (Kalton and Flores-Cervantes 2003; Smith 2011)

การศึกษา Xbox ของ Wang et al. (2015) ใช้เทคนิคที่เรียกว่าการถดถอยพหุและหลังการแบ่งชั้น (MRP บางครั้งเรียกว่า "มิสเตอร์พี") ที่ช่วยให้นักวิจัยที่จะประเมินเซลล์หมายความว่าแม้ในขณะที่มีหลายเซลล์มาก ถึงแม้จะมีการอภิปรายเกี่ยวกับคุณภาพของการประมาณการจากเทคนิคนี้บางส่วนก็ดูเหมือนว่าพื้นที่ที่มีแนวโน้มที่จะสำรวจ เทคนิคที่ใช้เป็นครั้งแรกใน Park, Gelman, and Bafumi (2004) และได้มีการใช้ในภายหลังและการอภิปราย (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการเชื่อมต่อระหว่างน้ำหนักของแต่ละบุคคลและน้ำหนักเซลล์ที่ใช้ดู Gelman (2007)

สำหรับวิธีการอื่น ๆ ในการสำรวจเว็บถ่วงดู Schonlau et al. (2009) , Valliant and Dever (2011) และ Bethlehem (2010)

การจับคู่ตัวอย่างที่เสนอโดย Rivers (2007) . Bethlehem (2015) ระบุว่าผลการดำเนินงานของการจับคู่ตัวอย่างจริงจะคล้ายกับวิธีการสุ่มตัวอย่างอื่น ๆ (เช่นการสุ่มตัวอย่างแบบแบ่งชั้น) และการปรับวิธีการอื่น ๆ (เช่นการโพสต์การแบ่งชั้น) สำหรับข้อมูลเพิ่มเติมเกี่ยวแผงออนไลน์ดู Callegaro et al. (2014)

บางครั้งนักวิจัยได้พบว่ากลุ่มตัวอย่างที่น่าจะเป็นตัวอย่างที่ไม่น่าจะเป็นผลตอบแทนประมาณการของคุณภาพใกล้เคียงกัน (Ansolabehere and Schaffner 2014) แต่รถอื่น ๆ ได้พบว่ากลุ่มตัวอย่างที่ไม่น่าจะทำเลวร้าย (Malhotra and Krosnick 2007; Yeager et al. 2011) เหตุผลหนึ่งที่เป็นไปได้สำหรับความแตกต่างเหล่านี้คือตัวอย่างที่ไม่น่าจะมีการปรับปรุงอยู่ตลอดเวลา สำหรับมุมมองในแง่ร้ายมากขึ้นของวิธีการสุ่มตัวอย่างที่ไม่น่าจะดูที่ Task Force AAPOR บนไม่น่าจะเป็นการสุ่มตัวอย่าง (Baker et al. 2013) และฉันยังขอแนะนำให้อ่านความเห็นที่เป็นไปตามรายงานสรุป

สำหรับ meta-analysis เกี่ยวกับผลของการถ่วงน้ำหนักเพื่อลดอคติในตัวอย่างที่ไม่น่าจะดูตารางที่ 2.4 ใน Tourangeau, Conrad, and Couper (2013) ซึ่งนำไปสู่ผู้เขียนจะสรุป "การปรับดูเหมือนจะเป็นประโยชน์ แต่ทำผิดได้แก้ไข . . "

• วิธีการขอ (มาตรา 3.5)

Conrad and Schober (2008) ยังมีปริมาณการแก้ไขชื่อ Envisioning สัมภาษณ์การสำรวจของอนาคตและมันอยู่หลายรูปแบบในส่วนนี้. Couper (2011) ที่อยู่ในรูปแบบที่คล้ายกันและ Schober et al. (2015) มีตัวอย่างที่ดีของวิธีการวิธีการเก็บรวบรวมข้อมูลที่ได้รับการปรับให้เหมาะสมกับการตั้งค่าใหม่จะส่งผลให้ข้อมูลที่มีคุณภาพสูง

สำหรับตัวอย่างที่น่าสนใจอีกอย่างหนึ่งของการใช้แอพพลิเค Facebook สำหรับการสำรวจสังคมศาสตร์ดู Bail (2015)

สำหรับคำแนะนำเพิ่มเติมเกี่ยวกับการทำสำรวจประสบการณ์ที่สนุกสนานและมีคุณค่าสำหรับผู้เข้าร่วมดูการทำงานโดยวิธีเทเลอร์ออกแบบ (Dillman, Smyth, and Christian 2014)

Stone et al. (2007) มีการรักษาความยาวของการประเมินหนังสือชั่วขณะของระบบนิเวศและวิธีการที่เกี่ยวข้อง

• การสำรวจการเชื่อมโยงกับข้อมูลอื่น ๆ (มาตรา 3.6)

Judson (2007) อธิบายกระบวนการของการรวมข้อมูลการสำรวจและการบริหารในฐานะ "รวมข้อมูล" กล่าวถึงข้อดีของวิธีนี้และนำเสนอตัวอย่างบางส่วน

วิธีการที่นักวิจัยสามารถใช้ร่องรอยดิจิตอลและข้อมูลการบริหารก็คือกรอบการสุ่มตัวอย่างสำหรับคนที่มีลักษณะเฉพาะ แต่เข้าถึงข้อมูลเหล่านี้จะใช้กรอบการสุ่มตัวอย่างยังสามารถสร้างคำถามที่เกี่ยวข้องกับความเป็นส่วนตัว (Beskow, Sandler, and Weinberger 2006)

เกี่ยวกับการขอขยายวิธีการนี้ไม่เป็นที่ใหม่มันอาจปรากฏขึ้นจากวิธีการที่ผมได้เล่าว่า วิธีการนี้มีการเชื่อมต่อลึกถึงสามพื้นที่ขนาดใหญ่ในสถิติรูปแบบตามการโพสต์การแบ่งชั้น (Little 1993) , การใส่ร้าย (Rubin 2004) , และการประมาณพื้นที่ขนาดเล็ก (Rao and Molina 2015) นอกจากนี้ยังเกี่ยวข้องกับการใช้ตัวแปรตัวแทนในการวิจัยทางการแพทย์ (Pepe 1992)

นอกจากนี้ยังมีประเด็นทางจริยธรรมเกี่ยวกับการเข้าถึงข้อมูลดิจิตอลร่องรอยขอขยายนอกจากนี้ยังสามารถนำมาใช้เพื่อสรุปลักษณะสำคัญที่คนอาจจะไม่เลือกที่จะเปิดเผยในการสำรวจ (Kosinski, Stillwell, and Graepel 2013)

ค่าใช้จ่ายและเวลาในการประมาณการ Blumenstock, Cadamuro, and On (2015) ดูเพิ่มเติมให้กับตัวแปรค่าใช้จ่ายค่าใช้จ่ายของหนึ่งในค่าใช้จ่ายในการสำรวจและเพิ่มเติมไม่รวมคงที่เช่นค่าใช้จ่ายในการทำความสะอาดและประมวลผลข้อมูลการโทร โดยทั่วไปขอขยายอาจจะมีค่าใช้จ่ายคงสูงและต้นทุนผันแปรต่ำคล้ายกับการทดลองแบบดิจิตอล (ดูบทที่ 4) รายละเอียดเพิ่มเติมเกี่ยวกับข้อมูลที่ใช้ในการ Blumenstock, Cadamuro, and On (2015) กระดาษอยู่ใน Blumenstock and Eagle (2010) และ Blumenstock and Eagle (2012) แนวทางจากหลาย imputuation (Rubin 2004) อาจช่วยให้ความไม่แน่นอนของการจับภาพในการประมาณการจากการขอขยาย หากนักวิจัยทำขยายขอเพียงดูแลเกี่ยวกับการนับจำนวนรวมมากกว่าลักษณะของแต่ละบุคคลระดับแล้ววิธีการใน King and Lu (2008) และ Hopkins and King (2010) อาจจะมีประโยชน์ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการเรียนรู้ของเครื่องใน Blumenstock, Cadamuro, and On (2015) , ดู James et al. (2013) (แนะนำเพิ่มเติม) หรือ Hastie, Tibshirani, and Friedman (2009) (ขั้นสูง) นิยมตำราการเรียนรู้เครื่องก็คือ Murphy (2012)

เกี่ยวกับการขออุดมผลในการ Ansolabehere และ Hersh (2012) บานพับสองขั้นตอนสำคัญ: 1) ความสามารถของ Catalist ที่จะรวมหลายแหล่งข้อมูลที่แตกต่างกันในการผลิต datafile หลักที่ถูกต้องและ 2) ความสามารถของ Catalist ที่จะเชื่อมโยงข้อมูลการสำรวจเพื่อ datafile เจ้านายของมัน ดังนั้น Ansolabehere และ Hersh ตรวจสอบแต่ละขั้นตอนเหล่านี้อย่างระมัดระวัง

เพื่อสร้าง datafile ต้นแบบ Catalist ผสมผสานและกลมกลืนข้อมูลจากแหล่งข้อมูลที่แตกต่างกัน ได้แก่ : บันทึกการออกเสียงลงคะแนนหลายภาพรวมจากแต่ละรัฐข้อมูลจากที่ทำการเปลี่ยนแห่งชาติที่อยู่รีจิสทรีและข้อมูลจากผู้ให้บริการเชิงพาณิชย์อื่น ๆ ที่ไม่ได้ระบุ รายละเอียดเต็มไปด้วยเลือดเกี่ยวกับวิธีการทำความสะอาดทั้งหมดนี้เกิดขึ้นและการรวมอยู่นอกเหนือขอบเขตของหนังสือเล่มนี้ แต่ขั้นตอนนี้ไม่ว่าระวังจะเผยแพร่ข้อผิดพลาดในแหล่งข้อมูลเดิมและจะนำข้อผิดพลาด แม้ว่า Catalist ก็เต็มใจที่จะหารือเกี่ยวกับการประมวลผลข้อมูลและให้บางส่วนของข้อมูลดิบมันเป็นไปไม่ได้สำหรับนักวิจัยในการตรวจสอบทั้ง Catalist ท่อส่งข้อมูล แต่นักวิจัยก็อยู่ในสถานการณ์ที่แฟ้มข้อมูล Catalist มีบางส่วนที่ไม่รู้จักและอาจหยั่งรู้จำนวนของข้อผิดพลาด นี่คือความกังวลอย่างรุนแรงเพราะนักวิจารณ์อาจคาดเดาได้ว่าแตกต่างกันมากระหว่างรายงานการสำรวจ CCES และพฤติกรรมในแฟ้มข้อมูลหลัก Catalist ที่เกิดจากข้อผิดพลาดในแฟ้มข้อมูลหลักไม่ได้โดย misreporting โดยผู้ตอบแบบสอบถาม

Ansolabehere และ Hersh เอาสองวิธีที่แตกต่างกันเพื่อที่อยู่กังวลข้อมูลที่มีคุณภาพ ครั้งแรกในนอกเหนือไปจากการเปรียบเทียบการออกเสียงลงคะแนนที่ตนเองรายงานการออกเสียงลงคะแนนในแฟ้มต้นแบบ Catalist นักวิจัยยังเทียบบุคคลที่ตนเองรายงานการแข่งขันสถานะการลงทะเบียนผู้มีสิทธิเลือกตั้ง (เช่นการจดทะเบียนหรือไม่ได้ลงทะเบียน) และวิธีการลงคะแนนเสียง (เช่นในคนที่ขาด การลงคะแนนเสียงและอื่น ๆ ) ให้เป็นค่าที่พบในฐานข้อมูล Catalist สำหรับตัวแปรเหล่านี้สี่ประชากรนักวิจัยพบว่าระดับที่สูงมากของข้อตกลงระหว่างรายงานการสำรวจและข้อมูลในแฟ้มต้นแบบ Catalist กว่าสำหรับการลงคะแนน ดังนั้น Catalist แฟ้มข้อมูลหลักดูเหมือนจะมีข้อมูลที่มีคุณภาพสูงสำหรับลักษณะอื่นนอกเหนือจากการลงคะแนนบอกว่ามันไม่ได้เป็นของคุณภาพโดยรวมไม่ดี ประการที่สองในส่วนที่ใช้ข้อมูลจาก Catalist, Ansolabehere และ Hersh พัฒนาสามมาตรการที่แตกต่างของคุณภาพของระเบียนเขตการออกเสียงลงคะแนนและพวกเขาพบว่าอัตราประมาณมากกว่าการรายงานของการลงคะแนนเป็นหลักที่ไม่เกี่ยวข้องกับใด ๆ เหล่านี้มาตรการที่มีคุณภาพข้อมูลการค้นพบว่า ชี้ให้เห็นว่าอัตราที่สูงกว่าการรายงานยังไม่ได้ถูกขับเคลื่อนโดยมณฑลที่มีข้อมูลที่มีคุณภาพต่ำผิดปกติ

ได้รับการสร้างไฟล์การออกเสียงลงคะแนนต้นแบบนี้, แหล่งที่สองของข้อผิดพลาดที่อาจเกิดขึ้นคือการเชื่อมโยงบันทึกการสำรวจมัน ตัวอย่างเช่นถ้าการเชื่อมโยงนี้จะทำไม่ถูกต้องก็อาจนำไปสู่การมากกว่าประมาณการของความแตกต่างระหว่างการรายงานและการตรวจสอบการลงคะแนนเลือกตั้ง (Neter, Maynes, and Ramanathan 1965) ถ้าทุกคนมีความมั่นคงระบุเฉพาะที่อยู่ในแหล่งข้อมูลทั้งสองแล้วการเชื่อมโยงจะจิ๊บจ๊อย ในสหรัฐอเมริกาและประเทศอื่น ๆ ส่วนใหญ่ แต่ไม่มีการระบุสากล นอกจากนี้แม้ว่าจะมีคนดังกล่าวระบุอาจจะลังเลที่จะให้มันอยู่กับนักวิจัยสำรวจ! ดังนั้น Catalist ต้องทำเชื่อมโยงโดยใช้ตัวระบุที่ไม่สมบูรณ์ในกรณีนี้สี่ชิ้นส่วนของข้อมูลเกี่ยวกับแต่ละตอบ: ชื่อเพศปีเกิดและที่อยู่ที่บ้าน ยกตัวอย่างเช่น Catalist จะต้องตัดสินใจถ้า Homie เจซิมป์สัน CCES เป็นบุคคลเดียวกันกับโฮเมอร์ซิมป์สันเจในแฟ้มข้อมูลหลักของพวกเขา ในทางปฏิบัติการจับคู่เป็นกระบวนการที่ยากและยุ่งและจะทำให้เรื่องเลวร้ายยิ่งสำหรับนักวิจัย Catalist พิจารณาเทคนิคการจับคู่ให้เป็นกรรมสิทธิ์

เพื่อที่จะตรวจสอบขั้นตอนวิธีการจับคู่ที่พวกเขาอาศัยอยู่กับสองความท้าทาย แรก Catalist เข้าร่วมในการแข่งขันจับคู่ที่ได้รับการดำเนินการโดยอิสระของบุคคลที่สาม: ตุ้มปี่คอร์ปอเรชั่น ใส่ที่จัดไว้ให้ผู้เข้าร่วมทั้งหมดสองไฟล์ข้อมูลที่มีเสียงดังที่จะจับคู่และทีมงานที่แตกต่างกันในการแข่งขันที่จะกลับไปใส่จับคู่ที่ดีที่สุด เพราะใส่ตัวเองรู้ว่าการจับคู่ที่ถูกต้องพวกเขาสามารถที่จะทำคะแนนให้ทีม ของ 40 บริษัท ที่เข้าแข่งขัน, Catalist มาเป็นที่สอง ชนิดของการเป็นอิสระ, การประเมินผลของบุคคลที่สามของเทคโนโลยีที่เป็นกรรมสิทธิ์นี้ค่อนข้างหายากและมีคุณค่าอย่างไม่น่าเชื่อ; ก็ควรให้เรามีความมั่นใจว่าขั้นตอนการจับคู่ของ Catalist เป็นหลักที่รัฐของศิลปะ แต่เป็นรัฐของศิลปะที่ดีเพียงพอหรือไม่ นอกเหนือไปจากการแข่งขันการจับคู่นี้ Ansolabehere และ Hersh สร้างความท้าทายการจับคู่ของตัวเองสำหรับ Catalist จากโครงการก่อนหน้านี้ Ansolabehere และ Hersh ได้รวบรวมบันทึกผู้มีสิทธิเลือกตั้งจากฟลอริดา พวกเขาให้บางส่วนของข้อมูลเหล่านี้กับบางส่วนของเขตของพวกเขาที่จะ redacted Catalist แล้วเมื่อเทียบกับรายงาน Catalist ของเขตข้อมูลเหล่านี้ไปเป็นค่าจริงของพวกเขา โชคดีที่รายงาน Catalist ของคนใกล้เคียงกับมูลค่าระงับการแสดงให้เห็นว่า Catalist สามารถตรงกับบันทึกของผู้มีสิทธิเลือกตั้งบางส่วนไปยังแฟ้มข้อมูลหลักของพวกเขา สองคนนี้เป็นความท้าทายหนึ่งโดยบุคคลที่สามและหนึ่งโดย Ansolabehere และ Hersh ให้เรามีความมั่นใจมากขึ้นในขั้นตอนวิธีการจับคู่ Catalist แม้ว่าเราจะไม่สามารถตรวจสอบการดำเนินงานที่แน่นอนของพวกเขาเอง

มีความพยายามก่อนหน้านี้จำนวนมากในการตรวจสอบการลงคะแนน สำหรับภาพรวมของวรรณกรรมที่ให้ดู Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) และ Hanmer, Banks, and White (2014)

มันเป็นสิ่งสำคัญที่จะต้องทราบว่าแม้ในกรณีนี้นักวิจัยได้รับการสนับสนุนโดยคุณภาพของข้อมูลจาก Catalist การประเมินผลอื่น ๆ ของผู้ขายในเชิงพาณิชย์ได้รับความกระตือรือร้นน้อย นักวิจัยได้พบว่าคุณภาพดีเมื่อข้อมูลจากการสำรวจไปยังไฟล์ของผู้บริโภคจากกลุ่มระบบการตลาด (ที่ตัวเองรวมกันข้อมูลจากสามผู้ให้บริการ: Acxiom, Experian และ InfoUSA) (Pasek et al. 2014) นั่นคือแฟ้มข้อมูลไม่ตรงกับการตอบแบบสำรวจว่านักวิจัยคาดว่าจะถูกต้อง datafile ได้ข้อมูลสำหรับจำนวนมากของคำถามและรูปแบบข้อมูลที่หายไปหายไปมีความสัมพันธ์ที่จะรายงานมูลค่าการสำรวจ (ในคำอื่น ๆ ข้อมูลที่ขาดหายไปเป็นระบบ ไม่สุ่ม)

สำหรับข้อมูลเพิ่มเติมเกี่ยวบันทึกการเชื่อมโยงระหว่างการสำรวจและข้อมูลการบริหารดู Sakshaug and Kreuter (2012) และ Schnell (2013) สำหรับข้อมูลเพิ่มเติมเกี่ยวบันทึกการเชื่อมโยงโดยทั่วไปเห็น Dunn (1946) และ Fellegi and Sunter (1969) (ประวัติศาสตร์) และ Larsen and Winkler (2014) (ปัจจุบัน) วิธีการที่คล้ายกันนอกจากนี้ยังได้รับการพัฒนาในด้านวิทยาศาสตร์คอมพิวเตอร์ภายใต้ชื่อเช่นการคัดลอกข้อมูลบัตรประจำตัวเช่นชื่อที่ตรงกับการตรวจสอบซ้ำและซ้ำกันตรวจสอบการบันทึก (Elmagarmid, Ipeirotis, and Verykios 2007) นอกจากนี้ยังมีความเป็นส่วนตัวการรักษาวิธีการบันทึกการเชื่อมโยงซึ่งไม่จำเป็นต้องส่งของระบุตัวบุคคลข้อมูล (Schnell 2013) นักวิจัยที่ Facebook พัฒนาขั้นตอนการเชื่อมโยง probabilisticsly บันทึกของพวกเขาไปสู่พฤติกรรมการออกเสียงลงคะแนน (Jones et al. 2013) ; การเชื่อมโยงนี้ทำเพื่อประเมินผลการทดลองที่ฉันจะบอกคุณเกี่ยวกับในบทที่ 4 (Bond et al. 2012)

ตัวอย่างของการเชื่อมโยงการสำรวจทางสังคมขนาดใหญ่บันทึกการบริหารของรัฐบาลอีกมาจากการสำรวจสุขภาพและการเกษียณอายุและประกันสังคมบริหาร สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการศึกษาที่รวมถึงข้อมูลเกี่ยวกับขั้นตอนการได้รับความยินยอมให้ดู Olson (1996) และ Olson (1999)

กระบวนการของการรวมหลายแหล่งที่มาของบันทึกการบริหารเป็น datafile-ต้นแบบกระบวนการที่ Catalist พนักงานเป็นเรื่องธรรมดาในสำนักงานสถิติของรัฐบาลบางแห่งชาติ สองนักวิจัยจากสถิติสวีเดนได้เขียนหนังสือที่มีรายละเอียดในหัวข้อ (Wallgren and Wallgren 2007) สำหรับตัวอย่างของวิธีการนี้ในเขตเดียวในประเทศสหรัฐอเมริกา (Olmstead เคาน์ตี้มินนิโซตา; บ้านของเมโยคลินิก) ดู Sauver et al. (2011) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อผิดพลาดที่สามารถปรากฏในบันทึกบริหารเห็น Groen (2012)