ماذا تقرأ بعد ذلك

• مقدمة (القسم 2.1)

نوع واحد من الملاحظة التي لم يتم تضمينها في هذا الفصل هو الإثنوغرافيا. لمزيد من المعلومات عن الإثنوغرافيا في المساحات الرقمية ، راجع Boellstorff et al. (2012) ، وللمزيد عن الإثنوغرافيا في الأماكن الرقمية والمادية المختلطة ، انظر Lane (2016) .

• بيانات كبيرة (القسم 2.2)

لا يوجد تعريف واحد للإجماع حول "البيانات الضخمة" ، ولكن يبدو أن العديد من التعريفات تركز على "3 Vs": الحجم والتنوع والسرعة (على سبيل المثال ، Japec et al. (2015) ). انظر De Mauro et al. (2015) لاستعراض التعاريف.

يعتبر إدراج البيانات الإدارية الحكومية في فئة البيانات الضخمة أمراً غير عادي إلى حد ما ، على الرغم من أن آخرين قد قاموا أيضاً بهذه القضية ، بما في ذلك Legewie (2015) و Connelly et al. (2016) ، و Einav and Levin (2014) . لمزيد من المعلومات حول قيمة البيانات الإدارية الحكومية للأبحاث ، راجع Card et al. (2010) ، Adminstrative Data Taskforce (2012) ، و Grusky, Smeeding, and Snipp (2015) .

للاطلاع على البحوث الإدارية من داخل النظام الإحصائي الحكومي ، لا سيما مكتب الإحصاء الأمريكي ، انظر Jarmin and O'Hara (2016) . من أجل معالجة كتاب طويل للسجلات الإدارية في Statistics Sweden ، انظر Wallgren and Wallgren (2007) .

في الفصل ، قارنت باختصار مسحًا تقليديًا مثل المسح الاجتماعي العام (GSS) مع مصدر بيانات وسائل التواصل الاجتماعي مثل Twitter. لإجراء مقارنة شاملة ودقيقة بين الاستطلاعات التقليدية وبيانات وسائل الإعلام الاجتماعية ، انظر Schober et al. (2016) .

• الخصائص المشتركة للبيانات الضخمة (القسم 2-3)

تم وصف هذه الخصائص العشرة للبيانات الضخمة في مجموعة متنوعة من الطرق المختلفة لمجموعة متنوعة من المؤلفين المختلفين. الكتابة التي أثرت على تفكيري في هذه القضايا تشمل Lazer et al. (2009) ، Groves (2011) ، Howison, Wiggins, and Crowston (2011) ، boyd and Crawford (2012) ، SJ Taylor (2013) ، Mayer-Schönberger and Cukier (2013) ، Golder and Macy (2014) ، Ruths and Pfeffer (2014) ، Tufekci (2014) ، Sampson and Small (2015) ، K. Lewis (2015b) ، Lazer (2015) ، Horton and Tambe (2015) ، Japec et al. (2015) ، Goldstone and Lupyan (2016) .

خلال هذا الفصل ، استخدمت مصطلح آثار رقمية ، وهو ما أعتقد أنه محايد نسبيًا. مصطلح آخر شائع للتتبعات الرقمية هو آثار أقدام رقمية (Golder and Macy 2014) ، ولكن كما يشير هال أبلسون ، كين ليدن ، وهاري لويس (2008) ، فإن المصطلح الأكثر ملاءمة هو على الأرجح بصمات رقمية . عندما تقوم بإنشاء آثار أقدام ، فأنت على دراية بما يحدث ، ولا يمكن عادةً تتبع آثار أقدامك لك شخصياً. والشيء نفسه ليس صحيحًا بالنسبة إلى آثارك الرقمية. في الواقع ، أنت تترك آثار طوال الوقت عنك القليل من المعرفة. وعلى الرغم من أن هذه الآثار لا تحمل اسمك عليها ، فيمكن غالبًا إعادة ربطها بك. وبعبارة أخرى ، فهي أشبه بالبصمات الأصابع: غير المرئية والمعروفة شخصياً.

• كبير (القسم 2.3.1)

لمعرفة المزيد عن الأسباب التي تجعل مجموعات البيانات الكبيرة تشكل اختبارات إحصائية مشكلة ، انظر M. Lin, Lucas, and Shmueli (2013) و McFarland and McFarland (2015) . يجب أن تقود هذه القضايا الباحثين إلى التركيز على الأهمية العملية بدلاً من الأهمية الإحصائية.

لمزيد من المعلومات حول كيفية حصول راج شيتي وزملائه على حق الوصول إلى السجلات الضريبية ، راجع Mervis (2014) .

يمكن لمجموعات البيانات الكبيرة أيضًا أن تخلق مشكلات حسابية تتجاوز عمومًا قدرات جهاز كمبيوتر واحد. ولذلك ، فإن الباحثين الذين يقومون بإجراء حسابات على مجموعات كبيرة من البيانات غالباً ما ينشرون العمل على العديد من الحواسيب ، وهي عملية تسمى أحياناً البرمجة المتوازية . للحصول على مقدمة للبرمجة المتوازية ، لا سيما لغة تسمى Hadoop ، انظر Vo and Silvia (2016) .

• دائمًا (القسم 2.3.2)

عند التفكير في بيانات دائمة ، من المهم أن تضع في اعتبارك ما إذا كنت تقارن نفس الأشخاص مع الوقت أو إذا كنت تقارن مجموعة متغيرة من الناس ؛ انظر على سبيل المثال ، Diaz et al. (2016) .

• غير تفاعلي (قسم ¿ثانية: غير متفاعل؟ )

كتاب كلاسيكي عن التدابير غير الفعالة هو Webb et al. (1966) . الأمثلة في هذا الكتاب تسبق العصر الرقمي ، لكنها ما زالت تضيء. للحصول على أمثلة عن الأشخاص الذين يغيرون سلوكهم بسبب وجود مراقبة جماعية ، انظر Penney (2016) و Brayne (2014) .

يرتبط التفاعل ارتباطًا وثيقًا بما يسميه الباحثون تأثيرات الطلب (Orne 1962; Zizzo 2010) وتأثير Hawthorne (Adair 1984; Levitt and List 2011) .

• غير مكتمل (القسم 2.3.4)

لمعرفة المزيد عن الربط القياسي ، انظر Dunn (1946) و Fellegi and Sunter (1969) (تاريخي) و Larsen and Winkler (2014) (حديث). كما تم تطوير أساليب مماثلة في علوم الكمبيوتر تحت أسماء مثل إزالة البيانات المكررة ، تحديد الحالة ، مطابقة الأسماء ، كشف مكرر ، وكشف السجلات المكررة (Elmagarmid, Ipeirotis, and Verykios 2007) . هناك أيضًا نُهُج للحفاظ على الخصوصية لتسجيل الروابط التي لا تتطلب نقل معلومات التعريف الشخصية (Schnell 2013) . لقد طور Facebook أيضًا عملية لربط سجلاتهم بسلوك التصويت ؛ تم القيام بذلك لتقييم تجربة سأخبرك عنها في الفصل 4 (Bond et al. 2012; Jones et al. 2013) .

لمعرفة المزيد عن صلاحية البناء ، انظر الفصل الثالث من Shadish, Cook, and Campbell (2001) .

• يتعذر الوصول إليها (القسم 2.3.5)

لمعرفة المزيد عن كارثة سجل بحث AOL ، انظر Ohm (2010) . أقدم نصيحة حول الشراكة مع الشركات والحكومات في الفصل الرابع عندما أصف التجارب. أعرب عدد من المؤلفين عن قلقهم بشأن الأبحاث التي تعتمد على البيانات التي يتعذر الوصول إليها ، انظر Huberman (2012) و boyd and Crawford (2012) .

واحد وسيلة جيدة للباحثين الجامعة لاكتساب الوصول إلى البيانات هي العمل في شركة كمتدرب أو زيارة الباحث. بالإضافة إلى تمكين الوصول إلى البيانات، وهذه العملية تساعد أيضا على الباحث معرفة المزيد حول كيفية إنشاء البيانات، وهو أمر مهم للتحليل.

من حيث الوصول إلى البيانات الحكومية ، يناقش Mervis (2014) كيف حصل Raj Chetty وزملاؤه على الوصول إلى السجلات الضريبية المستخدمة في أبحاثهم حول الحراك الاجتماعي.

• غير ممثل (ثانية: غير تمثيلية)

لمعرفة المزيد عن تاريخ "التمثيلية" كمفهوم ، انظر Kruskal and Mosteller (1979a) ، Kruskal and Mosteller (1979a) Kruskal and Mosteller (1979b) ، Kruskal and Mosteller (1979c) ، و Kruskal and Mosteller (1979c) Kruskal and Mosteller (1980) .

كانت ملخصاتي عن أعمال سنو وعمل دول وهيل موجزة. لمعرفة المزيد عن عمل سنو بشأن الكوليرا ، انظر Freedman (1991) . لمعرفة المزيد عن الدراسة البريطانية للأطباء ، انظر Doll et al. (2004) و Keating (2014) .

سوف يفاجأ العديد من الباحثين عندما يعلمون أنه على الرغم من قيام دول وهيل بتجميع بيانات من أطباء من الإناث ومن أطباء دون سن الخامسة والثلاثين ، إلا أنهم لم يستخدموا هذه البيانات عن قصد في أول تحليل لهم. كما جادلوا: "بما أن سرطان الرئة نادر نسبيا في النساء والرجال دون سن 35 عاما ، فمن غير المحتمل الحصول على أرقام مفيدة في هذه المجموعات لبضع سنوات قادمة. في هذا التقرير الأولي ، حصرنا اهتمامنا بالرجال الذين يبلغون من العمر 35 عامًا فما فوق. "إن Rothman, Gallacher, and Hatch (2013) ، التي تحمل عنوانًا استفزازيًا" لماذا يجب تجنب التمثيلية "، تقدم حجة أكثر عمومية لقيمة عن قصد إنشاء بيانات غير تمثيلية.

يمثل عدم التمثيل مشكلة رئيسية للباحثين والحكومات الذين يرغبون في الإدلاء ببيانات حول مجموعة كاملة من السكان. وهذا أقل أهمية بالنسبة للشركات ، والتي تركز عادة على مستخدميها. لمزيد من المعلومات حول كيفية اعتبار إحصائيات هولندا مسألة عدم Buelens et al. (2014) بيانات الشركات الكبيرة ، راجع Buelens et al. (2014) .

للحصول على أمثلة للباحثين الذين يعبرون عن قلقهم بشأن الطبيعة غير التمثيلية لمصادر البيانات الضخمة ، راجع boyd and Crawford (2012) ، و K. Lewis (2015b) ، و Hargittai (2015) .

للحصول على مقارنة أكثر تفصيلاً لأهداف الاستطلاعات الاجتماعية والأبحاث الوبائية ، انظر Keiding and Louis (2016) .

لمعرفة المزيد عن محاولات استخدام تويتر لعمل تعميمات خارج العينة حول الناخبين ، وخاصةً في حالة الانتخابات الألمانية لعام 2009 ، انظر Jungherr (2013) و Jungherr (2015) . لاحقة لعمل Tumasjan et al. (2010) استخدم الباحثون في جميع أنحاء العالم أساليب مربي الحيوانات - مثل استخدام تحليل المشاعر للتمييز بين الإشارات الإيجابية والسلبية للأطراف - من أجل تحسين قدرة بيانات تويتر على التنبؤ بمجموعة متنوعة من أنواع الانتخابات المختلفة (Gayo-Avello 2013; Jungherr 2015, chap. 7.) . في ما يلي كيفية تلخيص Huberty (2015) لنتائج هذه المحاولات للتنبؤ بالانتخابات:

"فشلت جميع أساليب التنبؤ المعروفة القائمة على وسائل التواصل الاجتماعي عندما خضعت لمطالب التنبؤات الانتخابية الحقيقية التطلعية. يبدو أن هذه الإخفاقات ترجع إلى الخصائص الأساسية لوسائل الإعلام الاجتماعية ، بدلاً من الصعوبات المنهجية أو الخوارزمية. باختصار ، لا تقدم وسائل الإعلام الاجتماعية ، وربما لن تقوم أبدًا ، تقديم صورة تمثيلية ثابتة وغير متحيزة للناخبين. وعينات من وسائل التواصل الاجتماعي تفتقر إلى البيانات الكافية لإصلاح هذه المشكلات بعد حدوثها. "

في الفصل 3 ، سوف أصف أخذ العينات والتقدير بمزيد من التفصيل. حتى إذا كانت البيانات غير تمثيلية ، في ظل ظروف معينة ، يمكن ترجيحها لإنتاج تقديرات جيدة.

• الانجراف (القسم ¿ثانية: الانجراف؟ )

من الصعب جدا رؤية الانجراف في النظام من الخارج. ومع ذلك ، فإن مشروع MovieLens (الذي تمت مناقشته أكثر في الفصل 4) قد تم تشغيله لأكثر من 15 عامًا من قبل مجموعة بحث أكاديمية. وبالتالي ، فقد تمكنوا من توثيق وتبادل المعلومات حول الطريقة التي تطور بها النظام بمرور الوقت وكيف يمكن أن يؤثر ذلك على التحليل (Harper and Konstan 2015) .

وقد ركز عدد من العلماء على الانجراف في تويتر: Liu, Kliman-Silver, and Mislove (2014) و Tufekci (2014) .

يتمثل أحد الأساليب للتعامل مع الانجراف السكاني في تكوين فريق من المستخدمين ، والذي يسمح للباحثين بدراسة نفس الأشخاص مع مرور الوقت ، انظر Diaz et al. (2016) .

• مرتبك خوارزمي (قسم ¿ثانية: مرتبك بشكل خاطئ؟ )

سمعت لأول مرة مصطلح "مرتبك خوارزمي" المستخدمة من قبل جون كلاينبرغ في الحديث ، ولكن للأسف لا أتذكر متى أو حيث تم إعطاء الحديث. في المرة الأولى التي رأيت فيها المصطلح المكتوب كان في Anderson et al. (2015) ، وهي مناقشة شيقة حول كيفية تعقيد الخوارزميات المستخدمة من قبل مواقع المواعدة لقدرة الباحثين على استخدام البيانات من هذه المواقع لدراسة التفضيلات الاجتماعية. أثار هذا القلق K. Lewis (2015a) رداً على Anderson et al. (2014) .

بالإضافة إلى Facebook ، يوصي Twitter أيضًا الأشخاص بمتابعة المستخدمين استنادًا إلى فكرة الإغلاق الثلاثي. انظر Su, Sharma, and Goel (2016) . لذا فإن مستوى الإغلاق الثلاثي في ​​تويتر هو مزيج من ميل بشري نحو الإغلاق الثلاثي وبعض الاتجاه الخوارزمي لتعزيز الإغلاق الثلاثي.

لمعرفة المزيد عن الأداء ، وخاصة فكرة أن بعض نظريات العلوم الاجتماعية هي "محركات لا كاميرات" (أي أنها تشكل العالم بدلاً من مجرد وصفه) - انظر Mackenzie (2008) .

• القذرة (القسم 2.3.9)

تدعو الوكالات الإحصائية الحكومية البيانات إلى تنظيف البيانات الإحصائية . يصف De Waal, Puts, and Daas (2014) تقنيات تحرير البيانات الإحصائية التي تم تطويرها لبيانات المسح ودراسة مدى قابليتها للتطبيق على مصادر البيانات الضخمة ، ويقدم Puts, Daas, and Waal (2015) بعض الأفكار نفسها جمهور أكثر عمومية.

للحصول على نظرة عامة على برامج التتبع الاجتماعية ، راجع Ferrara et al. (2016) . للاطلاع على بعض الأمثلة على الدراسات التي تركز على العثور على الرسائل غير المرغوب فيها في Twitter ، راجع Clark et al. (2016) و Chu et al. (2012) . وأخيرا ، Subrahmanian et al. (2016) تصف Subrahmanian et al. (2016) نتائج تحدي DARPA Twitter Bot ، وهو عبارة عن تعاون جماعي تم تصميمه لمقارنة أساليب الكشف عن برامج التتبع على Twitter.

• حساس (القسم 2.3.10)

Ohm (2015) بمراجعة الأبحاث السابقة حول فكرة المعلومات الحساسة ويقدم اختبارًا متعدد العوامل. العوامل الأربعة التي يقترحها هي حجم الضرر ، واحتمالية الضرر ، ووجود علاقة سرية ، وما إذا كانت المخاطر تعكس اهتمامات الأغلبية.

• عد الأشياء (القسم 2.4.1)

استندت دراسة فاربر لسيارات الأجرة في نيويورك على دراسة سابقة أجراها Camerer et al. (1997) التي استخدمت ثلاث عينات ملائمة من أوراق الرحلة الورقية. وجدت هذه الدراسة السابقة أن السائقين كانوا مستهدفين مستهدفين: لقد عملوا أقل في الأيام التي ارتفعت فيها أجورهم.

في العمل اللاحق ، اكتشف الملك وزملاؤه المزيد من الرقابة على الإنترنت في الصين (King, Pan, and Roberts 2014, [@king_how_2016] ) . للاطلاع على مقاربة ذات صلة لقياس الرقابة على الإنترنت في الصين ، انظر Bamman, O'Connor, and Smith (2012) . لمعرفة المزيد عن الأساليب الإحصائية مثل الطريقة المستخدمة في King, Pan, and Roberts (2013) لتقدير مشاعر 11 مليون وظيفة ، انظر Hopkins and King (2010) . لمعرفة المزيد عن التعلم تحت الإشراف ، انظر James et al. (2013) (أقل تقنية) و Hastie, Tibshirani, and Friedman (2009) (أكثر تقنية).

• التنبؤ والتنبؤ الآني (القسم 2-4-2)

يعتبر التنبؤ جزءًا كبيرًا من علم البيانات الصناعية (Mayer-Schönberger and Cukier 2013; Provost and Fawcett 2013) . أحد أنواع التنبؤات التي يقوم بها الباحثون الاجتماعيون عادةً هو التنبؤ الديموغرافي. انظر ، على سبيل المثال ، Raftery et al. (2012) .

لم تكن Google Flu Trends أول مشروع يستخدم بيانات البحث في انتشار انتشار الإنفلونزا في الوقت الحالي. في الواقع ، وجد الباحثون في الولايات المتحدة (Polgreen et al. 2008; Ginsberg et al. 2009) والسويد (Hulth, Rydevik, and Linde 2009) أن مصطلحات بحث معينة (على سبيل المثال ، "flu") تنبأت بالمراقبة الوطنية للصحة العامة. البيانات قبل إصدارها. بعد ذلك ، حاول العديد من المشروعات الأخرى استخدام بيانات التتبع الرقمي في الكشف عن مراقبة الأمراض ؛ انظر Althouse et al. (2015) للمراجعة.

بالإضافة إلى استخدام بيانات التتبع الرقمي للتنبؤ بالنتائج الصحية ، كان هناك أيضًا قدر كبير من العمل باستخدام بيانات Twitter للتنبؤ بنتائج الانتخابات ؛ للاستعراضات ، انظر Gayo-Avello (2011) ، Gayo-Avello (2013) ، Jungherr (2015) (الفصل 7) ، و Huberty (2015) . إن التنبؤ الآني بالمؤشرات الاقتصادية ، مثل الناتج المحلي الإجمالي (GDP) ، أمر شائع أيضاً في البنوك المركزية ، انظر Bańbura et al. (2013) . يتضمن الجدول 2.8 بعض الأمثلة على الدراسات التي تستخدم نوعًا ما من التتبع الرقمي للتنبؤ بنوع من الأحداث في العالم.

أخيراً ، أشار جون كلاينبيرغ وزملاؤه (2015) إلى أن مشاكل التنبؤ تنقسم إلى فئتين مختلفتين بمهارة ، وأن علماء الاجتماع يميلون إلى التركيز على واحد ويتجاهل الآخر. تخيل أحد صناع السياسة ، سأدعوها آنا ، التي تواجه الجفاف ويجب عليها أن تقرر ما إذا كانت ستوظف شامان للقيام برقصة المطر لزيادة فرصة هطول المطر. يجب على صانع سياسة آخر ، سأتصل بيتي ، أن يقرر ما إذا كان سيأخذ مظلة ليمنع العمل من أجل تجنب التبلل في الطريق إلى البيت. يمكن لكل من آنا وبيتي اتخاذ قرار أفضل إذا فهموا الطقس ، لكنهم بحاجة إلى معرفة أشياء مختلفة. على آنا أن تفهم ما إذا كانت رقبة المطر تسبب المطر. من ناحية أخرى ، لا تحتاج بيتي لفهم أي شيء عن السببية. انها فقط تحتاج إلى توقعات دقيقة. غالباً ما يركز الباحثون الاجتماعيون على مشاكل مثل تلك التي واجهتها آنا - والتي يسميها كلاينبيرغ وزملاؤه بمشاكل السياسة "الرقص الشبيه بالرقص" - لأنها تنطوي على أسئلة السببية. أسئلة مثل تلك التي تواجهها بيتي - والتي وصفها كلاينبيرغ وزملاؤه بمشاكل السياسة "الشبيهة بالشمولية" - يمكن أن تكون مهمة جدًا أيضًا ، ولكنها حظيت باهتمام أقل بكثير من الباحثين الاجتماعيين.

• تجارب التقريب (القسم 2.4.3)

نظمت مجلة PS Political Science ندوة حول البيانات الضخمة ، والاستدلال السببي ، والنظرية الرسمية ، وقام Clark and Golder (2015) بتلخيص كل مساهمة. عقدت مجلة Proceedings of the National Academy of Sciences of the United States of America ندوة حول الاستدلال السببي والبيانات الضخمة ، Shiffrin (2016) كل مساهمة. لمعرفة طرق التعلم الآلي التي تحاول اكتشاف التجارب الطبيعية داخل مصادر البيانات الكبيرة تلقائيًا ، راجع Jensen et al. (2008) و Sharma, Hofman, and Watts (2015) و Sharma, Hofman, and Watts (2016) .

من حيث التجارب الطبيعية ، يوفر Dunning (2012) علاجًا تمهيديًا للكتب بطول العديد من الأمثلة. للحصول على نظرة متشائمة للتجارب الطبيعية ، انظر Rosenzweig and Wolpin (2000) (علم الاقتصاد) أو Sekhon and Titiunik (2012) (العلوم السياسية). يجادل Deaton (2010) و Heckman and Urzúa (2010) بأن التركيز على التجارب الطبيعية يمكن أن يؤدي بالباحثين إلى التركيز على تقدير التأثيرات السببية غير المهمة. Imbens (2010) مع هذه الحجج مع نظرة أكثر تفاؤلا من قيمة التجارب الطبيعية.

عند وصف كيف يمكن للباحث الانتقال من تقدير تأثير الصياغة إلى تأثير الخدمة ، كنت أصف تقنية تسمى المتغيرات الآلية . Imbens and Rubin (2015) ، في فصلين 23 و 24 ، مقدمة واستخدام مشروع القرعة كمثال. أحيانًا ما يُطلق على تأثير الخدمة العسكرية على العوامل المتطابقة ، التأثير السببي للمتوسط ​​(CAcE) وأحيانًا متوسط ​​تأثير العلاج المحلي (LATE). Sovey and Green (2011) ، Angrist and Krueger (2001) ، و Bollen (2012) مراجعات حول استخدام المتغيرات المفيدة في العلوم السياسية ، والاقتصاد ، وعلم الاجتماع ، بينما Sovey and Green (2011) "قائمة اختيار القارئ" لـ تقييم الدراسات باستخدام متغيرات مفيدة.

اتضح أن مشروع اليانصيب عام 1970 لم يكن ، في الواقع بشكل عشوائي. كانت هناك انحرافات صغيرة عن العشوائية النقية (Fienberg 1971) . Berinsky and Chatfield (2015) بأن هذا الانحراف الصغير ليس مهمًا جوهريًا ويناقش أهمية التعشية العشوائية بشكل صحيح.

من حيث التطابق ، انظر Stuart (2010) لمراجعة متفائلة ، و Sekhon (2009) لمراجعة متشائمة. لمعرفة المزيد عن المطابقة كنوع من التقليم ، انظر Ho et al. (2007) . غالبًا ما يكون العثور على تطابق مثالي واحد لكل شخص أمرًا صعبًا ، وهذا يقدم عددًا من التعقيدات. أولاً ، عندما لا تتوفر المطابقات الدقيقة ، يحتاج الباحثون أن يقرروا كيفية قياس المسافة بين وحدتين وإذا كانت مسافة معينة قريبة بما فيه الكفاية. ينشأ التعقيد الثاني إذا أراد الباحثون استخدام العديد من التطابقات لكل حالة في مجموعة العلاج ، حيث يمكن أن يؤدي ذلك إلى تقديرات أكثر دقة. كل من هاتين القضيتين ، وكذلك قضايا أخرى ، موصوفة بالتفصيل في الفصل 18 من Imbens and Rubin (2015) . انظر أيضا الجزء الثاني من ( ??? ) .

انظر Dehejia and Wahba (1999) على سبيل المثال حيث كانت أساليب مطابقة قادرة على إنتاج تقديرات مشابهة لتلك الواردة من تجربة معشاة ذات شواهد. ولكن ، راجع Arceneaux, Gerber, and Green (2006) و Arceneaux, Gerber, and Green (2010) للحصول على أمثلة حيث فشلت الطرق المتطابقة في إعادة إنشاء مقياس تجريبي.

Rosenbaum (2015) و Hernán and Robins (2016) نصائح أخرى لاكتشاف المقارنات المفيدة ضمن مصادر البيانات الكبيرة.