Судалгаа үнэгүй биш юм, энэ нь бодит бэрхшээл юм.
Одоогийн байдлаар би судалгааны нийт алдааны хүрээг товч танилцуулсан бөгөөд энэ нь өөрөө номын эмчилгээний урт (Weisberg 2005; Groves et al. 2009) . Хэдийгээр энэ бүтэц цогц байдаг боловч судлаачид гол хүчин зүйл болох өртөгийг үл тоомсорлодог. Хэдийгээр цаг хугацаа, мөнгөгүйгээр хэмжиж болох зардал нь эрдэм шинжилгээний судлаачдын хувьд тодорхой яригддаг ч энэ нь үл тоомсорлох бодит хязгаарлалт юм. Үнэн хэрэгтээ зардал нь судалгааны судалгааны бүхий л үйл явцын үндэс юм (Groves 2004) : судлаачид хүн амын тооноос бус хүмүүсийн жишээг судлах шалтгаан болдог. Алдааг багасгахын тулд алдаагаа багасгах ганцхан бодол санаа нь бидний хамгийн сайн сонирхолгүй байдаг.
Сул талыг багасгах гэсэн сэтгэлийн хязгаарлалтыг Скотт Кэйтер болон хамтран ажиллагсад (2000) төслийн телефон утсан холбоог үл тоомсорлож буй талбайн үйл ажиллагааны үр нөлөөг харуулсан. Кетерер болон хамт ажиллагсад нь "стандарт" ажилд авах процедур, "нарийн" ажилд авах журмыг ашиглан хоёр удаагийн судалгааг явуулсан. Судалгааны хоёр ялгаа нь судалгаанд оролцогчдод хандаж, тэднийг оролцохыг уриалсан хүчин чармайлтын дүн юм. Жишээлбэл, "нарийн" ажилд авах судалгаагаар судлаачид түүвэрлэгдсэн өрхүүдийг илүү олон удаа, илүү урт хугацаагаар дуудаж, оролцогчид эхлээд оролцохоос татгалзсан тохиолдолд нэмэлт дуудлага хийх боломжтой болсон. Эдгээр нэмэлт хїчин чармайлт їнэн хэрэгтээ хїлээн зєвшєєрєгдєхгїй їнийн доод тївшинг бий болгосон боловч ихээхэн єртгєєр нь нэмсэн. "Тогтвортой" процедурын судалгаа нь хоёр дахин үнэтэй бөгөөд найман удаа удааширсан. Эцэст нь хоёр судалгаа хоёулаа ижил төстэй тооцоо хийсэн. Энэхүү төсөл, үүнтэй ижил төстэй үр дүнгүүдтэй (Keeter et al. 2006) , танд гайхалтай үр дүн гарах болно. 10 бодитой судалгаа, эсвэл нэг гайхалтай судалгаа гэж юу вэ? 100-н үндэслэлтэй судалгаа, эсвэл нэг гайхалтай судалгаа гэж юу вэ? Зарим тохиолдолд зардлын давуу тал нь тодорхой бус, чанарын хувьд онцгой анхаарал хандуулахаас илүү чухал байдаг.
Энэ бүлгийн үлдсэн хэсэгт үзүүлснээр тоон эринээс бий болсон боломжууд нь мэдээж алдаа гарах магадлал багатай байдаг. Эдгээр боломжууд нь янз бүрийн тоо хэмжээг тооцоолох, тооцоолол хийхэд илүү хурдан бөгөөд хямдхан, магадгүй илүү их алдаа гаргахтай холбоотой юм. Чанарын бусад хэмжигдэхүүнтэй холбоотойгоор алдааг багасгах нэг санаатай сэтгэл хөдлөлийг шаарддаг судлаачид сэтгэл хөдөлгөм боломжуудаа алдах болно. Судалгааны нийт алдааны хүрээний талаархи энэхүү судалгаагаар бид одоо судалгааны 3дахь үе дэх гурван үндсэн чиглэл рүү шилжинэ: төлөөлөл болох шинэ арга (3.4-р хэсэг), хэмжилтийн шинэ арга (3.5-р хэсэг), судалгааны хослуулах шинэ стратегиуд том мэдээллийн эх үүсвэртэй (хэсэг 3.6).