4.4.1 বৈধতা

মেয়াদ কত পরীক্ষার ফলাফল একটি সাধারণ উপসংহার সমর্থন বোঝায়.

কোন পরীক্ষা নির্ভুল, এবং গবেষক সম্ভাব্য সমস্যার বর্ণনা করতে একটি ব্যাপক শব্দভান্ডার উন্নত. বৈধতা ব্যাপ্তি একটি বিশেষ পরীক্ষার ফলাফলে আরো কিছু সাধারণ উপসংহার সমর্থন যা বোঝায়. সমাজ বিজ্ঞানীরা চারটি প্রধান ধরনের মধ্যে বৈধতা বিভক্ত করতে সহায়ক পাওয়া যায়: পরিসংখ্যানগত উপসংহার বৈধতা, অভ্যন্তরীণ বৈধতা বৈধতা গঠন, এবং বাহ্যিক বৈধতা (Shadish, Cook, and Campbell 2001, Ch 2) . এই ধারণার নিয়ন্ত্রণ আপনি critiquing এবং নকশা একটা গবেষণার বিশ্লেষণে আরও উন্নত করার জন্য একটি মানসিক চেকলিস্ট প্রদান করবে, এবং এটি আপনি অন্য গবেষকদের সঙ্গে যোগাযোগ করতে সহায়তা করবে.

পরিসংখ্যানগত উপসংহার বৈধতা প্রায় পরীক্ষা পরিসংখ্যান বিশ্লেষণ সঠিকভাবে সম্পন্ন করা হয়েছে কিনা সেন্টার. প্রেক্ষাপটে Schultz et al. (2007) যেমন প্রশ্ন কিনা তারা তাদের পি-মান সঠিকভাবে গণনা ওপর কেন্দ্রীভূত পারে. পরিসংখ্যানগত বিশ্লেষণ এই বইয়ের সুযোগ পরলোক হল, কিন্তু আমি বলতে পারি যে, পরিসংখ্যানগত নীতি ডিজাইন এবং পরীক্ষা বিশ্লেষণ করা প্রয়োজন ডিজিটাল বয়স মধ্যে কোনো পরিবর্তন হয়নি. তবে ডিজিটাল পরীক্ষায় বিভিন্ন তথ্য পরিবেশ নতুন পরিসংখ্যানগত সুযোগ সৃষ্টি করে (যেমন, মেশিন লার্নিং পদ্ধতি ব্যবহার করে চিকিত্সা প্রভাব বিষমসত্ত্বতা অনুমান করার জন্য (Imai and Ratkovic 2013) ) এবং নতুন গণনীয় চ্যালেঞ্জ (যেমন, বিশাল পরীক্ষায় ব্লক (Higgins, Sävje, and Sekhon 2016) ).

অভ্যন্তরীণ বৈধতা প্রায় পরীক্ষামূলক পদ্ধতি সঠিকভাবে সঞ্চালিত হয় কিনা সেন্টার. এর পরীক্ষা করতে রিটার্নিং Schultz et al. (2007) , অভ্যন্তরীণ বৈধতা সম্পর্কে প্রশ্ন ফলাফলের চিকিত্সার বিতরণ, এবং পরিমাপ র্যান্ডোমাইজেশন চারপাশে কেন্দ্রীভূত পারে. উদাহরণস্বরূপ, যদি আপনি উদ্বিগ্ন যে গবেষণা সহকারী বৈদ্যুতিক মিটার নির্ভরযোগ্যভাবে পড়েননি হতে পারে. বস্তুত, শুলজ এবং সহকর্মীদের এই সমস্যা সম্পর্কে উদ্বিগ্ন ছিলেন এবং তারা দুইবার পড়া মিটার নমুনা ছিল; ভাগ্যক্রমে, ফলাফল মূলত অভিন্ন ছিল. সাধারণভাবে, শুলজ এবং সহকর্মীদেরও পরীক্ষা উচ্চ অভ্যন্তরীণ বৈধতা আছে বলে মনে হচ্ছে, কিন্তু এই সবসময় তা হয় না; জটিল ক্ষেত্র এবং অনলাইন পরীক্ষায় প্রায়ই আসলে সঠিক মানুষের থেকে সঠিক চিকিত্সা প্রদান এবং সবার জন্য ফলাফল পরিমাপ সমস্যা পাতিত. সৌভাগ্যবসত, ডিজিটাল বয়স অভ্যন্তরীণ বৈধতা সম্পর্কে উদ্বেগ কমাতে সাহায্য করতে পারেন কারণ এটা সহজ তা নিশ্চিত করার জন্য চিকিত্সা হিসাবে যারা তা গ্রহণ করতে এবং সকল অংশগ্রহণকারীর জন্য ফলাফল পরিমাপ অনুমিত হয় করার জন্য ডিজাইন করা বিতরিত হয়.

তথ্য ও তাত্ত্বিক নির্মান মধ্যে ম্যাচ প্রায় বৈধতা কেন্দ্র আঁকো. যেমন অধ্যায় 2 আলোচনা, নির্মান বিমূর্ত ধারণা যে সমাজ বিজ্ঞানীদের সম্পর্কে কারণ. দুর্ভাগ্যবশত, এই বিমূর্ত ধারণা সবসময় স্পষ্ট সংজ্ঞা এবং পরিমাপ না. রিটার্নিং Schultz et al. (2007) , দাবি যে সামাজিক নিয়ম বিদ্যুৎ ব্যবহার কমে যাবে স্থগিতাদেশ একটি চিকিত্সা যে নিপূণভাবে হবে "স্থগিতাদেশ সামাজিক নিয়ম" (যেমন, একটি ইমোটিকন) এবং "বিদ্যুৎ ব্যবহার" পরিমাপ ডিজাইন গবেষকদের প্রয়োজন. এনালগ পরীক্ষায় অনেক গবেষক তাদের নিজের চিকিত্সা পরিকল্পিত এবং তাদের নিজের ফলাফলের মাপা. এই পদ্ধতির যে, যতটা সম্ভব, পরীক্ষায় মেলে বিমূর্ত নির্মান চর্চিত হচ্ছে নিশ্চিত. ডিজিটাল পরীক্ষায় যেখানে কোম্পানি বা সরকারের সাথে গবেষকরা অংশীদার চিকিত্সা প্রদানের এবং ফলাফলের পরিমাপ করতে সর্বদা চলমান ব্যবহার ডেটা সিস্টেমের সাথে, পরীক্ষা এবং তাত্ত্বিক নির্মান মধ্যে ম্যাচ কম টাইট হতে পারে. সুতরাং, আমি আশা যে কনস্ট্রাক্ট বৈধতা এনালগ পরীক্ষায় চেয়ে ডিজিটাল পরীক্ষায় একটি বড় উদ্বেগের বিষয় হতে থাকে.

অবশেষে, বাহ্যিক বৈধতা প্রায় এই পরীক্ষাটির ফলাফল অন্যান্য পরিস্থিতে সাধারণের বোধগম্য কিনা সেন্টার. রিটার্নিং Schultz et al. (2007) , এক, জিজ্ঞাসা করতে পারে তাদের সহকর্মীরা সম্পর্ক তাদের শক্তি ব্যবহার এবং স্থগিতাদেশ নিয়ম (যেমন, একটি ইমোটিকন) -reduce শক্তি ব্যবহার করে এটি একটি ভিন্ন ভাবে কাজ ছিল একটি সংকেত সম্পর্কে এই একই ধারণা-প্রদানের মানুষ তথ্য একটি ভিন্ন সেটিং? সবচেয়ে সুগঠিত এবং ভাল পরিচালিত পরীক্ষার জন্য, বাহ্যিক বৈধতা সম্পর্কে উদ্বেগ কঠিন সুরাহা হয়. অতীতে, বাহ্যিক বৈধতা সম্পর্কে এই বিতর্ক প্রায়শই শুধু একটি রুমে বসে কল্পনা করা যদি পদ্ধতি অন্যভাবে মধ্যে সম্পন্ন করা হয়, বা একটি ভিন্ন জায়গায়, বা বিভিন্ন মানুষের সাথে কি ঘটেছে হবে চেষ্টা মানুষের একটি গুচ্ছ ছিল. সৌভাগ্যবসত, ডিজিটাল বয়স এই তথ্য-মুক্ত চিন্তা অতিক্রম সরানো প্রায়োগিক বাহ্যিক বৈধতা যাচাই করার জন্য গবেষকদের সাহায্য.

থেকে ফলাফল কারণ Schultz et al. (2007) তাই উত্তেজনাপূর্ণ ছিল, Opower নামে একটি কোম্পানি ব্যাপকভাবে চিকিত্সা মোতায়েনের যুক্তরাষ্ট্রে ইউটিলিটি সঙ্গে যৌথভাবে কাজ. এর ডিজাইনের উপর ভিত্তি করে Schultz et al. (2007) , Opower কাস্টমাইজড তৈরী হোম এনার্জি রিপোর্ট যে দুটি প্রধান মডিউল, এক দেখাচ্ছে একটি ইমোটিকন সঙ্গে তার প্রতিবেশীদের একটি পরিবারের এর বিদ্যুৎ ব্যবহারের আপেক্ষিক এবং এক শক্তি ব্যবহার কমিয়ে জন্য টিপস প্রদান ছিল (চিত্র 4.6). তারপর, গবেষক এর সাথে অংশীদারিত্বের ভিত্তিতে, Opower নিয়ন্ত্রিত পরীক্ষায় এলোমেলোভাবে দৌড়ে বাসা এনার্জি রিপোর্ট প্রভাব মূল্যায়ন করার জন্য. যদিও এই পরীক্ষায় চিকিত্সা সাধারণত পুরানো ঢঙের শামুক মাধ্যমে শারীরিক সাধারণত বিতরণ করা হয় মেইল ​​ফলাফল জড়জগৎ ডিজিটাল ডিভাইস (যেমন, ক্ষমতা মিটার) ব্যবহার করে মাপা হয়. বরং নিজে প্রতিটি বাড়িতে গিয়ে গবেষণা সহায়ক সঙ্গে এই তথ্য সংগ্রহের চেয়ে, Opower পরীক্ষায় সব ক্ষমতা রিডিং অ্যাক্সেস করতে গবেষকরা সক্রিয় শক্তি কোম্পানি সঙ্গে অংশীদারিত্বের ভিত্তিতে সম্পন্ন করা হয়. সুতরাং, এই আংশিকভাবে ডিজিটাল ক্ষেত্র পরীক্ষায় কম পরিবর্তনশীল খরচে একটি বিশাল মাত্রায় চালানো হয়.

চিত্র 4.6: ঘরের এনার্জি রিপোর্ট Allcott (2011) একটি সামাজিক তুলনা মডিউল এবং একটি অ্যাকশন প্রয়োজনীয় পদক্ষেপ মডিউল ছিল.

600,000 পরিবারের প্রায় মার্কিন যুক্তরাষ্ট্র 10 ইউটিলিটি কোম্পানি দ্বারা পরিবেশিত জড়িত পরীক্ষায় প্রথম সেটে, Allcott (2011) পাওয়া হোম এনার্জি প্রতিবেদন 1.7% দ্বারা বিদ্যুৎ খরচ নত. অন্য কথায়, অনেক বড়, ভৌগোলিক বৈচিত্র্যময় গবেষণা থেকে ফলাফল গুণগতভাবে থেকে ফলাফল অনুরূপ ছিল Schultz et al. (2007) . কিন্তু, প্রভাব আকার ছোট ছিল: মধ্যে Schultz et al. (2007) বর্ণনামূলক এবং injective নিয়ম শর্ত (ইমোটিকন সঙ্গে এক) পরিবারে 5% দ্বারা তাদের বিদ্যুৎ ব্যবহারের কমে. এই পার্থক্য জন্য সুনির্দিষ্ট কারণ অজানা, কিন্তু Allcott (2011) তথ্যানুসারে, একটি বিশ্ববিদ্যালয় দ্বারা স্পন্সর একটি গবেষণায় অংশ হিসাবে একটি হাতে লেখা ইমোটিকন প্রাপ্তির একটি থেকে একটি ভর উত্পাদিত রিপোর্টের অংশ হিসাবে একটি মুদ্রিত ইমোটিকন প্রাপ্তির চেয়ে আচরণের উপর একটি বড় প্রভাব থাকতে পারে পাওয়ার কোম্পানি.

অধিকন্তু, পরবর্তী গবেষণায়, Allcott (2015) একটি অতিরিক্ত 101 একটি অতিরিক্ত 8 মিলিয়ন পরিবারের জড়িত পরীক্ষায় এ তথ্য জানায়. এই পরবর্তী 101 পরীক্ষায় হোম এনার্জি প্রতিবেদন মানুষ তাদের বিদ্যুৎ খরচ অর্ধবৃত্ত সৃষ্টি অব্যাহত, কিন্তু প্রভাব এমনকি ছোট ছিল. এই পতনের জন্য সুনির্দিষ্ট কারণ জানা যায় না, কিন্তু Allcott (2015) তথ্যানুসারে, রিপোর্টের কার্যকারিতা সময়ের পড়ন্ত করা হয়েছে কারণ এটি আসলে অংশগ্রহণকারীদের বিভিন্ন ধরনের প্রয়োগ করা হয়েছিল হাজির. আরো নির্দিষ্টভাবে, আরো পরিবেশবিদ এলাকায় ইউটিলিটি সম্ভাবনা বেশি ছিল প্রোগ্রাম আগে গ্রহণ করতে পারে এবং তাদের গ্রাহকদের চিকিত্সা আরো প্রতিক্রিয়াশীল ছিলেন. যেমন কম পরিবেশগত গ্রাহকদের সঙ্গে ইউটিলিটি প্রোগ্রাম গৃহীত, তার কার্যকারিতা কমতে হাজির. সুতরাং, ঠিক যেমন পরীক্ষায় র্যান্ডোমাইজেশন নিশ্চিত করে যে, চিকিত্সা এবং নিয়ন্ত্রণ গ্রুপ একই, গবেষণা সাইট র্যান্ডোমাইজেশন নিশ্চিত করে যে অনুমান অংশগ্রহণকারীদের এক গ্রুপ থেকে একটি সাধারণ জনসংখ্যার প্রয়োগ করা যেতে পারে (ফেরত স্যাম্পলিং সম্পর্কে অধ্যায় 3 মনে করি). গবেষণা সাইট এলোমেলোভাবে নমুনা না হয়, তাহলে সাধারণীকরণ-এমনকি থেকে একটি পুরোপুরি পরিকল্পিত এবং পরিচালিত পরীক্ষা-করতে সমস্যা হতে.

একসঙ্গে, এই 111 পরীক্ষায় -10 সালে Allcott (2011) এবং 101 Allcott (2015) মার্কিন যুক্তরাষ্ট্রের উপর থেকে প্রায় 8.5 মিলিয়ন পরিবারের -involved. তারা ধারাবাহিকভাবে দেন স্বরাষ্ট্র জ্বালানি রিপোর্ট গড় বিদ্যুৎ খরচ, ফলে যে ক্যালিফোর্নিয়ার 300 ঘরবাড়ি থেকে শুলজ মূল তথ্যও এবং সহকর্মীদের সমর্থন কমাতে. শুধু এই মূল ফলাফল প্রতিলিপি বিয়ন্ড, ফলো-আপ পরীক্ষায় আরো দেখা যায় যে প্রভাব আকার অবস্থান দ্বারা পরিবর্তিত হয়. পরীক্ষায় এই সেট এছাড়াও আংশিকভাবে ডিজিটাল ক্ষেত্রের উপর এক্সপেরিমেন্ট আরো দুটি সাধারণ পয়েন্ট তুলে ধরে. প্রথমত, গবেষক বাহ্যিক বৈধতা সম্পর্কে ঠিকানা উদ্বেগ অভিজ্ঞতানির্ভর যখন পরীক্ষায় চলমান খরচ কম সক্ষম হবে, এবং এই ঘটতে পারে যদি ফল ইতিমধ্যে একটি ডাটা সর্বদা চলমান সিস্টেম দ্বারা মাপা হচ্ছে. অতএব, এটা ইঙ্গিত করে যে, গবেষণা অন্যান্য আকর্ষণীয় এবং গুরুত্বপূর্ণ আচরণে যে ইতিমধ্যে রেকর্ড করা হচ্ছে জন্য বর্ণন আউট উপর হতে হবে, এবং তারপর এই বিদ্যমান পরিমাপ পরিকাঠামোর উপরে পরীক্ষায় ডিজাইন. দ্বিতীয়ত, পরীক্ষাগুলির এই সেট আমাদের মনে করিয়ে দেয় যে ডিজিটাল ক্ষেত্র পরীক্ষায় শুধু অনলাইনে থাকেন না; ক্রমবর্ধমান আমি আশা করব, তারা নির্মিত পরিবেশে সেন্সর দ্বারা মাপা অনেক ফলাফলের সঙ্গে সর্বত্র হবে.

বৈধতা-পরিসংখ্যানগত উপসংহার বৈধতা, অভ্যন্তরীণ বৈধতা চার প্রকারের, বৈধতা গঠন, বাহ্যিক বৈধতা-প্রদান সাহায্য করার জন্য গবেষকদের মূল্যায়ন একটি বিশেষ পরীক্ষা থেকে ফলাফল একটি সাধারণ উপসংহার সমর্থন কিনা একটি মানসিক চেকলিস্ট. এনালগ বয়স পরীক্ষায় তুলনায় ডিজিটাল বয়স পরীক্ষায় এটা প্রায়োগিক বাহ্যিক বৈধতা মোকাবেলার সহজ হওয়া উচিত এবং এটা অভ্যন্তরীণ বৈধতা নিশ্চিত করা সহজ হবে. অপরপক্ষে, কনস্ট্রাক্ট বৈধতার বিষয় সম্ভবত যে ডিজিটাল বয়স পরীক্ষায় বেশি চ্যালেঞ্জিং হবে (যদিও যে Opower পরীক্ষানিরীক্ষা ক্ষেত্রে ছিল না).