2.3.5無法訪問

研究人員很難獲得公司和政府持有的數據。

2014年5月，美國國家安全局在猶他州農村開設了一個數據中心，其名稱尷尬，即智能社區綜合國家網絡安全倡議數據中心。然而，據稱該數據中心已被稱為猶他州數據中心，據稱具有驚人的功能。一份報告稱，它能夠存儲和處理所有形式的通信，包括“私人電子郵件，手機通話和谷歌搜索的完整內容，以及各種個人數據路徑 - 停車收據，旅行路線，書店購買和其他數字'口袋垃圾'“ (Bamford 2012) 。除了引起對大數據中捕獲的大部分信息的敏感性的擔憂，這將在下面進一步描述，猶他州數據中心是研究人員無法訪問的豐富數據源的極端例子。更一般地，許多有用的大數據源由政府（例如，稅務數據和教育數據）或公司（例如，對搜索引擎的查詢和電話元數據）進行控制和限制。因此，即使存在這些數據源，它們對於社會研究的目的也是無用的，因為它們是不可訪問的。

根據我的經驗，許多大學的研究人員誤解了這種無法進入的來源。這些數據無法訪問，不是因為公司和政府的人都是愚蠢，懶惰或漠不關心。相反，存在嚴重的法律，商業和道德障礙，阻礙了數據訪問。例如，網站的某些服務條款協議僅允許員工使用數據或改進服務。因此，某些形式的數據共享可能會使公司面臨來自客戶的合法訴訟。參與共享數據的公司也存在重大業務風險。試著想像一下，如果個人搜索數據作為大學研究項目的一部分從Google中意外洩露出來，公眾會如何回應。這種數據洩露，如果極端，甚至可能是公司的存在風險。因此谷歌和大多數大公司都非常厭惡與研究人員共享數據。

事實上，幾乎每個能夠提供大量數據訪問權的人都知道Abdur Chowdhury的故事。 2006年，當他擔任AOL研究負責人時，他故意向研究界發布了他認為是65,000名AOL用戶的匿名搜索查詢。據我所知，Chowdhury和AOL的研究人員有良好的意圖，他們認為他們已經對數據進行了匿名化。但他們錯了。人們很快發現這些數據並不像研究人員所想的那樣匿名， 紐約時報的記者能夠輕鬆識別數據集中的某些人(Barbaro and Zeller 2006) 。一旦發現這些問題，Chowdhury從AOL的網站上刪除了數據，但為時已晚。這些數據已經轉發到其他網站上，當您閱讀本書時，它可能仍然可用。 Chowdhury被解僱，AOL的首席技術官辭職(Hafner 2006) 。正如這個例子所示，公司內部特定個人為數據訪問提供便利的好處非常小，最糟糕的情況很糟糕。

但是，研究人員有時可以訪問公眾無法訪問的數據。一些政府擁有研究人員可以遵循的程序來申請訪問，正如本章後面的示例所示，研究人員偶爾可以訪問公司數據。例如， Einav et al. (2015)與eBay的研究人員合作研究在線拍賣。我將在本章後面更多地討論這次合作所帶來的研究，但我現在提到它，因為它具有我在成功的合作夥伴關係中看到的所有四種成分：研究人員的興趣，研究人員的能力，公司的興趣和公司能力。 。我見過許多潛在的合作失敗，因為研究人員或合作夥伴 - 無論是公司還是政府 - 缺乏這些成分之一。

但是，即使您能夠與企業建立合作關係或獲取受限制的政府數據，也會有一些缺點。首先，您可能無法與其他研究人員共享您的數據，這意味著其他研究人員將無法驗證和擴展您的結果。其次，您可以提出的問題可能有限;公司不太可能允許研究使他們看起來很糟糕。最後，這些合作關係至少可以產生利益衝突，人們可能會認為您的結果會受到您的合作關係的影響。所有這些缺點都可以得到解決，但重要的是要明確處理每個人無法訪問的數據都有好處和缺點。

總之，研究人員無法訪問大量大數據。存在嚴重的法律，商業和道德障礙阻礙數據訪問，並且隨著技術的改進，這些障礙不會消失，因為它們不是技術障礙。一些國家政府已經建立了為某些數據集提供數據訪問的程序，但該流程在州和地方層面尤其是臨時性的。此外，在某些情況下，研究人員可以與公司合作獲取數據訪問權限，但這可能會給研究人員和公司帶來各種問題。