5.2.2政治宣言的人群编码

编码政治宣言，一些通常由专家完成的，可以通过产生更大的再现性和柔软性的人计算项目来执行。

与Galaxy Zoo类似，社交研究人员希望对图像或文本进行编码，分类或标记。这种研究的一个例子是政治宣言的编码。在选举期间，政党制作宣言，描述其政策立场和指导思想。例如，这是2010年英国工党的一份宣言：

“数以百万计的人在我们的公共服务工作体现英国的最佳值，从而有助于使人们充分利用他们自己的生活，同时保护他们免受他们不应该承担自己的风险。正如我们需要有关政府在使市场公平工作中的作用更大胆，我们还需要政府的大胆改革。“

这些宣言包含政治科学家的宝贵数据，特别是那些研究选举和政策辩论动态的人。为了系统地从这些宣言中提取信息，研究人员创建了“宣言”项目，该项目从50个国家的近1,000个政党收集了4,000份宣言，然后组织政治科学家对其进行系统编码。每个宣言中的每个句子都由专家使用56类方案编码。这项合作努力的结果是一个大型数据集，总结了这些宣言中嵌入的信息，该数据集已被用于200多篇科学论文。

Kenneth Benoit及其同事(2016)决定采用先前由专家执行的宣言编码任务，并将其转变为人类计算项目。结果，他们创建了一个更可重复且更灵活的编码过程，更不用说更便宜和更快。

Benoit及其同事在英国最近六次选举期间产生的18份宣言中使用了分组 - 应用 - 联合策略与来自微任务劳动力市场的工人（亚马逊机械土耳其人和CrowdFlower）是微任务劳动力市场的例子;更多关于此类市场，见第4章）。研究人员把每一个宣言，把它分解成句子。接下来，一个人应用的编码方案到每个句子。特别是，读者被要求将每个句子分类为经济政策（左或右），社会政策（自由主义或保守主义）或两者（图5.5）。每个句子由大约五个不同的人编码。最后，这些评级使用统计模型进行组合 ，该模型考虑了个人评估者效果和句子难度效应。总而言之，Benoit及其同事从大约1,500人那里收集了200,000个评级。

图5.5： Benoit et al. (2016)编码方案Benoit et al. (2016) 。读者被要求将每个句子分类为经济政策（左或右），社会政策（自由主义或保守主义），或两者都没有。改编自Benoit et al. (2016) ，图1。

为了评估人群编码的质量，Benoit及其同事还有大约10名政治学专家教授和研究生 - 使用类似的程序对相同的宣言进行评分。虽然人群成员的评级比专家评级更为可变，但一致的人群评级与共识专家评级非常一致（图5.6）。这种比较表明，与Galaxy Zoo一样，人类计算项目可以产生高质量的结果。

图5.6：在编写来自英国的18个党派宣言时，专家估计（ \(x\) axis）和人群估计（ \(y\) axis）非常一致(Benoit et al. 2016) 。编写的宣言来自三个政党（保守党，工党和自由民主党）和六个选举（1987年，1992年，1997年，2001年，2005年和2010年）。改编自Benoit et al. (2016) ，图3。

在此结果的基础上，Benoit及其同事使用他们的人群编码系统进行研究，这是使用Manifesto项目使用的专家运行编码系统所不可能完成的。例如，“宣言”项目没有对移民问题的宣言进行编码，因为当编码方案是在20世纪80年代中期开发时，这不是一个突出的主题。而且，在这一点上，“宣言”项目在逻辑上是不可行的，可以返回并重新编写其宣言以捕获这些信息。因此，似乎对研究移民政治感兴趣的研究人员运气不佳。然而，Benoit及其同事能够使用他们的人工计算系统来快速，轻松地对他们的研究问题进行编码定制。

为了研究移民政策，他们在2010年英国大选中编写了八方的宣言。每份宣言中的每一句话都被编码为是否与移民有关，如果是，则是否为移民，中立或反移民。在启动他们的项目后的5个小时内，结果就出现了。他们收集了超过22,000份回复，总费用为360美元。此外，人群的估计显示与先前的专家调查显着一致。然后，作为最后的测试，两个月后，研究人员再现了他们的人群编码。在几个小时内，他们创建了一个新的人群编码数据集，与其原始的人群编码数据集紧密匹配。换句话说，人类计算使他们能够生成与专家评估一致且具有可再现性的政治文本编码。此外，由于人工计算快速而便宜，因此他们很容易根据他们关于移民的具体研究问题定制他们的数据收集。