社会科学视域下的计算机视觉研究：历史、理论与方法

Review of Computer Vision Research in the Social Science Perspective：Theory，Methods，and Prospects

摘要

计算机视觉技术发展迅速，为社会科学研究者挖掘视觉数据、研究人类行为、发现新的理论“绿洲”提供了新的路径。通过系统梳理当前与计算机视觉技术相关的社会科学文献，分析总结该领域的发轫历史、发展趋势、关注议题、相关理论概念以及研究方法，发现计算机视觉研究主要涉及的理论包括视觉效果相关理论、自我认知相关理论、社会交往相关理论和心理学相关理论四类；研究议题包括政治学、媒体传播、群体行为、区域与人口研究四大方向。在方法上，社交媒体是构成计算机视觉研究最主要的数据来源，主要分析工具包括开源工具、商业平台应用程序接口（API）和研究者自己开发的工具，涵盖12种视觉分析技术。在此基础上，从计算机视觉研究为中国社会科学跨学科研究带来的新契机、计算机视觉研究的理论困境、视觉变量的测量信度与效度以及视频数据获取和使用的伦理问题四个层面，对社会科学视域下的计算机视觉研究进行了反思。

Abstract

The rapid advancement of computer vision technology has opened new avenues for social science researchers to extract insights from visual data，study human behavior，and discover novel theoretical“oases”. This paper aims to systematically analyze computer vision research from the perspective of social sciences，focusing on historical，theoretical，and methodological aspects. By combing current literature related to computer vision technology in social sciences，it analyzes and summarizes the origins and development trends，key topics and relevant theoretical concepts，and research methods in this field.

To achieve the research objectives，this paper uses keyword research，literature retrieval and selection，and manual coding to ensure the comprehensiveness and reliability of the literature review. Specifically，on the basis of the identified core keywords，we expanded the keyword pool by using the Snowball Method through citation networks，and then searched on three literature retrieval platforms（Web of Science，Scopus，and Google Scholar），selecting 75 relevant papers from the past two decades. We then followed the basic norms of content analysis and coded the sample literature manually. Based on this，we summarized the theoretical concepts，research purposes，specific research directions，and research methods.

The study reveals that the integration of computer vision technology with social sciences，as an emerging academic field，holds potential to supplement and innovate existing social science theories，thereby addressing significant research questions. Like other social science research，the core focus of this field remains closely related to human issues—both as social members and technology users. The primary theories involved in computer vision research include visual effect，self-cognition，social interaction，and psychological-related theories. The research topics encompass politics，media communication，group behavior，and regional and population studies. In terms of methodology，social media constitutes the main data source for computer vision research，with key analytical tools including open-source tools，commercial platform application programming interface（APIs），and tools developed by researchers themselves，covering 12 visual analysis techniques.

In conclusion，this study reflects on and projects for future computer vision research in the field of social sciences，considering four aspects：the novel opportunities it introduces for the interdisciplinary research in China，the theoretical dilemmas it faces，the reliability and validity of measuring visual variables，and the ethical issues surrounding the acquisition and use of video data.We urge social scientists to embrace computer vision as a powerful methodological tool to aid in addressing fundamental societal issues，while acknowledging and addressing the current limitations in this field to boost its development and refinement.

Graphical abstract

关键词

计算机视觉 / 社会科学研究 / 视觉效果 / 自我认知 / 社会交往 / 社交媒体 / 视觉变量测量 / 开源工具

Key words

computer vision / social sciences research / visual effects / self-cognition / social interaction / social media / visual variable measurement / open source tools

人是一种视觉动物，借助大脑的视觉中枢，人类能够迅速识别视觉信息，感知图像和视频带来的视觉冲击，解读其中蕴藏的社会意义。计算机视觉技术致力于通过模拟人类视觉系统，赋予计算机分析甚至认知视觉信息内容的能力^［1］3。近30年来，随着人工智能技术的发展、算力的提升和大型高质量数据集的公开，计算机视觉领域得以迅速发展，使得计算机视觉预训练模型越来越接近人的判断，对社会科学研究产生了深远影响^［2］。计算机视觉技术对社会科学的助益，在于其能够提取研究对象的视觉信息，尤其是使得大规模视觉分析成为可能，从而解除传统视觉分析中对人类编码员的依赖。更重要的是，计算机视觉技术为研究者挖掘视觉数据与人类社会的关系、发现新的理论“绿洲”提供了新的路径。

近年来，计算机视觉技术日益受到社会科学领域学者的重视。然而，这一跨学科的技术是否以及如何进行跨学科移植，学界尚缺乏系统研究。因此，本文致力于系统梳理当前与计算机视觉技术相关的社会科学文献，分析其发轫历史、发展趋势、关注议题、相关理论概念以及研究方法，并在此基础上对该领域面临的机会与挑战进行反思。

在计算机科学领域，计算机视觉（computer vision）、机器视觉（machine vision）、图像处理（image processing）是三个被广泛采纳且相互关联的概念。其中，计算机视觉侧重于使计算机理解数字图像或视频中的信息；机器视觉通常指在工业自动化领域中，利用计算机视觉技术实现对生产过程中物体的检测、识别和测量等任务；图像处理是指对数字图像进行操作和分析，其输入和输出都是图像^［3］。本文的研究主题是社会科学领域中的计算机视觉，主要关注视觉内容中的信息，因而采用“计算机视觉”这一概念。

本文将“计算机视觉”定义为运用深度学习等算法技术，对视觉形态数据（图像或视频）进行自动量化分析的一种计算技术（automated visual content analysis，AVCA）^［3］，旨在回答以下问题：第一，计算机视觉技术与社会科学结合的发轫历史和发展趋势呈现出何种特点；第二，该领域的核心关切是什么，即与计算机视觉技术相关的社会科学文献主要使用什么理论，回答什么问题；第三，国际上与计算机视觉技术相关的社会科学文献使用了哪些研究方法。

一 文献检索与筛选

本研究主要在Web of Science，Scopus和Google Scholar三大文献检索平台进行文献收集，在关键词提取方面，为保证关键词的全面性，两位研究者分别进行调研，首先在2篇直接相关的文献中确定了3个关键词（computer vision、computational social science、social science），进而通过论文引用网络，利用“滚雪球”的方式扩充关键词库，最终归纳出20个检索主题词（见表1）。

在文献检索与筛选方面，首先，笔者于2023 年 5 月1—5日在Web of Science和Scopus进行关键词检索，初步筛选后得到174篇社会科学文献。为避免这两个文献检索平台的局限性，进一步在Google Scholar中利用上述关键词进行补充检索，借助人工判断的方式补充相关文献39篇。在后续深入阅读文献的过程中，通过人工筛选，将符合以下标准之一的文献纳入编码：第一，利用计算机视觉技术理解数字图像或视频中的信息，进行信息提取和分析，回答社会科学问题的文献（即剔除单纯讨论某一算法的文献）；第二，在社会科学范畴内的计算机视觉综述类文献。最终，共得到75篇符合研究需要的文献，其中实证类论文62篇，综述类或观点类论文9篇，相关专著4部。

二 文献分析

（一） 计算机视觉技术在社会科学领域的发轫

本文旨在从历史、理论与方法的角度分析社会科学视域下的计算机视觉研究。如图1所示，文献样本中最早的研究可追溯至1999年，该文发表在Social Science Computer Review上，探讨了运用光谱混合分析（SMA）技术分析人类行为的可行性^［4］。在此后的20多年里，该领域文献数量呈持续增长趋势。2017年起，论文发表速度加快，截至2022年相关论文已达16篇。

对样本文献摘要进行关键词分析后，发现头部高频词包括 image、data、social、content、method、social media、social science、communication、political、people、Instagram等。目前与计算机视觉相关的社会科学研究主要集中于对图像（image）的分析，以Instagram为代表的在线视觉社交媒体是该领域研究的重点。而从human、people和users等高频词也不难看出，与其他社会科学研究一样，该领域关注的核心问题与“人”密切相关，即关注“作为社会成员的人”以及“作为技术使用者的人”。此外，传播学（communication studies）和政治学（politics）两个学科是利用计算机视觉方法较多的两个社会科学学科。

接着，本文对样本文献进行人工编码，包括18 个具体字段（理论和方法两部分）。整个编码过程遵循编码员训练、试编码、一致性检验、编码调整、分歧解决等流程，两位编码员首先分别同时对20篇文献进行编码，以初步确定编码类目；其次独立编码20篇文献，Cohen’s Kappa值显示主要变量的编码员间平均信度为0.85，具有较高的一致性。

（二） 理论概念与研究问题

计算机视觉技术作为一种内容分析工具，在社会科学领域能够发挥何种作用是本文的核心关切。而回答这一问题的关键在于如何将使用新技术工具观测到的数据或材料与已有的概念或理论联系起来，即如何从数据中提取社会意义和发现一般性规律。

1 理论概念

在所选文献中，共有27篇明确提及社会科学理论。本文将这些核心理论概念分为四大类。第一类，视觉效果相关理论。如情感效应（affective effect）、个性化（personalization）、模因论（memetics）等，这些理论侧重于分析图片的媒体效果以及对他人态度和行为的影响（如社交媒体中的用户/受众参与）。第二类，自我认知相关理论。如与视觉呈现特征相关的自我呈现/表露（self-presentation/disclosure）、自我概念（self-concept/identity）等理论。第三类，社会交往相关理论。如社会信息加工（social information processing）、社会互动（social interaction）等，这些理论主要关注影响视觉内容处理和分享的社会性因素。第四类，心理学相关理论。如认知负荷（cognitive load）、大五人格（big five personality traits）等，这些理论主要关注用户内在的心理机制。此外，还有个别研究使用了其他理论概念，如媒介偏见（media bias）等，具体如表2所示。

2 研究目的

本文进一步对文献的研究目的进行归纳。为进一步厘清该领域的学术版图和主要焦点，在人工编码的基础上对每篇文献的研究问题进行归类1

1 篇幅所限，样本文献中研究问题的方向与类型留存备索。

。在研究类别上，根据社会科学对研究问题的基本分类^［5］90-92，将现有研究划分为描述性研究、解释性研究、方法类研究和综述/观点类研究四类。在样本文献中，描述性研究和解释性研究数量最多，均为23篇，前者的特点是研究问题以描述研究对象的特征为主要目的，后者则主要关注不同社会科学概念之间的相关关系或因果关系。

方法类研究和综述/观点类研究分别有17篇和13篇。方法类研究的主要问题是创新研究方法或开发工具，部分研究旨在探讨计算机视觉技术与其他研究方法结合的路径，从而实现方法的创新，如探讨计算机视觉技术的创新抽样方法^［6］及其与问卷调查法^［7］、实验法^［8］和社会网络分析法^［9］相结合的可能性。此外，特定视觉计算技术的创新也被社会科学研究者所关注，如创新多模态内容分析框架^［10］，实现人物表情手势等非语言行为的自动监测分类^［11］或无监督图像分类^［12］，开发计算美学分析工具^［13］、视觉媒体内容中社交角色识别工具^［14］等。

综述/观点类研究旨在回顾该领域有关技术和应用的发展脉络，或就某一问题的观点展开论述。在此类研究中，有的研究系统回顾了计算机视觉技术（如图像分类）在社会科学中的应用方向、技术原理、验证方式^［15-16］；也有研究关注到某类计算机视觉技术在特定社会科学领域的发展历程，如在在线行为研究^{［17］278-291}、互联网模因研究^{［18］133-153}中的发展概况；此外，还有一些研究主要分析了使用计算机视觉技术带来的伦理问题，包括算法的偏见、数据获取等^［19-21］。

3 具体研究方向

就具体研究方向而言，现有研究提出的社会科学问题研究方向大致包括以下四类：政治学（11篇）、媒体传播（16篇）、群体行为（5篇）、区域与人口研究（4篇）。其中，政治学和媒体传播相关方向的研究最多，其中解释性研究占主体地位；群体行为研究和区域与人口研究中，描述性问题与解释性问题的数量基本持平。

第一，在政治学方向的研究问题中，政治传播效果、政治行为分析和政治抗议是解释性研究的三大主题，如探讨政治家个人或者政治媒体机构对选民参与度、政治态度和情绪的影响^［22-23］ ，不同党派、性别和职位与政客自我呈现和其他政治行为的关系^{［15,17,24-25］}，政治抗议图片对政治传播效果的影响^［26-27］等。在描述性研究中，政治学主要关注政治意识形态^［28］、新闻框架^［23］、视觉特征^［29］等问题；在方法类研究中，现有研究侧重于关注从政治广告或投票中自动识别政治元素^［30］以及运动检测技术在政治学中应用的可能性^［31］。

第二，媒体与传播方向的研究问题较为多元，且以解释性研究为主。这类问题主要探讨不同媒介中视觉元素的效果，如社交媒体中视觉元素对社交参与度的影响^［32-33］及其与受众人格特质和偏好之间的关系^［34-35］。在描述性研究中，除了在特定媒体平台上识别和分析微观的视觉元素（如电影中的种族偏见^［36］）外，此类研究还关注不同媒体平台之间图像的流动^［37］以及平台的视觉语法等宏观特征^［38］。

第三，在与群体行为相关的研究问题中，大多数研究借助计算机视觉技术对群体行为进行描述性分析。其主要关注群体互动中每个个体的行为特征（如眼神、姿态、表情等^［39-40］），也有研究采用整体视角，从社交媒体图像^［41］、卫星图像^［4］或监控视频^［42］中识别或分析人类集体行为，如大流行期间的社交距离、人类线下集体行动事件等。在综述类文献中，既往研究详细回顾了使用计算机视觉技术理解和分析人群行为的方法^［43］以及小群体非语言传播的研究脉络^［39］，这些研究能够为该领域研究者提供方法指导和理论启发。

第四，区域与人口研究往往与空间地理和人口统计特征等问题相关，主要概念包括城市地理特征、社会经济特征和人口统计特征。如部分研究借助计算机视觉技术分析城市地理特征（如土地利用和覆盖变化），从而预测自然风险^［44］，也有研究从卫星图像或社交媒体图像中预测某地区的社会经济情况^［45］、人口统计特征（人口结构、年龄结构）^［46］等。

（三） 研究方法：数据获取、变量测量和信度效度检验

本文进一步对样本文献使用的研究方法进行编码分析，主要从数据获取、变量测量和测量结果验证三个方面进行。

1 数据获取：数据来源、数据类型及样本量

根据人工编码结果，在样本文献中共有65篇汇报了数据来源，其中绝大多数明确了视觉数据的具体类型以及样本量。数据来源方面，社交媒体27篇，是最主要的数据来源，其中，Instagram、推特（Twitter）和脸书（Facebook）是常见的三个社交平台；在线网站是另一主要来源，16篇文献占比24.62%，其中新闻类网站、图片类网站、视频类网站是常见的三类网站；11篇研究数据来源于视频录像，其中电视节目、总统辩论、监控视频是三种主要的数据来源类型。此外，地理图像以及在线数据集/在线档案分别为5篇和4篇，前者主要指卫星地图，后者则是现成的数据集或者研究项目数字档案。具体如图2所示。

在数据类型方面，共有60篇样本文献进行了汇报，其中38篇研究将图片数据作为研究对象，22篇使用了视频数据。在样本量方面，图片类样本量的均值为241.95万张，中位数为22 594张，最大值和最小值分别为5 000万张和2张；视频类样本量的均值为15 665个，中位数为1 072个，最大值和最小值分别为130 697个和1个。由此可见，与视频数据相比，图片数据仍是视觉数据的主流，且往往样本量较大，不同研究的样本量具有较大差异。

2 变量测量

（1） 视觉变量的类别。计算机视觉涉及的变量类型较为多样，并且许多变量能够进一步细分为不同的子变量。本文对样本文献中的视觉变量进行归纳，最终将所有变量分为图像整体特征、人像特征、美学特征和其他特征四类，具体如表3所示。

（2） 测量工具的类别及技术。本文通过人工编码，厘清样本文献中视觉变量所采用的测量工具，共66篇文献在论文中提及了测量工具。此前有研究总结了三类技术方向：一是借助开源计算机视觉库或商业平台应用程序接口（API）执行标准化任务，如人脸识别；二是借助机器学习方法，通过有监督或无监督的机器学习，实现分类和聚类等图像处理任务；三是与图像亮度、色彩等属性相关的计算美学分析^［22］。Chen等^［47］认为最常用的方法包括物体识别、地理空间分析、图像使用趋势、图像情感分析；Williams等^［16］将社会科学中常见的计算机视觉应用总结为物体识别、脸部识别/分析/检测以及情感分析三大类。Joo等^［15］则认为图像分类、物体识别、人脸和人物识别（包括人脸检测、人脸识别和人物属性识别）是三种最常见的计算机视觉任务。

本文借鉴上述研究提出的分类方法，在具体编码时分别设置了两类指标：一是分析工具，即使用什么计算工具进行视觉分析，具体包括开源工具、商业平台API和研究者自己开发的工具三类；二是主要技术，即研究主要涉及哪些具体的计算机视觉技术，如物体识别、人脸识别、人脸分析、人体分析等2

2 主要技术的操作化定义：（1）物体识别，指赋予图像一个或者多个总标签的技术；（2）物体检测，指从图像中找到特定物体的技术；（3）图像属性识别，指识别图像视觉属性的技术，如颜色、亮度、构图等；（4）人脸检测，指在图像中找到人脸的技术，属于物体识别的一种；（5）人脸识别，指识别人物身份的技术；（6）人物属性识别，指识别人口统计学特征、人脸表情、人体动作等相关的技术；（7）地理空间分析，指识别图像地理空间特征的技术，如建筑类型、人口密度等；（8）图像聚类，指自动实现图像分类的技术；（9）文字识别，指从图像中提取文字信息的技术；（10）图片相似性识别，指识别多张图片相似度的技术，可用于图像检索；（11）边缘检测，指提取特定物体边缘的技术；（12）图像暴力分数识别，指识别图像暴力程度的技术。

，最终的编码结果如表4所示。

由表4可知，开源工具是样本文献使用最多的技术工具（30篇）。其大致可以分为开源软件、开源代码及Python库三类，其中Python库也可归为开源代码，但由于其占比较大，本文将其单列一类，由此也可以看出Python已成为社会科学研究者运用计算机视觉工具时的主要语言。此外，21篇文献使用商业平台API进行计算机视觉分析，其中最常使用的是Google Vision API、Face++和Microsoft Azure Computer Vision API。与开源工具和商业平台API相比，使用研究者自己开发工具的研究数量较少（14篇）。从涉及的主要技术数量来看，开源工具和研究者自己开发工具的研究总体能够实现更加多样的分析，而商业平台API的技术范围较为有限。

三 计算社会科学视域下计算机视觉研究的反思与展望

计算机视觉技术与社会科学的结合是一个方兴未艾的研究领域。总体而言，计算机视觉技术具有补充和创新现有社会科学理论从而回答重要研究问题的潜力。与其他社会科学研究一样，该领域关注的核心问题仍然与“人”密切相关，即关注“作为社会成员的人”以及“作为技术使用者的人”。因此，社会科学家应当主动拥抱计算机视觉这一“方法利器”，为解决人类社会的基本问题助力。尽管这一交叉领域的迅速发展令人感到兴奋，但也存在着诸多局限性，本文从以下四个层面对该领域的未来发展进行深入反思。

（一） 计算机视觉研究为中国社会科学跨学科研究带来的新契机

计算机视觉研究不仅给传统的社会科学学科提供了新的数据支持，更重要的是，该方法为中国社会科学跨学科研究带来了新的发展机遇。笔者认为，以下几个问题是当前中国社会科学领域亟待解决又充满前景的交叉学科研究问题。

第一，传播学+政治学交叉领域的多模态舆论研究。多模态舆论研究指利用多种媒介形式（如图像、视频、文本等）对公众意见进行探究。视觉研究技术能够实现对基于短视频社交媒体用户自创的图像和视频的大规模分析，实现探究情绪、身体姿势、注视、服饰、话语情境等非语言符号对受众的情绪动员作用及其舆论生成表达机制。

第二，城市管理+信息技术+环境学交叉领域的智慧城市研究。计算机视觉技术用于分析城市公开视频与图像，从而进行城市设计、管理与规划研究。如利用公共交通数据进行交通管理以缓解交通拥堵；利用公共监控数据预测热点事件的人群数量以提前进行流量控制；利用谷歌街景图片数据监督城市安全性并探讨犯罪学的“破窗效应”；利用社交媒体中带有地理位置的图片、视频描述和优化地区的景观规划，等等。

第三，心理学+社会学交叉领域的性别研究。利用社交媒体中的海量图片，计算机视觉方法能够将海量数据与其语境勾连起来，从而理解性别的构建、表达和影响；研究性别在不同历史、地理、社会和文化背景下的变化和演变；探究性别身份认同及其对中国社会文化和政治等层面的影响和建构。

（二） 社会科学视域下计算机视觉研究的理论化困境

通过上述回顾发现，计算机视觉技术与社会科学理论的结合仍然存在壁垒。这表现为已有研究多基于既往非视觉变量进行视觉层面的新测量和再分析，而在理论建树方面较弱。在理论贡献层面，既有研究大多停留在简单提及相关理论或将理论作为基本分析框架，而缺乏对理论的比较、批评、再次检验、整合、推演以及对理论边界条件的审视。

造成上述理论化困境的原因有两点。第一，如前文所述，计算机视觉技术不具备社会科学的“基因”，因此往往止步于对相关低维概念的分析（如性别、年龄、种族、人脸表情特征等）。从内容分析的角度来看，上述低维概念多为可计量的显性内容^［6］，具有较强的客观性，但往往会使得量化内容分析研究流于琐碎、肤浅，缺乏深度和意义。换言之，低维视觉变量与社会科学重要概念之间的勾连还存在较大差距，因而对社会科学的理论贡献往往也很有限。第二，计算机视觉技术本质上是用于“描述”现象的数据分析技术，而社会科学工作的重要目标是“解释”与“阐释”。换言之，计算机视觉技术当前还未能服务于社会科学的重要研究目标。

计算机视觉研究在社会科学领域能否获得学术生命力的重要标准在于其能否推进相关领域的知识积累与理论创新，即从视觉材料中进行推断，解决有重要理论意义的社会科学研究问题^{［48］52-53}。以下两种途径是解决理论化困境的可能出路：

第一，使用新技术将观测到的低维概念与社会科学已有高维概念理论联系起来。社会科学中的很多概念属于高维概念，这样的概念往往主观性较强，可计量性较低。如何将低维变量的测量与社会科学高维、隐性概念相结合，是当前社会科学视域下计算机视觉研究需要解决的问题之一。从研究实践的角度而言，视觉变量的测量与社会科学概念结合的方式主要有三类：一是研究者利用计算机视觉技术，从视觉数据中自动提取特征，将其与基准真相关联，通过提取一些非语言特征（如微笑），将其与高阶的推断相关联（如友好人格的测量）^［49］，这个过程被称作专家驱动的方式^［50］；二是借助有监督机器学习技术实现推断，即根据预先人工标注的数据进行模型训练，最终实现对图像的分类，专家驱动方式和有监督机器学习本质上都是演绎的逻辑，即预先设定理论类别，然后将其与所分析的视觉变量关联起来；三是无监督机器学习，即在没有预先定义的前提下，借助机器实现类别的自动划分，这种方法能够帮助研究者探索数据中隐藏的规律，因而能够在大规模的归纳分析中发挥作用^［51］。

第二，计算机视觉技术服务于社会科学“解释”与“阐释”的研究目标。研究者构建新理论，可以通过对经验事实、模式的归纳，来回答“机制”问题，即研究自变量对因变量的作用机制。视觉数据具有精准、历时性和个人化特征，因而具备回答“机制”问题的天然优势。例如，研究者利用海量视频数据，通过匹配等技术手段来严格控制干扰变量，从而探究关键自变量在历时性时间轴中如何作用于因变量。视频数据的历时性还能够被用来进一步分析重要的中介变量在时间维度中是如何被自变量影响，进而影响因变量的。此外，结合在线实验等方法，研究者能够利用组间比较来更严谨地检验因果关系和自变量对因变量的作用机制。

（三） 视觉变量测量的信度与效度

在研究方法方面，本文发现社交媒体是最主要的数据来源，图片数据仍是视觉数据的主流，且往往样本量较大。视觉变量的类型主要有图像整体特征、人像特征、美学特征和其他特征四类。在测量方法方面，开源工具、商业平台API和研究者自己开发的工具是三类主要分析工具，其中具体包括12种视觉分析技术。与研究者自己开发的工具相比，开源工具和商业平台API整体而言准确率较低。此部分重点对视觉分析的关键原则——变量测量的信度和效度^［52］进行深入讨论。

信度检验，即对同一现象重复测量时，所得到结果一致性的高低程度。在本研究的样本文献中，16篇文献在模型判断时使用了交叉验证的方式，也有部分研究通过与其他计算机视觉工具结果的比较进行判断。在评价指标的选择上，信度检验会随着具体任务的区别有所不同，本文所统计文献中常见的指标有准确率（accuracy）、F1分数、查全率（recall）、查准率（precision）、科恩卡帕（Cohen’s kappa）系数κ、克里彭多夫（Klaus Krippendorff）系数α等。

效度检验，即测量工具能够准确测出所需测量事物的程度。效度检验方式可以分为两种。一是将外部数据作为基准真相，具体方式包括独立于算法结果进行人工编码、使用现成的社会数据（如专业数据库、问卷调查数据等）计算外部数据和计算机视觉测量结果的一致性，这类方法常见的检验指标有皮尔逊相关性系数以及回归方程R²。二是直接判断算法编码结果是否准确，即对计算机视觉测量结果进行人工判断，然后计算准确率等相应指标。

然而，现有研究的信度效度检验存在以下缺陷：其一，信度效度检验方法的报告不够完整，其检验程序不规范；其二，研究者对涉及的信度效度相关指标缺乏共识。上述缺陷缘于不同计算机视觉任务存在天然区别（如视频的分类和回归问题、有监督和无监督学习的不同技术逻辑问题等），因而使用的评价指标也有所差异。此外，不同视觉测量工具对硬件设备、专业知识、训练数据等方面的要求不同，其效果也自然有所差异。与此同时，社会科学家利用计算机视觉技术分析视觉变量，也在不同程度上存在技术壁垒。对于作为计算机视觉工具的“使用者”而非“生产者”的社会科学家而言，个性化的分析任务需要大量人工标注数据^［4］，从头开始训练新的模型、开发新的软件不切实际。因而社会科学家更依赖操作难度较低的商业平台API工具，其优势在于标准化和简单化。标准化主要体现在这类现成的工具往往为解决一些通用的应用问题而开发，因此能够较好地用于部分常规视觉变量的分析^［36］；简单化则体现在它们对专业技术的要求较低，多数情况下对算力系统和数据的要求较低，可以在不依赖强大的服务器和精准的训练数据的前提下，实现高效简单的计算机视觉分析。然而，标准化也意味着其可实现任务种类的局限性^［53］。虽然部分商业平台API提供了模型定制方法，但无法避免其算法原理的“黑盒”问题，由此使得研究结果的信度效度受到影响^［3］。

鉴于此，本文提出如下建议以提升视觉变量测量的信度和效度。首先，借助开源工具实现个性化任务。目前，在深度学习领域，一个行之有效的解决方案是使用预训练模型进行迁移学习，将计算机科学家训练好的开源模型“为我所用”。然而，这些工具能否与学界关注的研究相匹配仍是问题。因此，对不同预训练技术基本原理的了解、掌握必不可少。例如，要对预训练模型使用的数据集特点充分了解，从而判断其是否适合“迁移”到自己的数据上来，同时需要对预训练模型算法的基本结构有所掌握^［34］。其次，对已有模型进行微调，使其与研究问题更加适配^［54］。此外，作为计算机视觉技术和社会科学的交叉领域，研究者不可避免地会使用到计算机科学和社会科学的双重话语体系。因此，在执行研究任务时，社会科学家需要具体问题具体分析，同时做到“求同存异”，在使用正确的计算机模型验证方法的同时，尽量与自身领域较为成熟的指标相结合。

（四） 视觉数据获取和使用的伦理问题

计算机视觉研究中的伦理问题未被研究者重视。在本研究的样本文献中，仅有不到20%对研究过程中的伦理问题进行了汇报，不到5%的文献采取并公布了数据保护措施。伦理问题主要包括数据获取阶段的用户隐私和数据版权、数据分析阶段的算法偏见以及数据存储过程中的数据保护等。一般而言，在数据获取阶段，社会科学家需要获得知情同意，在数据采集过程中遵循数据隐私保护条例（如欧盟《通用数据保护条例》和《中华人民共和国个人信息保护法》）。然而，大规模的视觉数据往往很难获取所有用户的知情同意，因而符合数据平台隐私政策和服务协议（TOS）至关重要。就数据分析阶段而言，社会科学研究中需要尽量避免算法偏见，即社会科学家在使用算法时需要避免“拿来主义”，在充分了解算法原理的基础上评估训练数据中原生的偏见风险。

参考文献

[1] SZELISKI R. Computer vision： algorithms and applications［M］. New York：Springer Nature， 2022.

[2] LECUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444.

[3] 官璐， 周葆华. 计算机视觉技术在新闻传播研究中的应用［J］. 当代传播， 2022（3）： 20-26.

[4] SCHWEIK C M， GREEN G M. The use of spectral mixture analysis to study human incentives， actions， and environmental outcomes［J］. Social Science Computer Review， 1999， 17（1）： 40-63.

[5] BABBIE E R. The practice of social research［M］. Boston： Cengage Learning， 2020.

[6] LAU C Q， UNANGST J， ECKMAN S， et al. A comparison of geosampling and random walk methods for household sample selection in Uttar Pradesh， India［J］. International Journal of Public Opinion Research， 2021， 33（4）： 1062-1073.

[7] BOSCH O J， REVILLA M， PAURA E. Answering mobile surveys with images： an exploration using a computer vision API［J］. Social Science Computer Review， 2019， 37（5）： 669-683.

[8] BIRNHOLTZ J P， RANJAN A， BALAKRISHNAN R. Using motion tracking data to augment video recordings in experimental social science research［J］. E-Social Science， 2007：18157121.

[9] GEBOERS M A， VAN DE WIELE C T. Machine vision and social media images： why hashtags matter［J］. Social Media + Society， 2020， 6（2）： 1-15.

[10] WU P Y， MEBANE JR W R. MARMOT： a deep learning framework for constructing multimodal representations for vision-and-language tasks［J］. Computational Communication Research， 2022， 4（1）： 275-322.

[11] JOO J， BUCY E P， SEIDEL C. Automated coding of televised leader displays： detecting nonverbal political behavior with computer vision and deep learning［J］. International Journal of Communication，2019，13：4044-4066.

[12] ZHANG H， PENG Y. Image clustering： an unsupervised approach to categorize visual data in social science research［J］. Sociological Methods & Research，2022：1-54.

[13] PENG Y.Athec： a Python library for computational aesthetic analysis of visual media in social science research［J］. Computational Communication Research， 2022， 4（1）： 323-349.

[14] BALDWIN J， SCHMÄLZLE R. A character recognition tool for automatic detection of social characters in visual media content［J］. Computational Communication Research， 2022， 4（1）： 350-371.

[15] JOO J， STEINERT-THRELKELD Z C. Image as data： automated content analysis for visual presentations of political actors and events［J］. Computational Communication Research， 2022， 4（1）： 11-67.

[16] WILLIAMS N W， CASAS A， WILKERSON J D. Images as data for social science research： an introduction to convolutional neural nets for image classification［M］. Cambridge： Cambridge University Press， 2020.

[17] SCHWEMMER C， UNGER S， HEIBERGER R. Automated image analysis for studying online behaviour［M］//SKOPEK J. Research handbook on digital sociology. London：Edward Elgar Publishing， 2023.

[18] FORSTALL C W， SCHEIRER W J. Quantitative intertextuality： analyzing the markers of information reuse［M］. New York：Springer， 2019.

[19] SMITS T， WEVERS M. The agency of computer vision models as optical instruments［J］. Visual Communication， 2022， 21（2）： 329-349.

[20] GEHL R W， MOYER-HORNER L， YEO S K. Training computers to see internet pornography： gender and sexual discrimination in computer vision science［J］. Television & New Media， 2017， 18（6）： 529-547.

[21] VAN NOORDEN R. The ethical questions that haunt facial-recognition research［J］. Nature， 2020， 587（7834）： 354-359.

[22] PENG Y. What makes politicians’Instagram posts popular？Analyzing social media strategies of candidates and office holders with computer vision［J］. The International Journal of Press/Politics， 2021， 26（1）： 143-166.

[23] PENG Y. Same candidates， different faces： uncovering media bias in visual portrayals of presidential candidates with computer vision［J］. Journal of Communication， 2018， 68（5）： 920-941.

[24] HAIM M， JUNGBLUT M. Politicians’self-depiction and their news portrayal： evidence from 28 countries using visual computational analysis［J］. Political Communication， 2021， 38（1/2）： 55-74.

[25] NEUMANN M， FRANKLIN F E， RIDOUT T N. Body language and gender stereotypes in campaign video［J］. Computational Communication Research， 2022， 4（1）： 254-274.

[26] ROSSI L， NEUMAYER C， HENRICHSEN J， et al. Measuring violence： a computational analysis of violence and propagation of image tweets from political protest［J］. Social Science Computer Review， 2023， 41（3）： 905-925.

[27] STEINERT-THRELKELD Z C， CHAN A M， JOO J. How state and protester violence affect protest dynamics［J］. The Journal of Politics， 2022， 84（2）： 798-813.

[28] XI N， MA D， LIOU M， et al. Understanding the political ideology of legislators from social media images［C］. The Proceedings of the International AAAI Conference on Web and Social Media， 2020.

[29] LU Y， PAN J. The pervasive presence of Chinese government content on Douyin trending videos［J］. Computational Communication Research， 2022， 4（1）： 68-97.

[30] SCHMOKEL R， BOSSETTA M. FBAdLibrarian and Pykognition： open science tools for the collection and emotion detection of images in Facebook political ads with computer vision［J］. Journal of Information Technology & Politics， 2022， 19（1）： 118-128.

[31] DIETRICH B J. Using motion detection to measure social polarization in the US house of representatives［J］. Political Analysis， 2021， 29（2）： 250-259.

[32] HU X， HE L， LIU J. The power of beauty： be your ideal self in online reviews： an empirical study based on face detection［J］. Journal of Retailing and Consumer Services， 2022， 67： 102975.

[33] KIM H， STEPCHENKOVA S. Effect of tourist photographs on attitudes towards destination： manifest and latent content ［J］. Tourism Management， 2015， 49： 29-41.

[34] KIM Y， KIM J H. Using computer vision techniques on Instagram to link users’personalities and genders to the features of their photos： an exploratory study［J］. Information Processing & Management， 2018， 54（6）： 1101-1114.

[35] BURDICK L， MIHALCEA R， BOYD R L， et al. Analyzing connections between user attributes， images， and text ［J］. Cognitive Computation， 2021， 13（2）： 241-260.

[36] MALIK M I， HOPP F R， WEBER R. Representations of racial minorities in popular movies［J］. Computational Communication Research， 2022， 4（1）： 208-253.

[37] D’ANDREA C， MINTZ A. Studying the live cross-platform circulation of images with computer vision API： an experiment based on a sports media event［J］. International Journal of Communication， 2019， 13： 1825-1845.

[38] OMENA J J， RABELLO E T， MINTZ A G. Digital methods for hashtag engagement research［J］. Social Media+ Society， 2020， 6（3）： 1-18.

[39] GATICA-PEREZ D. Automatic nonverbal analysis of social interaction in small groups： a review［J］. Image and Vision Computing， 2009， 27（12）： 1775-1787.

[40] SETTI F， RUSSELL C， BASSETTI C， et al. F-formation detection： individuating free-standing conversational groups in images［J］. PLoS One， 2015， 10（5）： e0123783.

[41] ZHANG H， PAN J. Casm： a deep-learning approach for identifying collective action events with text and image data from social media［J］. Sociological Methodology， 2019， 49（1）： 1-57.

[42] BERNASCO W， HOEBEN E M， KOELMA D， et al. Promise into practice： application of computer vision in empirical research on social distancing［J］. Sociological Methods & Research， 2021， 52（3）： 1239-1287.

[43] AZIZ M W， NAEEM F， ALIZAI M H， et al. Automated solutions for crowd size estimation［J］. Social Science Computer Review， 2018， 36（5）： 610-631.

[44] ZGHEIB T， GIACONA F， GRANET-ABISSET A-M， et al. One and a half century of avalanche risk to settlements in the upper maurienne valley inferred from land cover and socio-environmental changes［J］. Global Environmental Change， 2020， 65： 102149.

[45] JEAN N， BURKE M， XIE M， et al. Combining satellite imagery and machine learning to predict poverty［J］. Science， 2016， 353（6301）： 790-794.

[46] GEBRU T， KRAUSE J， WANG Y， et al. Using deep learning and Google street view to estimate the demographic makeup of neighborhoods across the United States［J］. Proceedings of the National Academy of Sciences， 2017， 114（50）： 13108-13113.

[47] CHEN Y， SHERREN K， SMIT M， et al. Using social media images as data in social science research［J］. New Media & Society， 2021，25（4）：849-871.

[48] RIFFE D， LACY S， FICO F， et al. Analyzing media messages： using quantitative content analysis in research［M］. London： Routledge， 2019.

[49] RENIER L A， SCHMID MAST M， DAEL N， et al. Nonverbal social sensing： what social sensing can and cannot do for the study of nonverbal behavior from video［J］. Frontiers in Psychology， 2021， 12： 606548.

[50] ARAUJO T， LOCK I， VAN DE VELDE B. Automated visual content analysis （AVCA） in communication research： a protocol for large scale image classification with pre-trained computer vision models［J］. Communication Methods and Measures， 2020， 14（4）： 239-265.

[51] SCHMIEDEL T， MÜLLER O， BROCKE J VOM. Topic modeling as a strategy of inquiry in organizational research： a tutorial with an application example on organizational culture［J］. Organizational Research Methods， 2019， 22（4）： 941-968.

[52] GRIMMER J， STEWART B M. Text as data： the promise and pitfalls of automatic content analysis methods for political texts［J］. Political Analysis， 2013， 21（3）： 267-297.

[53] STIPANCIC J， ZANGENEHPOUR S， MIRANDA-MORENO L， et al. Investigating the gender differences on bicycle-vehicle conflicts at urban intersections using an ordered logit methodology［J］. Accident Analysis & Prevention， 2016， 97： 19-27.

[54] PREVITALI M， VALENTE R. Archaeological documentation and data sharing： digital surveying and open data approach applied to archaeological fieldworks［J］. Virtual Archaeology Review， 2019， 10（20）： 17-27.