基于人工智能的物理-网络空间社交关系理解研究综述

A Review of Artificial Intelligence-Based Research on Understanding Social Relationships in Physical-Cyberspace

摘要

人与人通过社会互动产生社交关系，从而形成复杂的社交网络.对社交关系进行全面理解是揭示人类行为模式和社会结构的关键. 在“物理-网络空间”共生的新时代，基于多模态数据从物理空间及网络空间对社交关系进行挖掘并分析，是精准理解“物理-网络空间”社交关系、揭示网络时代人类社会交互规律的重要途径，在计算机与社会学学科的交叉融合领域具有重要应用前景. 物理空间的社交关系理解主要通过真实场景成像数据的显式视觉特征信息识别空间中行为主体间的社交关系；网络空间中的社交关系理解则侧重于从网络社交媒体数据中提取社交网络结构，以分析网络空间中行为主体间存在的交互关系及可能产生的关系链接.从物理空间及网络空间两个角度对社交关系理解研究进行详细分析：在基于多模态数据的物理空间社交关系识别研究中，按照社交关系类型划分为主观识别和客观识别对现有方法进行讨论，同时介绍相关数据集；在基于社交媒体数据的网络社交关系预测研究中，从链接预测和交互预测两个方向对研究进展及趋势进行阐述. 最后对社交关系理解的实际应用领域和未来发展方向进行讨论.

Abstract

Human beings generate social relationships through social interactions， thus forming complex social networks. A comprehensive understanding of social relationships is crucial for revealing patterns of human behavior and the structure of society. In the new era of coexistence between physical and cyberspace， mining and analyzing social relationships from both physical and cyber spaces based on multimodal data is an important approach to accurately understand social relationships in the “physical-cyberspace” and to uncover the interaction patterns of human society in the digital age. This approach holds significant application prospects in the interdisciplinary field of computer science and sociology. Understanding social relationships in the physical space primarily relies on the explicit visual feature information from real-world imaging data to identify social relationships among actors in the space. In contrast， understanding social relationships in cyberspace focuses on extracting social network structures from online social media data to analyze the existing interactions and potential relationship links among actors in the cyber space. This paper provides a detailed analysis of social relationship understanding from both physical and cyber space perspectives. In the research on physical space social relationship recognition based on multimodal data， existing methods are discussed according to the type of social relationship， divided into subjective and objective recognition， and relevant datasets are introduced. In the research on cyber social relationship prediction based on social media data， research progress and trends are elaborated from the two directions of link prediction and interaction prediction. Finally， the practical application fields and future development directions of social relationship understanding are discussed.

Graphical abstract

关键词

社交关系 / 社交关系理解 / 社交关系识别 / 社交关系预测 / 在线社交网络

Key words

social relationships / social relationship understanding / social relationship recognition / social relationship prediction / online social networks

社交关系是社会科学研究中一个重要且复杂的概念，它指的是人与人之间通过互动、沟通和交流所形成的联系，涉及对象覆盖未成年人、成年人（含青年、中年、老年）全年龄段人群.社交关系建立不仅涉及个体的情感和认知交流，还包括行为互动和信息传递. 这一过程既可以通过物理空间中的面对面对话等交互行为实现，也能通过网络空间中的线上平台互动来完成^［1-2］.物理空间和网络空间共同承载了当今网络时代社交关系的建立和演变.

高质量的社交关系不仅能够提供情感支持，帮助个体应对生活中的压力和挑战，提升心理健康水平，还能为个体提供更多的信息和资源，促进学业、职业发展和个人成长.研究表明，拥有良好社交关系的个体通常具有更高的生活满意度和幸福感^［3］.在社会层面，个体和群体通过社交建立信任，促进合作与信息交流，从而增强社会凝聚力^［2］；在教育层面，营造良好的社交物理及网络空间以提高学生的社会交往能力是中小学、高校培养人才的重要环节^［4-5］. 因此，理解社交关系形成、维持的影响因素以及发现潜在社交关系，对揭示各年龄段人类行为模式和剖析社会结构具有重要意义，是社会科学、心理学与计算机科学交叉研究领域的焦点.

随着数字时代的到来，信息越来越多元化，物理空间中的社交关系被越来越多地反映在文字、声音、图片和视频等多媒体信息中；网络空间中的社交关系则体现在各类社交媒体等网络数据中. 通过对多模态数据蕴含的社交关系进行有效识别是人工智能理解社交关系的重要途径. 截至2023年12月，我国网民人数达10.92亿^［6］，形成了庞大的用户关系网络，社交媒体平台不仅为人们提供了便捷的沟通方式，也产生了海量的用户数据. 这些数据中蕴含着丰富的社交关系信息，为人工智能理解网络空间的社交关系提供了有效资源. 在此条件下，大量研究者以社会学理论为支撑，应用人工智能技术开展社交关系理解研究，根据任务侧重点不同，分为基于物理空间多模态数据的社交关系识别和基于网络空间数据的社交关系预测两类：前者侧重于从以视觉交互特征为主体的多模态数据中检测社交关系；后者则侧重于从社交媒体数据中提取网络结构，揭示和分析潜在的社交关系.

本文从基于多模态数据的社交关系识别和基于社交媒体数据的社交关系预测两个维度对社交关系理解的方法、效果、应用情况及未来发展方向等方面进行详细阐述.

1 理论基础和研究进展

1.1 社交关系相关的社会学理论基础

在社会学领域，社会互动是指社会上个体和个体、个体和群体、群体和群体之间通过信息的交换和传递而发生的具有双向依赖性的社交活动，也被称为“社会交往活动”或“社会相互作用”；它是社交主体之间为了满足特定场景下的某种需求，进行相互沟通和了解，从而在多个社会领域中产生有关联的社会性行为^［7］，并动态影响个体的心理、行为层面.通过社会互动，个体间会产生各类交互关系，这些关系被划定在不同种类的社会域中，每个社会域具有独特的时序特征和社会信息，不同社会域中的互动方式和个体的行为特点也存在显著差异^［8］.因此，要深入研究社交关系，首先应该结合社交互动理论，明确社交关系的定义和分类.

社交关系是指个体之间的联系（包括情感、认知、行为等多维度的互动），既可以在面对面的真实场景中产生，也可以通过在线社交媒体、电话、邮件等非面对面方式进行，以适应不同情境需求^［9］.社交关系建立在一定的社交互动基础上，通常具有如下特性：1） 以信息传播为基础，通过语音、文字、图像等形式传播信息，实现相互间的连接和交流；2）具有情景依赖性，社会互动往往是在具有特殊意义的场景下产生的，面对不同定义下的时空场景，相同的行为可能会蕴含不同的意义，所反映的社交关系也有所不同；3）人们在特定社交环境中，其互动往往遵循一定的行为模式，其互动结构受社交场合、目的、参与者关系等多种因素的影响，决定了人与人之间相互作用的方式和互动效果._.

1.2 社交关系理解研究概况

当前物理空间中的社交关系识别研究主要依赖于以视觉信息为主的多模态数据挖掘，早期方法侧重于手工提取交互特征并应用传统机器学习进行分类，但这些方法难以捕捉全局结构信息，限制了对复杂互动过程的识别效果. 近年来，研究者们大量利用深度学习方法来捕捉图像、视频中的社交关系，并结合行为信息以提高识别精度.随着社交网络演进，利用社交媒体中用户间的传播信息和用户行为等社交网络数据进行关系预测，成为了社交关系理解的一大主流研究方向. 研究涉及产品评论网络、移动用户网络、邮件通信网络、学术引文网络等非视觉社交信息，并通过计算机技术挖掘、探索社交形成机制和预测潜在交互关系.图1为基于多媒体数据的社交关系理解及基于社交媒体数据的网络空间社交关系理解的示意图.

1.2.1 基于多模态数据的社交关系理解

随着多媒体技术的快速发展，以图像和视频为主的数字资源逐渐成为人们传播信息、记录生活的主要载体. 通过计算机视觉技术有效识别和分析图像和视频中存在的人物交互行为，可以更精准、全面地理解社交关系. 这包括对人物属性、场景语义等信息的提取和分析，以及利用深度学习等方法进行模型训练和关系检测.

传统的社交关系理解研究大部分集中在静态图像的人物关系识别，主要根据图片数据对人物关系的亲密度进行分析^［10］.也有研究学者关注关系抽取及推断方面，从人物姿态特征、脸部表情、空间信息等方面对人物关系进行推理^［11］.

相较于静态图片，动态的视频数据中包含了更丰富的多模态信息，融合多模态信息的社交关系识别、分析更有利于对社交关系的全面理解. 传统方法利用视频数据进行社交关系识别网络构建，常用模式匹配的方法，利用人物在视频画面中的共现性，即人物是否在同时刻共同存在来判断社交关系是否建立^［12］，也有研究者将视觉概念中的动作、物体和个体属性等语义信息纳入研究，推测出个体的社交角色和互动形式^［13］ .近年来，新兴的图神经网络被应用于社交关系识别^［14-15］.此外，视频数据具有多模态的属性，可以提供不同的线索和特征来刻画人物间的社交关系，因此现有研究也有通过提取多模态特征并改进社交关系识别的神经网络模型结构以获得更好的识别效果^［16-20］.

1.2.2 基于社交媒体数据的社交关系理解

人们在网络空间中传递的各类信息、用户之间持续的交流互动、通过互动产生的个体间社交关系，形成了庞大的数据，并被存储在社交网络中.

无所不在的社交网络和巨大规模的社交数据为计算机学习用户之间的交互模式以理解不同网络下的动态机制提供了机遇.近年来，不少研究者利用网络社交数据对社交关系的形成机制进行研究^［21］. 从计算机技术的角度，当前基于网络空间中社交媒体数据的社交关系理解研究可归纳为社交关系链接预测及关系交互预测研究两大类.社交关系链接预测即通过已有社交网络中的关系链接，预测和推荐未知的链接，常见的方法主要有相似性度量法、矩阵因子分解法以及图模型构建法等^［21-26］.其中相似性度量法最为常见，一般通过计算社交网络节点（社交网络用户）间的相似性来推断关系链接的可能性，若节点间的相似值越高则表示可能产生链接的概率越大.随着研究的深入，越来越多社交网络的特征、属性也逐步被纳入考虑.矩阵因子分解方法则是将社交网络以矩阵的形式分解，然后通过谱图变换及非对角线矩阵分解等方式来进行关系链接预测^［26］.此外，也有很多研究者提出了基于概率图模型的方法来进一步挖掘网络中的信息进行关系链接预测，典型的模型包括局部概率图模型、随机游走模型、动态潜在特征传播模型等^［27-29］. 在关系交互预测方面，当前研究聚焦于分析社交网络中用户间交互关系的形成原因以及对用户社交网络演化的进一步影响，即主要讨论单向关系是如何演化为双向关系的，这段关系的形成又会对整个社交网络产生哪些影响.在预测方法上，大多数研究重点关注社交媒体中的回粉行为，利用三元组因子图模型、SVM以及逻辑回归等方法实现关系的交互预测，取得一定的研究成果^［30-35］.

除上述两个方面的研究外，也有少数研究人员基于社交网络数据进行社交关系强度分类研究^［36］：以关系中的双方在这段关系中所花费时间以及亲密度测算双方交互的频率和持续时间等来作为强度量化指标；通过贝叶斯、逻辑回归等算法将网络中的社交关系强度分为强、弱以及临时社交关系3类，为社交媒体中深层次的社交关系理解研究提供有力支持.

2 基于多模态数据的社交关系理解

基于多模态数据社交关系理解广义上可分为客观关系和主观关系的识别，如图2所示.主观社交关系识别主要基于个体对他人情绪的感知和理解，通过面部表情等特征识别出人与人之间的关系，可以分为支配型、信任型、竞争型、热情型、敌对型、依附型等. 客观社交关系识别更关注基于身份、角色等客观因素建立的关系，不依赖于特定行为或情绪状态，常见的类型有亲属（父母、兄弟姐妹、子女）、朋友、同事、邻里关系等.

本文中的社交关系识别又根据现有研究中常见的数据模态类型分为基于图片数据以及基于视频数据两类展开阐述.

2.1 主观社交关系识别

2.1.1 基于图片数据的主观社交关系识别

一直以来都有众多研究者在利用海量图片数据来探索人物之间的社交联系.早期研究集中于对关系亲密度的判断.近年来，研究者们开始从姿态特征、人脸表情、空间信息等多个方面对人物关系进行抽取和推理.Zhang等^［11］关注如何通过人脸图像数据进行细粒度和高级关系特征的表征量化，基于面部表情数据提出了一个多任务网络，用于提取年龄、性别、头部姿态等潜在的个体属性信息，并融合表情识别网络构建连体模型，实现细粒度的社交关系预测.Yan等^［14］提出了一种直接从人脸图像中学习判别特征的语义三流网络（STN），采用语义增强结构从人脸原始图像中提取丰富的语义特征用于社交关系识别. 社交网络的本质是一种图结构，人作为图中节点，连接节点的边表示社交关系.随着深度学习的不断发展，一些研究开始利用深度图模型进行社交关系的识别.Li等^［15］提出了一种图神经网络（GR²N），将图像视为独立的样本而不是人物对，充分利用关系的强逻辑约束，在每张图像上执行社交关系推理.Gao等^［13］基于像素、位置和空间场景线索的多尺度特征，并采用高阶图神经网络绘制人际关系图，实现精度均值以上的社交关系识别效果. Guo等^［37］考虑到了社交关系图结构中上下文信息间存在的高阶约束，采用注意力机制聚合三角约束的特征来迭代推理社交关系，并引入节点对比学习更好地表示社交关系特征信息.

综上所述，基于图片信息的方法在社交关系识别上取得了一定成就.然而社交互动的本质是多维度和复杂的，仅依靠单一的图片信息难以全面捕捉更多深层次的特征信息，从而限制了社交关系识别的效果.

2.1.2 基于视频数据的主观社交关系识别

相较于静态图片，动态的视频数据中的动作和富含的多种模态信息为社交关系识别提供了更全面的社交关系推理线索，基于多模态数据（图像、音频、文本等）的社交关系识别成为研究的新趋势.

针对主观关系，现有研究具有类似的研究策略：采用不同的深度学习框架，利用人脸表情和其他异构属性之间的内在对应关系，来捕捉视频中的人物社交关系.Lv等^［38］基于ConvNet架构提出了一种多流模型，充分挖掘视频信息和音频信息来学习主观社交关系的线索.Liu等^［39］关注到关键人物在时空位置上的随机性，不一定会在同一场景中共现的问题，提出了一种多尺度时空推理框架（MSTR）来充分挖掘时空、场景、人物信息之间的交互，在时空维度上全面推理视频中与社交关系相关的多尺度动作和故事线. 此外，也有学者提出利用视觉、音频和文本的多模态信息识别主观社交关系. Gao等^［40］将视频片段中交互角色间的情感关系进行了粗细粒度的分级，并利用一种基于同步模态-时间注意力单元的多模态信息融合方法进行关系识别.粗粒度的情感关系包括积极、中性和消极，而细粒度包括敌对、紧张、温和、亲密和中性，并构建了名为ERATO的新数据集，其包含31 182个视频片段，总时长203 h.

以上大多数方法主要侧重于通过检测社交角色的相互作用或独立推断社交角色以预测出每种社交关系，无法直接学习所有的社会关系.基于此，Teng等^［41］提出了社交角色和关系联合的学习框架，以视频语义信息和关系之间的逻辑关联为线索，实现视频中涉及的所有社会关系和角色对的同时推断.

2.2 客观社交关系识别

2.2.1 基于图片数据的客观社交关系识别

基于静态图片信息的客观社交关系识别研究集中开展于PIPA和PISC数据集上.Sun等^［42］采用社会域理论提出的社交关系分析框架，将社交关系按照5个社会域进行分类，构建PIPA数据集，并基于双流CaffeNet网络和分类算法来识别16种人物关系类型.Li等^［43］利用社会背景人物数据并按照关系模型理论构建了具有分层社会关系类别的PISC数据集，区分了粗粒度关系（亲密、非亲密和无关系）和细粒度关系（商业、夫妻、家庭、朋友和无关系）.

目前大多数研究是在相对简单场景下进行关系推理，Tang等^［44］考虑到了社交关系的主次之分，首先增强主要社交关系成分推理，并提出了一种新的对比学习算法，用次要的关系类型补充主要关系，用移窗变换提取交互人际关系特征和局部-全局特征，实现复杂场景下的逻辑约束探索. 为达到更好的识别效果，研究者们开始融合不同类型、多种尺度的特征进行社交关系识别研究.人们进行交互时所处的场景蕴含高层次的场景语义特征信息，也是社交关系识别的重要线索之一.Qing等^［45］考虑了交互场景与人人交互动作之间的关联，提出了一种结合场景语义特征信息感知社交关系结构的识别模型，使用图神经网络（GNN）来构建场景关系图，并通过图中包含的社会关系间的局部相互作用和全局上下文信息进行推理.Li等^［43］考虑对不同重要程度和尺度的特征信息进行协调，提出了基于多级Transformer的社交关系识别网络（MT-SRR），引入关系内转换模块和关系间转换模块进行关系的逻辑约束，以协调不同尺度上的特征，从而增强社交关系表示. 此外，Li等^［46］还考虑到关系特征之间的关联性，提出了一种混合特征驱动的社交关系图推理模型（HF-SRGR），该方法以社交关系特征和场景语义特征为节点构建社交关系图，并将注意力机制引入图神经网络中，再利用场景信息的协同推理进一步增强交互推理的合理性，以实现更好的模型性能.

除利用上述基于人、物、场景的视觉特征及其逻辑约束来识别成对的社交关系之外，也有研究者将社会学理论引入基于计算机视觉的社交关系识别研究中.基于社会心理学理论的社交关系模型定义，社交关系结构是由个体和双元分层嵌套在群体结构里的.结合该理论，Tang等^［47-48］提出了一种渐进图推理（PGR）的社交关系模型框架：首先构建个体-双元和双元-群体图，利用Transformer将视觉特征和图形推理知识融合，对社交关系进行综合表征；同时，为解决视觉数据编码不充分的问题，其关注到了隐藏在视觉特征下的潜在信息，如人际相似性，为识别社交关系提供了更多信息，从而缓解特征探索不足的问题；最后提出了一个包含创新的CF-Loss函数的社交关系识别框架，激励识别准确的社交关系类别，同时惩罚不正确的识别，最终增强了模型区分不同社交关系的能力.

2.2.2 基于视频数据的客观社交关系识别

一些研究人员聚焦如何捕捉视频中的客观社交关系，通过视频中蕴含的多模态信息对视频语义形成更全面的理解. 当然，视频数据中人物的出现和互动往往比图像数据更加抽象和难以处理.

现有研究使用的数据集大多源自电影视频剪辑片段，Lv等^［49］在69部电影中收集了3 124个视频片段，标注了8种主观关系以及从PIPA中的社交领域关系衍生而来的8种客观关系，构建了SRIV数据集.Vicol等^［50］从以人为中心的情景推理视角出发，构建了MovieGraphs数据集，它包含51部电影的7 637个场景，提供了视频片段中所描述的社交情况的图注释，以捕捉人物的物理属性以及人物之间的关系和互动. Liu等^［39］提出了一种基于金字塔图卷积网络的多尺度时空推理框架用于推理人物的社交关系，并构建了大规模的视频社交关系数据集ViSR，该数据集包含了从200多部电影中收集的8 000多个视频片段，标记了日常生活中常见的8种社交关系（如亲属、同事、朋友等）.Bain等^［51］提出的CMD数据集由3 000多部电影中的关键场景组成，将人物、语音和视觉线索整合到单一的视频嵌入中，每个关键场景都伴随着对场景要素、人脸关键点和电影元数据的高级语义描述，这些描述包括角色、动机、行动、场景、对象、互动和关系.Xu等^［52］对中国最大的视频交流网站BiliBili上的70部电影按帧进行收集和标注，还收集了两类随视频出现的文字信息，分别是视频评论和电影字幕.Wu等^［16］关注于长视频理解领域，在MovieClips数据集的基础上建立LVU数据集，包含来自3 000多部电影的30 000多个视频片段，标注每个视频所包含的主要社交关系，提供对视频长期理解能力的评估.

基于最初的研究，研究者们把个体之间的社交关系定义为分类问题，Kukleva等^［17］注意到人与人的交互信息是由视觉和对话线索混合形成的，提出了一个多模态架构以有效提取视频中的交互特征，并让模型从片段级弱标签中学习，减少定位视频中关系角色对的过程耗时，加快训练速度.Lv等^［49］使用多流深度学习模型在SRIV数据集上学习人们进行社交互动时，在时空维度的特征信息及音频中的高层次语义信息，最后进行逻辑回归，输出社交关系的分类结果. 这样的方法仅关注全局时空信息，而忽略了视频中局部语义信息的重要性.

Dai等^［18］提出了一个两阶段模型（TSM），使用社交语义对象的上下文信息来理解社交关系：在第一阶段，提取社交关系的时空特征和语义对象信息，获得丰富且鲁棒的社交关系表征；在第二阶段，构建社交知识图谱以捕获语义对象与社交场景之间的交互，并引入注意力机制来衡量每个语义对象在各类社交场景下的有效性. 为更好把握社会群体中个体之间的关系，部分学者开始将人的社会背景也纳入研究中，Li等^［19］提出了基于关系存在认知的社交群体检测这一新的研究范式，设计了一种以视觉线索为主，辅以非视觉线索的社会群体检测算法：前者利用时空交互信息，通过监督深度学习来识别社交关系的存在；后者使用无监督时空位置信息估计轨迹对的相似性，从而实现高准确率的社交群体检测. 特别地，视频中的字幕可以为社交关系识别提供补充线索，Lv等^［53］通过分析视频的层次特征，使用字幕中的人名来挖掘隐式人物关系，将基于视频和字幕文本构建的社交关系网络结合，以捕获更多容易被忽略的社交关系.

除此之外，在实际应用场景中社交关系并不是单一出现，多人之间会存在多重关系，并且随着时间的变化，相同人物对之间的关系也有变化的可能性.例如，A和B最初是邻居，因为共同参与社区活动而成为朋友，随着时间的推移，他们发现了彼此在事业方面的共同目标，一起创立公司，成为商业合作伙伴.Liu等^［54］开展多重社交关系抽取的研究，提出了视觉-文本融合框架（VTF）：基于长视频对视觉和文本信息联合建模以识别多重社交关系；不仅采用了SlowFast网络来学习全局动作和场景信息，还利用了面部、身体和人物对话的线索，引入多转换注意模块实现视觉和文本信息的融合. Wang等^［20］提出了一种基于长视频的社交关系识别新框架SGCAT-CT：整个架构由SGCAT模块和CT模块组成，对贯穿整个视频的社交关系进行持续的识别. SGCAT模块将帧建模为社交关系图，把关系视为节点，能有效保留人物和关系的邻接性；CT模块中的分层累积记忆机制将当前帧与先前帧联系起来，最终实现从场景级到视频级匹配的社交关系识别任务.

3 基于社交媒体数据的社交关系理解

目前基于社交媒体数据的社交关系理解主要从对关系链接和交互的预测出发，利用网络社交平台数据对社交互动的形成机理进行研究.

3.1 关系链接预测

3.1.1 基于相似性的关系链接预测

“物以类聚，人以群分”表明了社交主体间产生的社交关系是建立在关系双方具有一定相似性的基础上.社会学领域中的主体相似性包括年龄、性别、籍贯、种族、成长经历、兴趣爱好以及社会地位和背景等因素^［22-23］，相似性高的主体更易产生紧密的社交互动.

基于相似性的关系链接预测方法最早由Liben-Nowell等^［20］提出，该方法具有简单且计算速度较快的特点：首先，利用基于图的相似性度量方法来计算节点对的相似度，即每对节点之间的相似性分数，得分越高则表示相似性越高，那么在该社交网络中两主体间可能产生链接的概率也就越大；再通过相似性分数预测出节点间的链接关系. 大量研究者持续探索基于相似性度量方法的关系链接预测研究，通过提取不同的关系特征，例如基于社交向量的时钟特征、基于社交网络的位置特征等，进而求解关系链接预测问题. 这些工作已在赵姝等^［24］的综述中被总结归纳，本文仅对近年来该方向上新的研究内容进行总结.

在前述研究的基础上，Wahid-Ul-Ashraf等^［25］受牛顿万有引力定律的启发，将网络中心性度量作为“质量”，节点间距离或不相似度量作为“距离”，来计算节点间的“吸引力”.以“吸引力”作为链接形成可能性的度量标准，能够更好地捕捉社交网络中节点间的连接倾向，相比于仅使用节点相似性度量的方法，该方法能够更有效地结合网络的全局和局部特性，提供更精确的链接预测结果，尤其是在复杂且动态的社交网络环境中表现出色.Aziz等^［26］提出一种结合局部和全局相似性指数的新方法PSI：不仅考虑到了直接连接的节点信息，还能兼顾固定距离内所有节点的信息，从而在更广泛的范围内捕捉节点间的相似性，进一步提升关系链接预测的准确性.

然而，上述链接预测方法主要针对单一关系类别，忽略了各类关系间的影响和关联.Dai等^［55］针对多类型社交关系网络的链接预测提出了一种基于信念传播和非负矩阵分解的算法LPMR：首先用信念传播方法计算每个节点的信念值，并为每种类型的链接构建信念向量；通过计算不同关系网络之间的信念向量相似性，并将其作为关系之间影响程度的度量；然后结合非负矩阵分解方法进行链接预测，显著提升预测结果的准确性，为预测网络空间中多类型的社交关系提供了新的解决方案.

3.1.2 基于概率的关系链接预测

基于概率方法解决链路预测问题的基本方式是构建适合网络结构的统计概率模型.该模型由参数指定，每对节点的概率值按计算出的数理统计量生成.随后，根据假设对概率值进行分类，节点对的概率值越高，节点对之间形成链接的概率也就越高.目前社交网络中概率关系链接预测模型大体可分为概率张量因式分解模型、概率潜在变量模型、马尔可夫模型和链接标签建模4大类.

Gao等^［56］于2012年引入了概率张量因式分解模型解决多关系社交网络问题，但网络的预测性能有限；在此基础上，Ermiş等^［27］考虑了基于张量因式分解的变分贝叶斯方法，提高了模型在大规模网络中的预测性能.

在社交网络中，块状结构展示了网络结构模块中相同相邻矩阵中的链接，这些链接往往具有相似的属性.受此启发，Yang等^［28］提出了概率潜变量模型，该模型结合了低阶近似和矩阵块状结构的思想，比原来单独使用低阶近似的方法具有更好的预测精度.

马尔可夫模型是一种用于模拟概率论中随机变化的模型，该模型将动态网络演化形象化为一连串的事件.基于时间尺度与用户交互的整合，Das等^［29］提出了一种基于随机马尔可夫模型来演示时变社交网络关系的链接预测方法，能实现比现有动态链接预测方法更优的预测性能，但计算参数量会随着模型复杂度的提高而增加，从而影响模型的计算速度.

最后，链接标签建模方法专用于解决社交网络中的关系链接预测问题.在社交网络中，用户之间存在的互动或链接的性质可以是积极的，也可以是消极的.正向链接表示友好或认可，而负向链接则表示对立或不认可.为解决链接预测中的数据稀疏程度不一致的问题，Javari等^［57］提出了局部和全局网络结构稀疏自适应的链接标签建模方法，平衡了数据稀疏性的问题，实现数据流的实时更新.

基于概率模型的关系链接预测方法在性能上相较于3.1.1节中基于相似性方法更为出色，但当网络规模较大时，可能会因为网络的复杂性而增加计算时长.

3.1.3 基于混合方法的关系链接预测

在实际应用中，使用单一的预测方法存在一定局限，结合多种方法的混合型关系链接预测方法随之被提出. Bliss等^［58］提出一种将多种相似性指标与元启发式算法结合的混合预测方案，有效提升了在大型动态社交网络中的预测性能.考虑到相似性预测方法计算简单的优势，研究者将其结合高效的检测框架应用于大型复杂社交网络中，Deylami等^［59］提出了一种将图社区检测算法与相似性指数Adamic Adar相结合的方法，极大提高了链接预测的精度.Aghabozorgi等^［60］提出了一种局部相似性指数和监督学习融合框架，很好地利用监督学习框架来处理社交网络数据失衡的链接预测问题.

基于指标的链路预测模型通常只考虑某单一拓扑指标，在不同类型的网络中应用存在一定局限.基于矩阵分解的预测模型主要集中在对网络的相邻矩阵进行建模，难以对在链路预测中发挥重要作用的拓扑指标进行建模.对此，Wang等^［61］提出了一种概率矩阵分解模型，将具有邻近、对称性的矩阵和非对称性的拓扑度量相结合，在6个有向网络和无向网络中均取得良好结果.同时，大多链接预测方法基于非加权网络实现，未能充分利用关系链接的权重信息，导致算法在实际应用的过程中预测的效果有限.Moradabadi等^［62］提出一种基于连续动作学习自动机（CALA）的链接预测算法，该算法中创新地引入了若干加权相似性指标，如加权共现节点数（WCN）、加权Jaccard系数（WJC）和加权首选连接概率（WPA），用于计算训练集中链接的权重大小，并充分利用网络中现有链接的权重信息，提高预测准确性.

此外，社交网络平台中的大量信息由用户发布的文本和时间序列消息产生.为更好地挖掘用户之间的关系链接，Jia等^［30］提出了一种无需先验知识的社交关系检测算法（TTSLPA），结合文本语义相似性和时间序列相似性来构建社交网络图（TT-Graph），能更准确地捕捉用户间的潜在关联，提升社交关系的识别和预测能力.

3.2 关系交互预测

在社会学中，关系类别可简单划分为单向关系和双向关系两类，基于社交媒体数据的关系交互预测研究集中在对关系方向的交互性预测上，最典型的是回粉预测问题^［24］，即在已知当前社交网络结构的基础上，预测网络中的节点间是否会在后续某一时刻有新增关注或回关行为，同时研究这一过程会对网络的演化产生何种影响.具体研究如下：在社交网络中，用户的关注行为是形成网络结构的基础，交错的“关注”链接之间存在关联性，如在网络中一个用户A关注用户C，可能会促使A的另一个关注者B也去关注C.理解并分析这种链接扩散机制能够为社交网络的演变提供有力支撑.Zhang等^［31］提出一种“关注”链接级联模型（FCM），考虑时间延迟和三元结构中的扩散模式，量化并模拟了社交网络中链接的动态扩散过程.该模型不仅关注节点间的静态关联，还进一步探究了链接形成的时间相关性和扩散效应，为社交网络关系交互预测提供了新视角.

在社交媒体数据中，除了社交网络结构信息，还包含了大量交互内容信息.Zhang等^［32］提出的交互感知扩散（IAD）框架，通过综合考量用户角色、内容情感及信息类别之间的复杂交互作用，显著提升了社交媒体中信息传播和社交关系动态的预测精度.Zhou等^［33］提出了一种基于社交行为和网络分析的用户角色识别方法，通过动态用户网络模型捕捉显式和隐式社交关系，识别关键信息的传播角色，为社交网络信息扩散的关系交互预测提供了新的视角和计算方法，通过有效利用用户角色，提升了信息在复杂社交环境下的传播和共享效率. 另外，基于网络中舆论元素的多维度和多层次特性，Wang等^［34］构建了包含社会、心理、观点和环境4个维度的多维网络模型，根据舆论系统的吸引力法则和社交网络结构、话题、兴趣和心理的驱动因素，提出了基于超边相似度的多维网络链接预测算法，通过实证分析验证了其在大规模社交网络中提高预测准确性方面的显著优势.另外，从个体差异性出发，Ju等^［35］考虑到每个社交个体性格特质对关系交互的影响，提出了整合性格特质和非对称交互影响的四维社交关系预测模型.实验结果表明，四维模型相较于基于相似度的模型，在预测精度上有了显著提升；该研究还证实了在模型中引入性格链接偏好匹配度和非对称交互强度能提高预测准确性，尽管性格数据的预测误差有限，但模型依然展现了较好的预测效果.

近年来，随着人工智能的不断进步，越来越多的神经网络方法也被引入到此任务中，Liu等^［63］提出了一种基于三重训练BP神经网络的跨网络社交关系预测模型，通过挖掘源网络与目标网络间的共有特征及目标网络特有结构属性，有效利用迁移学习优化无标签目标样本的分类，提升跨网络关系预测精度.

4 社交关系理解应用研究

社交关系作为人群基本交互属性的体现，是构建社交网络的基础，能有效反映行为的潜在规律，促进行为理解、活动理解，对其开展应用研究具有重要意义.根据应用场景的不同，分为在物理空间中的应用研究和在社交媒体平台等网络空间的应用研究两类，具体如下.

在物理空间中，社交关系的识别通常依赖面部表情、姿态语义等视觉信息.计算机视觉技术能够捕捉和分析这些非语言信号，进而识别个体之间的社交关系. 根据这一特性，面向物理空间的视觉信息的研究成果被广泛应用于公共安全、城市治理、市场研究等领域：1）在公共安全领域，常利用视觉信息识别异常的社交关系以及可能存在的社交冲突，通过社交关系分析识别犯罪团伙结构，追踪嫌疑人活动轨迹；同时识别社交网络中潜在的犯罪嫌疑人，预测和预防犯罪活动. 2）在城市治理领域，在识别出社交关系的基础上，结合行为活动、场景语义等信息，识别社交活动对象的意图，帮助进一步挖掘行为互动的潜在规律，提供人群刻画、群体行为分析结果，为公共管理、空间规划、城市治理等“以人为本”的研究领域提供可靠的数据支撑. 3）在市场研究领域，常通过识别社交关系来定位目标消费群体，进行目标市场的精准营销，提高营销效率；同时，通过大量视频数据分析消费者在商店中的互动模式，了解产品摆放位置和促销活动对消费者行为的影响，为营销策略的优化提供参考建议.

在网络空间中，主要通过社交媒体平台上的文本、语音等多模态信息，利用自然语言处理和机器学习等方法，分析社交媒体中的帖子、聊天记录和在线行为，预测个体之间的社交关系和社交网络结构. 研究成果被大量应用于社交网络分析、情感分析与智能推荐系统等场景中，具体而言：1） 在社交网络分析研究中，通过分析用户的社交关系，能够有效识别网络中的关键节点和社群，快速理清信息如何在网络中流动，识别出信息传播的关键路径，以优化传播效果.2） 舆情分析是社交网络分析中的主要研究方向，通过社交关系理解进行舆情分析在企业和政府应用中具有重要作用：企业通过分析舆情进行品牌管理和市场营销；实时反馈消费者意见，优化产品设计；并在出现负面舆情时迅速制定危机公关策略.政府机构则通过舆情分析监控公众情绪，及时识别潜在社会风险，调整公共安全防治政策以提高服务满意度，维持社会稳定；重大社会事件中的舆情分析能给政府相关部门提供实时情报，增强其应急响应能力，为进一步规范网络空间环境提供强有力支撑.3） 在情感分析方面，利用社交媒体中丰富的用户数据，从文本中识别用户情感倾向，预测用户之间的关系亲密度，根据关系亲密度进行相应的内容推荐和关怀提醒.4） 在线上购物、娱乐平台中也大量利用用户社交关系和共同兴趣来进行相关内容推荐，满足用户的个性化需求，增加用户满意度和平台用户黏性的同时，提升平台收益.

综上所述，社交关系理解研究已被大量应用于现实生活中各个领域，如图3所示.社交关系理解技术仍面临数据隐私泄露、跨平台数据整合困难和实时处理不及时等挑战，同时现有研究应用尚未有效结合线上社交媒体数据和真实场景下社交活动数据.

5 展望与总结

随着人工智能技术的飞速发展，社交关系理解和分析已经进入全新的阶段. 在复杂的社交网络中，引入人工智能技术不仅为社会学研究提供了新的视角和工具，还促进了学界对社交关系本质、形成过程的重新定义和分析.在未来，结合人工智能技术的社交关系理解研究还存在无限可能，本文对社交关系理解的未来发展方向进行了探讨.

1） 多学科理论支撑下的社交关系理解研究. 社会学、心理学等学科提供了对人类社交活动和社交关系理解的理论基础，在基于人工智能的社交关系研究中，多学科理论的融合显得尤为重要.因此，将这些理论更多地应用于基于计算机视觉的算法模型构建中，增强模型对社交关系特征的捕捉能力，是社交关系理解的未来发展方向之一.例如，通过分析个体在社交场合中的肢体语言和面部表情，结合社会心理学理论和计算机图推理技术，能更准确地识别个体的情感状态和社交意图；结合社会生态学理论，考虑物理环境因素和社交关系的相互作用，结合时空场景进一步推理社交关系，能构建更精细的社交关系图谱.

2） 面向特定行为模式的社交关系理解研究. 行为模式是社交关系动态的外现形式，而对社交关系的理解并不局限于表层互动，更深层次的社交逻辑隐藏在个体行为模式之下.在网络空间层面，可以使用自然语言处理技术来分析用户在社交媒体上的交流数据，理解个体如何通过语言和符号来表达和维护社交关系.在物理空间层面，可以探索如何通过行为模式的表征来耦合潜在的社交关系，结合行为识别技术和数据分析方法，捕捉并分析个体在不同社交场合下的行为表现，揭示其背后的社交关系结构. 因此，分析特定行为模式，推动对深层次社交关系的挖掘，是社交关系理解研究的未来发展方向之一.

3） 针对特定群体社交特征的社交关系理解研究. 不同年龄群体的社交特征往往不同，社交活动会集中于不同的社会区域.例如，在物理空间中，青少年的社交集中于学校和家庭，而老年人的社交集中于社区和公园^［64］；在网络空间中，低年龄群体在消极生活质量下的社交媒体使用更频繁，高年龄群体则更倾向于在积极状态下使用社交媒体^［65］.现有研究多对全龄段人群的社交关系进行综合理解，并未关注到基于不同年龄群体特定社交特征的关系理解.因此，开展基于不同年龄群体社交特征的社交关系理解研究是未来发展方向之一. 例如，针对青少年群体，挖掘中小学生在校园、家庭以及网络社交媒体空间中的社交特征，精细化理解青少年社交关系并分析影响其社交动机的因素，营造更好的物理、网络社交环境，是塑造青少年群体良好社会交往能力的有效方法.

4） 长时序背景下的社交关系理解研究.人与人的社交关系是在长期的社会交往中逐渐建立和演变的，需要在时间维度进行观察. 现有研究多基于静态图片或短视频片段来推断社交关系，忽略了数据的时序依赖性，失去了理解社交互动所需的全局信息，存在一定的模糊性和不确定性. 因此，为克服上述局限，研究基于长时序数据的社交关系理解是未来的发展方向之一.此类研究在公共安全领域有着广泛的应用前景，根据社交网络的关联性，对有异常行为的人员进行跟踪，能更快速地追溯扰乱公共安全的威胁性源头，提升空间内（包括物理、网络空间）的安全程度.研究技术包括使用时间序列分析来追踪社交关系随时间的变化；开发能够处理长时间序列数据的机器学习模型；还需要考虑如何有效地收集和处理长时序社交数据，提高社交关系推理的准确性和鲁棒性.

5） 融合智能体的社交关系理解研究. 智能体已被大量应用在各个领域，从简单的日常任务自动化到复杂的科学研究和探索，智能体的应用改变着我们日常生活的方方面面. 社交智能体的出现提供了一种新的视角来理解和模拟人类社交行为，其能更好地模拟和理解复杂的社交互动，包括情感识别、意图预测和社交信号处理等，是社交关系理解的未来发展方向之一.未来研究可以集中在如何深化社交机器人的社交意识，例如，提升社交智能体的多模态交互能力，通过整合多种感官渠道（如视觉、听觉和触觉）的交互，识别人类社会信号并响应人类情感，更自然地融入人类社交环境；社交智能体也可作为研究工具来揭示社交关系的内在机制，让研究者可以更深入地理解人类社交行为的模式和动机；社交智能体与人类的长期互动可以提供社交关系演化的宝贵数据，为研究社交关系的长期演变和稳定性提供支撑；此外，社交智能体还可以作为干预工具，帮助改善社交技能训练或辅助特殊需求群体的社会适应.值得注意的是，社交智能体进行社交关系理解时也应该遵守法律和道德规范，在收集和处理个人数据时尊重用户的权利和偏好，安全有效地与人交互和协作.

6） 网络空间与物理空间融合的社交关系理解研究.随着社交媒体的蓬勃发展，人与人的社会交往不再局限于实际物理场景中，人们的社交活动越来越多地呈现出线上与线下、网络空间与物理空间交叉融合的趋势.这种趋势要求研究者不仅要关注单一空间的社交关系，还要探索两者如何相互影响.物理空间的社交关系识别可以提供直观的社交互动信息，而网络空间的社交关系挖掘则能够提供更深层次的、长期的关系模式和演化趋势. 因此，如何结合线上社交媒体数据和线下物理空间的视觉数据，利用两种数据的互补性，开展网络空间与物理空间数据融合的社交关系理解研究是未来发展的又一方向.

参考文献

[1] 高建军，卿粼波. 基于图像的社会关系识别研究综述［J］. 计算机工程与应用，2019，55（21）：35-44.

[2] 郑杭生. 社会学概论新修［M］. 北京：中国人民大学出版社，1994.

[3] 曹嘉芮，杨亚楠，王晨旭，等. 社会支持对生活满意度的影响［J］. 心理学进展，2021，11（2）：414-420.

[4] 韩雨洋. 中小学生社交焦虑成因及教育建议［J］. 中小学心理健康教育，2020（1）：51-52.

[5] 熊雪芹，刘佳，石菡，等. 屏幕时间与亲子关系、学龄儿童社会能力及行为问题的关系研究［J］. 中国妇幼保健，2019，34（4）：899-904.

[6] 中国互联网络信息中心.53次中国互联网络发展状况统计报告［R/OL］. （2024-03-22）［2024-06-20］.

[7] Haghani S， Keyvanpour M R. A systemic analysis of link prediction in social network［J］. Artificial Intelligence Review，2019， 52（3）：1961-1995.

[8] Bugental D B. Acquisition of the algorithms of social life： a domain-based approach［J］. Psychological Bulletin，2000，126（2）：187-219.

[9] 美）拉斐尔·A.卡里罗，美）悉尼·K.德梅洛，美）乔纳森·格拉奇，等. 情感计算手册［M］. 张克俊，张乐凯，邢白夕，等译. 杭州：浙江大学出版社，2021：99.

[10] Golder S. Measuring social networks with digital photograph collections［C］// Proceedings of the Nineteenth ACM Conference on Hypertext and Hypermedia. Pittsburgh：ACM，2008：43-48.

[11] Zhang Z P， Luo P， Loy C C， et al. From facial expression recognition to interpersonal relation prediction［J］. International Journal of Computer Vision，2018，126（5）：550-569.

[12] Weng C Y， Chu W T， Wu J L. RoleNet： movie analysis from the perspective of social networks［J］. IEEE Transactions on Multimedia， 2009，11（2）：256-271.

[13] Gao J J， Qing L B， Li L D， et al. Multi-scale features based interpersonal relation recognition using higher-order graph neural network［J］. Neurocomputing，2021，456：243-252.

[14] Yan H B， Song C H. Semantic three-stream network for social relation recognition［J］. Pattern Recognition Letters，2019，128： 78-84.

[15] Li W H， Duan Y Q， Lu J W， et al. Graph-based social relation reasoning［C］//European Conference on Computer Vision. Cham： Springer International Publishing，2020：18-34.

[16] Wu C Y， Krähenbühl P. Towards long-form video understanding［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville：IEEE，2021：1884-1894.

[17] Kukleva A， Tapaswi M， Laptev I. Learning interactions and relationships between movie characters［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle：IEEE，2020：9846-9855.

[18] Dai P L， Lv J N， Wu B. Two-stage model for social relationship understanding from videos［C］//2019 IEEE International Conference on Multimedia and Expo （ICME）. Shanghai：IEEE，2019：1132-1137.

[19] Li L D， Qing L B， Guo L， et al. Relationship existence recognition-based social group detection in urban public spaces［J］. Neurocomputing，2023，516：92-105.

[20] Wang H R， Hu Y B， Zhu Y F， et al. Shifted GCN-GAT and cumulative-transformer based social relation recognition for long videos［C］//Proceedings of the 31st ACM International Conference on Multimedia. Ottawa： ACM， 2023： 67-76.

[21] Liben-Nowell D， Kleinberg J. The link prediction problem for social networks［C］//Proceedings of the Twelfth International Conference on Information and Knowledge Management-CIKM’03. New Orleans：ACM，2003：556-559.

[22] Alba R D， Kadushin C. The intersection of social circles［J］. Sociological Methods & Research，1976，5（1）：77-102.

[23] Lin N， Vaughn J C， Ensel W M. Social resources and occupational status attainment［J］. Social Forces，1981，59（4）：1163-1181.

[24] 赵姝，刘晓曼，段震，等.社交关系挖掘研究综述［J］. 计算机学报，2017，40（3）：535-555.

[25] Wahid-Ul-Ashraf A， Budka M， Musial K. How to predict social relationships-physics-inspired approach to link prediction［J］. Physica A： Statistical Mechanics and Its Applications，2019，523：1110-1129.

[26] Aziz F， Gul H， Muhammad I， et al. Link prediction using node information on local paths［J］. Physica A： Statistical Mechanics and Its Applications，2020，557：124980-124990.

[27] Ermiş B， Acar E， Cemgil A T. Link prediction in heterogeneous data via generalized coupled tensor factorization［J］. Data Mining and Knowledge Discovery，2015，29（1）：203-236.

[28] Yang Q， Dong E M， Xie Z. Link prediction via nonnegative matrix factorization enhanced by blocks information［C］//2014 10th International Conference on Natural Computation （ICNC）. Xiamen： IEEE，2014：823-827.

[29] Das S， Das S K. A probabilistic link prediction model in time-varying social networks［C］//2017 IEEE International Conference on Communications （ICC）. Paris： IEEE，2017：1-6.

[30] Jia W， Ma R Z， Yan L， et al. TT-graph： a new model for building social network graphs from texts with time series［J］. Expert Systems with Applications，2022，192：116405-116421.

[31] Zhang J， Fang Z P， Chen W， et al. Diffusion of “following” links in microblogging networks［J］. IEEE Transactions on Knowledge and Data Engineering，2015，27（8）：2093-2106.

[32] Zhang X， Su Y， Qu S Y， et al. IAD： interaction-aware diffusion framework in social networks［J］. IEEE Transactions on Knowledge and Data Engineering，2019，31（7）：1341-1354.

[33] Zhou X K， Wu B， Jin Q. User role identification based on social behavior and networking analysis for information dissemination［J］. Future Generation Computer Systems，2019，96：639-648.

[34] Wang G H， Wang Y F， Li J M， et al. A multidimensional network link prediction algorithm and its application for predicting social relationships［J］. Journal of Computational Science，2021，53：101358-101368.

[35] Ju C H， Li G Y， Bao F G， et al. Social relationship prediction integrating personality traits and asymmetric interactions［J］. Frontiers in Psychology，2022，13：778722.

[36] 沈洪洲，袁勤俭.基于社交网络的社交关系强度分类研究［J］. 情报学报，2014，33（8）：846-859.

[37] Guo Y F， Yin F， Feng W， et al. Social relation reasoning based on triangular constraints［J］. Proceedings of the AAAI Conference on Artificial Intelligence，2023，37（1）：737-745.

[38] Lv J N， Liu W， Zhou L L， et al. Multi-stream fusion model for social relation recognition from videos［M］//Lecture Notes in Computer Science. Cham： Springer International Publishing，2018：355-368.

[39] Liu X C， Liu W， Zhang M， et al. Social relation recognition from videos via multi-scale spatial-temporal reasoning［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach： IEEE，2019：3561-3569.

[40] Gao X， Zhao Y， Zhang J， et al. Pairwise emotional relationship recognition in drama videos： dataset and benchmark［C］//Proceedings of the 29th ACM International Conference on Multimedia. Chengdu： ACM，2021：3380-3389.

[41] Teng Y Y， Song C G， Wu B. Toward jointly understanding social relationships and characters from videos［J］. Applied Intelligence，2022，52（5）：5633-5645.

[42] Sun Q R， Schiele B， Fritz M. A domain based approach to social relation recognition［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu： IEEE，2017：435-444.

[43] Li J N， Wong Y， Zhao Q， et al. Dual-glance model for deciphering social relationships［C］//2017 IEEE International Conference on Computer Vision （ICCV）.Venice： IEEE，2017：2669-2678.

[44] Tang W， Qing L B， Li L D， et al. Principal relation component reasoning-enhanced social relation recognition［J］. Applied Intelligence，2023，53（23）：28099-28113.

[45] Qing L B， Li L D， Wang Y C， et al. SRR-LGR： Local-global information-reasoned social relation recognition for human-oriented observation［J］. Remote Sensing，2021，13（11）：2038-2056.

[46] Li L D， Qing L B， Wang Y C， et al. HF-SRGR： a new hybrid feature-driven social relation graph reasoning model［J］. The Visual Computer，2022，38（11）：3979-3992.

[47] Tang W， Qing L B， Li L D， et al. Progressive Graph Reasoning-Based Social Relation Recognition［J］. IEEE Transactions on Multimedia，2023，26：6012-6024.

[48] Tang W， Qing L B， Gou H S， et al. Unveiling social relations： leveraging interpersonal similarity learning for social relation recognition［J］. IEEE Signal Processing Letters，2023，30：1142-1146.

[49] Lv J， Wu B， Zhang Y， et al. Attentive sequences recurrent network for social relation recognition from video［J］. IEICE Transaction on Information and Systems，2019，102（12）：2568-2576.

[50] Vicol P， Tapaswi M， Castrejó N L， et al. MovieGraphs： towards understanding human-centric situations from videos［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE，2018：8581-8590.

[51] Bain M， Nagrani A， Brown A， et al. Condensed movies： story based retrieval with contextual embeddings［M］//Lecture Notes in Computer Science. Cham： Springer International Publishing，2021：460-479.

[52] Xu T， Zhou P L， Hu L K， et al. Socializing the videos： a multimodal approach for social relation recognition［J］. ACM Transactions on Multimedia Computing， Communications， and Applications，2021，17（1）：1-23.

[53] Lv J N， Wu B， Zhou L L， et al. StoryRoleNet： social network construction of role relationship in video［J］. IEEE Access， 2018，6：wq 25958-25969.

[54] Liu Z H， Hou W Y， Zhang J Y， et al. A multimodal approach for multiple-relation extraction in videos［J］. Multimedia Tools and Applications，2022，81（4）：4909-4934.

[55] Dai C Y， Chen L， Li B， et al. Link prediction in multi-relational networks based on relational similarity［J］. Information Sciences，2017，394：198-216.

[56] Gao S， Denoyer L， Gallinari P， et al. Probabilistic latent tensor factorization model for link pattern prediction in multi-relational networks［J］. The Journal of China Universities of Posts and Telecommunications，2012，19：172-181.

[57] Javari A， Qiu H X， Barzegaran E， et al. Statistical link label modeling for sign prediction： smoothing sparsity by joining local and global information［C］//2017 IEEE International Conference on Data Mining （ICDM）. New Orleans： IEEE，2017：1039-1044.

[58] Bliss C A， Frank M R， Danforth C M， et al. An evolutionary algorithm approach to link prediction in dynamic social networks［J］. Journal of Computational Science，2014，5（5）：750-764.

[59] Deylami H A， Asadpour M. Link prediction in social networks using hierarchical community detection［C］//2015 7th Conference on Information and Knowledge Technology （IKT）. Urmia： IEEE，2015：1-5.

[60] Aghabozorgi F， Khayyambashi M R. A new similarity measure for link prediction based on local structures in social networks［J］. Physica A： Statistical Mechanics and Its Applications，2018，501：12-23.

[61] Wang Z Q， Liang J Y， Li R. A fusion probability matrix factorization framework for link prediction［J］. Knowledge-Based Systems，2018，159：72-85.

[62] Moradabadi B， Meybodi M R. Link prediction in weighted social networks using learning automata［J］. Engineering Applications of Artificial Intelligence，2018，70：16-24.

[63] Liu Q， Liu S X， Wang G Y， et al. Social relationship prediction across networks using tri-training BP neural networks［J］. Neurocomputing，2020，401：377-391.

[64] 姬广绪.社交可供性视角下的空间脱嵌：基于湖南佤乡青少年移动互联网实践的考察［J］. 西南民族大学学报（人文社会科学版），2022，43（11）：139-147.

[65] 宣长春，陈瑞.社交媒体使用对积极生活状态的影响： 倒U型关系与年龄的调节效应［J］. 国际新闻界，2022，44（3）：94-114.

基金资助

成都市重点研发支持计划(2023-YF09-00019-SN)