边缘智能：现状与挑战

Edge Intelligence： State-of-the-Art and Challenges

摘要

作为一种新兴的计算范式，边缘计算将计算资源从云中心转移到网络边缘侧的服务器，为联网的终端设备提供计算支持。与此同时，以深度神经网络为代表的人工智能迅猛发展，在工业物联网、智慧城市、智能家居等领域得到了广泛地应用，为人们的生产和生活带来了极大的便利。边缘计算和人工智能彼此之间相互赋能并催生了新的研究领域——边缘智能。在边缘智能中，边缘计算和人工智能二者相互受益，边缘计算利用人工智能对边端进行智能地维护和管理，人工智能在边缘计算平台上提供智能化的服务。本文从人工智能用于边缘的维护和管理、边缘人工智能两方面对边缘智能的发展现状进行阐述，总结了边缘智能发展过程中所面临的一系列挑战，对未来的发展做出展望。

Abstract

As an emerging computing paradigm, edge computing transfers computing resources from the cloud center to servers at the edge of network to provide computing support for end devices connected to the Internet. At the same time, the rapid development of artificial intelligence (AI) represented by deep neural networks has been widely applied to industrial Internet of Things, smart city, smart home and other fields, benefiting people's production and life. Edge computing and AI empower each other and give birth to a new research field---edge intelligence (EI). In EI, edge computing and AI benefit from each other, edge computing uses AI to maintain and manage edge-side devices, and AI provides intelligence services on edge. In this paper, we elaborate the development status of EI from the above two aspects and summarize the challenges of EI, and then make a prospect for future development.

Graphical abstract

关键词

边缘服务器 / 终端设备 / 边缘计算 / 人工智能 / 边缘智能

Key words

edge servers / end devices / edge computing / artificial intelligence / edge intelligence

0　 引 言

万物互联时代的兴起与发展极大地促进了各式各样的终端设备数量呈爆炸式增长。根据国际数据中心（international data center,IDC）预测，到2025年全世界将会有75亿的终端设备联网^[1]。然而，终端设备电源能量受限、通信能力有限以及计算和存储资源的匮乏极大地阻碍了其在生产生活当中的应用，为了解决这些问题，部分现有的研究工作是将计算任务直接卸载到云中心执行^[2]。虽然云中心具有巨大的存储空间以及丰富的计算资源，但是云中心通常与各个终端设备之间的距离较远，并且可能存在传输链路不可靠的情形，由此不免引发了通信延迟，增加了通信开销，甚至对终端设备的应用产生一定的消极影响。

边缘计算的引入明显减少了终端设备直接访问云中心的频次^[3]，降低了通信延迟。边缘计算的核心思想是将具备一定计算和存储能力的边缘服务器部署到靠近终端设备的网络边缘侧。具体而言，终端设备通过接入点（例如：基站或者WiFi）与边缘服务器进行连接，并且将计算任务卸载到边缘服务器使其为自身服务。事实证明，对于资源受限的终端设备而言，将绝大部分生产任务卸载到边缘服务器中完成，不仅能够显著地降低通信延迟，而且提高了整个服务的服务质量^[4，5]。

近年来，随着人工智能（artificial intelligence， AI）的迅猛发展，深度学习（deep learning，DL）技术和深度神经网络（deep neural networks， DNNs）已经被广泛应用于智慧城市^[6]、工业物联网^[7]、智能家居^[8]等各个方面。然而，目前已有的基于DNNs的应用服务通常都是计算密集型的，因此，资源受限的终端设备根本无法独立完成最优的DNNs模型推理和预测。作为云计算的补充和扩展的一种新型计算范式，边缘计算很好地弥补了云中心距离终端设备距离较远所带来的一系列挑战和威胁。边缘计算正在逐渐与AI相结合，催生了一个新的研究领域，即边缘智能（edge intelligence，EI）。

在EI中，边缘计算和AI二者相互受益。一方面，边缘计算利用AI对边端进行智能维护和管理；另一方面，AI在边缘计算平台上提供各种分布式、高可靠和低延迟的智能服务。此外，边缘计算丰富的数据和应用场景能够促进AI的普及应用，实现处处为每个人、每个组织提供AI服务的美好前景。

目前，EI的发展仍处于初级阶段，无论是在学术界，还是在工业界,仍存在一系列的问题需要解决，本文将从基于AI的边缘计算和基于边缘计算的AI两方面对EI的现状进行归纳，总结EI的发展过程中遇到的一系列挑战。

1　 基于AI的边缘计算

在边缘计算中，终端设备不仅数量庞大，而且存在高度的异构性，与此同时，终端设备需要边缘服务器完成相应的计算任务（如图1所示），对于边缘设备之间的通信和资源的管理维护是十分困难的^[9]。而DNNs可以从海量的数据中提取特征，结合深度强化学习（deep reinforcement learning，DRL）能够通过与环境的交互学习处理决策问题^[10]，利用DNNs处理网络中的用户信息和数据度量，并感知无线环境和边缘节点的状态，基于这些信息使用DRL学习长期最优的资源管理和任务调度策略，实现边缘的智能维护和管理。

1.1　边缘通信

边缘服务器往往部署在基站上，终端设备通过基站或WiFi实现与边缘服务器的连接，因此，要实现边缘的维护和管理需要从边缘通信着手^[11~13]。

当边缘服务器为移动的终端设备(用户)服务时，需要解决边缘计算网络中的移动性问题。基于DL的方法可以使得由于终端设备的移动性导致的通信不连续性问题得到很好地解决^[11]。文献[11]使用DNNs获得最优的终端设备与边缘服务器之间的通信策略，同时，在中央服务器上建立了一个数字孪生网络环境，用于离线训练该DNNs。为了最小化移动终端设备从一个边缘服务器连接到下一个边缘服务器中断所导致的延迟，多层感知器(multi-layer perceptron,MLP)可以用来预测给定位置和时间的可用边缘服务器^[14]。此外，确定移动终端设备应该连接的最佳边缘服务器，仍然需要评估移动设备与每个边缘服务器之间交互的成本(服务请求的延迟)，然而，建模这些交互的成本需要一个更有效的学习模型。因此，文献[11]实现了一种基于长短期记忆网络（long short-term memory，LSTM）的两层堆叠的循环神经网络模型，对交互成本问题进行建模。最后，通过对边缘服务器可用的能力进行预测和通信成本的综合考量，移动终端设备可以选择连接到最优边缘服务器，从而最小化移动终端设备与边缘服务器之间连接中断的可能性。

由于终端设备的数量庞大，为了保障边缘服务器能与终端设备之间的稳定通信，多个终端设备与边缘服务器之间的连接问题一直是众多学者的研究重点^[15]。在DNNs的帮助下，实现多个终端设备与边缘服务器之间连接的智能化管理，不仅减少了终端设备的计算负载，而且极大地降低了延迟^[16，17]。文献[17]设计了一个边缘计算框架处理多个终端设备的接入和计算任务卸载问题，该框架在传输、能耗、通信带宽等条件的约束下，将终端设备的接入和卸载问题建模为马尔科夫决策过程，但是其存在先验知识缺乏的不足。强化学习（reinforcement learning，RL）可以弥补上述不足，并能够根据随机到达的计算任务、不断变化的信道状态以及无线用户与边缘服务器之间的动态距离这些信息学习得到最佳卸载决策。此外，为了避免由复杂的状态和动作空间引起的维数灾难，文献[17]提出了一种改进的基于DRL的终端设备接入和卸载方法，以使用DNNs学习得到最优接入和卸载策略。

为了最大限度降低多种通信模式（边缘服务器-边缘服务器、边缘服务器-终端设备、终端设备-终端设备）下的系统功耗，DRL可以用来控制边缘设备的通信方式和处理器的开关状态^[18]，在确定给定边缘设备的通信模式和处理器开关状态后，整个问题可以归约为远程无线电传输功率最小化问题并得到解决。此外，文献[18]还将迁移学习（transfer learning，TL）与DRL集成在一起，以减少在DRL学习过程中与环境所需的交互，同时保证在不使用TL的时候性能不变。

1.2　边缘资源

边缘计算很好地弥补终端设备计算和存储资源的不足，终端设备通常将计算任务卸载到边缘服务器上完成。然而，随着终端设备数量的爆炸式增长，过多的计算任务卸载到边缘服务器导致其过载。为了解决这一问题，文献[19]提出了计算回载的概念，与计算卸载恰好相反，计算回载是指将计算任务从资源丰富的边缘服务器迁移到计算能力较强的设备上执行。为了能够很好地为终端设备提供服务，学者们对边缘计算系统的资源（计算和存储）管理和分配问题展开了研究^[20~23]。

移动智能终端设备的普及给人们的生产生活带来了极大的便利，但与此同时，也给边缘服务器对这些移动智能终端设备的资源管理和分配带来了巨大的压力^[20]，文献[20]提出了一种自适应的任务卸载和资源分配算法，该算法使用DRL确定计算任务是否需要卸载并为任务分配相应的计算和存储资源。考虑到终端设备的移动性，文献[20]模拟了真实的应用场景，以泊松分布的形式模拟计算任务的生成，所有的任务以任务流的形式提交处理，DRL根据优化目标为每个计算任务分配合适的计算和存储资源。同样地，文献[21]开发了一种基于LSTM的交通流量预测算法，该算法可以在单站点模式下对移动交通数据进行训练和预测，进而辅助边缘服务器和终端设备进行资源的分配。当然，对于一般化的多站点模式，可利用基于智能物联网的移动流量预测和控制架构，实现对计算资源的动态调度。

在多用户无线网络中，多样化的应用需求和设备间通信的各种无线接入模式对获得最优的资源分配策略提出了挑战。对边缘侧的资源分配需要掌握无线信道状态、可用带宽、计算资源等完整网络信息，然而获得这些信息是十分困难的。文献[22]将多用户的资源分配问题表述为马尔可夫决策过程，利用DRL通过有限且不太准确的网络信息做出决策，并设计出了最优的资源分配策略。此外，如何在多变的边缘网络环境中合理分配网络资源和计算资源也是一大难题，文献[23]提出了一种将DRL和联邦学习（federated learning， FL）结合的智能化的资源分配模型DRL+FL。在DRL+FL的基础上，设计了一种基于DRL算法框架双向深度Q学习网络（double deep Q networks， DDQN）^[24]的智能资源分配（resource allocation， RA）算法DDQN-RA，实现网络和计算资源的自适应分配。同时，DDQN-RA将FL框架与移动边缘系统相结合，以分布式方式训练DRL智能体。该模型可以很好地解决无线信道上大量训练数据传输和训练数据非独立同分布、不平衡等问题，在训练DRL代理时，通信条件和数据隐私也得到了有效的保护。

1.3　边缘网络

边缘计算为海量的智能终端设备和计算密集型的应用提供了计算支持，与此同时，边缘网络的管理和维护也变得越来越困难^[25]，特别是对软件定义网络（software-defined network，SDN）、工业物联网（industrial Internet of things，IIoT）和车联网（internet of vehicles，IoV）等的维护和管理。

一般来说，SDN的设计目的是将控制层和数据层分开来，以全局的视角对整个网络进行操作。与边缘计算网络的分布式特性相比，SDN网络是一种集中式的方法，将SDN网络直接应用于边缘计算网络具有挑战性。文献[26]研究了一种基于SDN的面向智慧城市的边缘计算网络，为了提高这个原型网络的服务性能，DRL被部署在它的控制层以协调网络、缓存和计算资源。

边缘计算可以为IIoT提供更多计算密集型和对延迟敏感的服务，但也对存储、计算和通信资源的有效管理和协同提出了挑战。文献[27]提出一种基于DRL的动态资源管理算法，用于对资源的合理分配，最小化端到端的平均服务延迟，提高工业生产效率。

IoV是物联网的一个特例，专注于联网车辆。类似于文献[28]中考虑集成网络、缓存和计算，Double-Dueling DRL(即结合Double DRL和Dueling DRL)具有更健壮的性能，可以用来编排可用资源，提高未来IoV的性能^[29]。此外，考虑到车辆的机动性导致IoV网络复杂度增加的问题，文献[30]将车辆的移动性建模为离散随机跳跃，针对时间单元设计了一个DRL模型，并针对车辆的移动性设计了即时奖励函数，既解决了移动性的直接影响，又解决了资源配置优化中难以承受的大行动空间问题。

2　 基于边缘计算的AI

EI在网络边缘侧为用户提供智能化的服务，在实现的过程中，时延和推理精度的大小将决定智能服务的服务质量的高低，并且推理的速度与时延密切相关。在EI提供AI服务的过程中（如图2所示），目前国内外针对EI任务推理加速的研究工作主要在模型压缩^[31~46]、模型划分^[47~61]、模型早退出^[62~75]以及边端的协同计算^[76~89]等方面展开。

2.1　模型压缩

模型压缩可以有效地降低模型复杂度和资源需求，加快模型推理速度^[31]。模型剪枝和量化是线下模型压缩的两种主要方式^[32]。其中模型剪枝是指去除深度神经网络模型中贡献低的神经元，文献[33]提出基于幅值的权重剪枝方法，其基本思想是去除幅值小于某一阈值的神经元权重，然后微调模型修复准确度。文献[34]提出了深度压缩方法，包括剪枝、训练量化和哈夫曼编码三个阶段，不同的方法可以显著降低神经网络模型的存储需求同时不影响模型准确度。文献[35]提出一种使用纯整数运算进行推理的量化方案，在常用的纯整数运算硬件上比浮点推理更加有效。为了解决过度量化导致的精度降低问题，文献[36]使用混合精度量化的方法，利用网络层的Hessian光谱选择各层的相对量化精度和量化顺序。为了提升压缩效果，剪枝和量化等多种压缩技术的结合使得压缩后的模型推理速度和准确度得到提升^[34,37,38]。

知识蒸馏是模型压缩的另一个重要技术手段，它指把复杂的模型或多个模型（称为Teacher）学到的知识迁移到另一个轻量级模型（称为Student），以此提升轻量级模型性能^[39]。知识蒸馏根据迁移知识类型的不同主要分为输出迁移、特征迁移、关系迁移三大类别。其中输出迁移是指把Teacher模型的预测输出作为知识迁移给Student模型^[39,40]；特征迁移指把Teacher模型输出的中间层特征作为知识迁移给Student模型^[41]；关系迁移指把网络或样本之间的关系作为迁移知识^[42]。为了提升模型推理效率，文献[43]提出分辨率感知的知识迁移方法，把基于高分辨率图像作为输入的模型的知识迁移到基于低分辨率图像作为输入的模型中。知识蒸馏与自监督学习的结合可以有效解决小模型的自监督预训练问题^[44,45]。另外，文献[46]提出基于特征嵌入的Student模型学习方法，Student模型的特征维度小于Teacher特征维度，由此产生的Student模型可以自然地保持Teacher模型的性能。

基于现有的研究成果来看，模型压缩不再局限于某一单一指标作为衡量指标，也不再局限于单一压缩技术的提升。基于多种压缩技术融合的方式同时考虑多个衡量标准，特别是模型推理速度和推理精度，将压缩后的模型部署在边缘服务器或终端设备上加速模型推理速度，降低延迟，从而提高EI所提供的智能化服务的服务质量是今后EI研究的重点。

2.2　模型划分

随着DNNs的发展，其模型的复杂程度也在逐年增大，模型划分技术通过将DNNs模型划分成终端设备和边缘服务器上分别执行的两部分并完成部署，降低边缘设备完成计算任务的时延^[47，48]。

在计算卸载的基础上对DNNs模型划分是降低推理时延的一种常见的方法，关键的挑战是找出一个合适的划分点来获得最佳的模型推理性能，文献[47]设计了一种名为Neurosurgeon的轻量级调度程序，分别从延迟和能量效率两个方面考虑，用基于回归的方法估计DNNs模型中各层的延迟，并返回一个最优划分点，使得模型推理满足延迟要求或能量要求。由于模型划分时需要将中间的输出结果在不同的设备间传输，会导致很大的传输延迟，因此，对模型划分后的中间数据进行有损特征编码压缩后再进行传输能够有效的降低传输时延^[49~51]。不同于现有的将DNNs模型划分成两部分进行计算任务卸载的方法，文献[52]提出了一种将DNNs划分为多个模块的技术，这些模块可以由终端设备处理或卸载到一个或多个强大的节点，显著地降低了DNNs推理的总延迟。针对传输开销大的问题，文献[53]提出了一种应用于工业物联网中EI的按需协同DNNs推理框架——Boomerang，该框架通过对 DNNs大小进行调整和对DNNs划分执行具有低延迟和高精度的DNNs推理任务。

不同于上述在静态的计算环境下找到最佳划分点的方法，文献[54]提出了联合模型划分和模型早退出的边缘系统的框架Edgent，该框架能够在网络带宽不变和动态网络状态下实现最大化训练的准确度。同样地，文献[55]提出了分布式推理系统SPINN，该系统引入了一种新颖的调度器，能够在多变的网络环境中对DNNs模型划分，在保证服务质量的前提下，提高了系统的吞吐量。为了使得终端设备和边缘服务器之间的负载均衡，文献[56]根据计算环境的变化自适应地对DNNs划分。在EI中，借助于DL，在边缘服务器或终端设备中内置在线学习模块，可以根据系统环境的变化，自动学习得到最佳分割点^[57]。此外，文献[58]结合DNNs模型划分和任务分配，建立了自适应DNNs模型划分和任务卸载的数学模型，针对离线和在线的场景提出了相应的算法，提高了DNNs推理任务的执行效率。

除了计算环境的变化会对DNNs推理时延造成影响之外，边缘设备所拥有的能量的大小^[59]，计算资源的多少^[60]以及计算成本的开销^[61]等对推理时延的影响也是不可忽略的。DNNs上的数据处理给能量受限的终端设备带来了沉重的负担，文献[59]利用DL加速器制定了一种新的分析DNNs能量消耗的模型，在此基础上，通过对DNNs模型划分进行计算任务调度，优化终端设备的能耗。由于边缘服务器资源的限制，分配给终端设备的计算资源是动态的，因为服务请求者的数量会发生变化，这导致DNNs的最佳划分点不固定，文献[60]提出了一种动态资源分配方案，通过终端设备的计算能力来选择 DNNs推理任务的最佳划分点。考虑到模型划分和模型放置问题之间的强耦合性，文献[61]在两个不同的时间尺度下研究了在线模型划分和拆分之后的模型放置的联合优化，以最小化存在无线信道衰落的终端设备和边缘服务器协同推理的能量和时间成本。

尽管针对基于模型划分的任务调度与分配的研究在近些年引起了人们的广泛关注并得到快速发展，但与传统任务调度与分配相比，EI中基于模型划分的任务调度与分配研究还远未成熟，仍有许多问题需要进一步探索。

2.3　模型早退出

模型早退出通过在主网络中添加一个或多个分支网络，对退出点的样本置信度进行判断，从而可以提前退出部分样本，减少后继网络层的样本量，特别是对于复杂的DNNs模型，模型早退出技术可以有效地减少DNNs推理中的冗余计算，降低推理时延^[62，63]。

对于资源受限的终端设备来说，完成DNNs推理任务绝非易事，因为它会产生较高的资源和能源开销。为了满足工业物联网领域关键步骤对于延迟的要求，文献[53]提出了基于RL的模型早退出机制，通过提前退出机制重塑DNNs计算量，实现了端到端的自动DNNs推理计划生成，提高了工业生产效率。文献[64]设计了多退出点DNNs模型，它允许任务在推理期间根据输入复杂性在DNNs的不同深度提前退出，有效地解决了传输数据密集和不必要的计算带来的延迟增大的问题。大多数关于模型早退出的研究往往忽略了退出设置和协同推理之间的相关性，导致设备到边缘的不协调，为了解决这一问题，文献[65]提出了一种基于多维优化的多出口DNNs推理加速框架，实现了对模型划分和资源分配的联合最优决策。文献[66]还提出了一种基于Edgent的协同推理系统，采用早退机制和模型划分技术解决任务流场景下的EI问题。同时，作者设计了离线动态规划算法和在线DRL算法，在任务流中动态选择模型的退出点和划分点，从而平衡推理任务的效率和准确性。文献[67]将多个协同推理任务的加速问题描述为管道执行模型，并设计了一个细粒度优化器，将模型划分、模型早退出和中间数据压缩集成在一起，以实现准确性和延迟之间的权衡，同样地，文献[68]采用基于学习的联合源信道编码对中间特征压缩以减少通信延迟。文献[69]设计出一种结合了知识蒸馏和模型早退出的DNNs推理系统——EdgeKE，它能够在大型复杂模型的监督下训练紧凑的边缘模型，提高了准确性和速度，与此同时，基于模型早退出的DNNs，为边缘应用的不同延迟或准确性要求提供了灵活的选择。文献[70]提出了一种动态监督训练机制，以实现准确性和效率之间的动态权衡，多出口网络可以减少推理时间和计算成本，它们的效率在于选择退出层的位置，从而在节省成本和推理准确性之间保持良好的平衡。考虑到边缘服务器上的计算任务过多，排队时延过大的问题，文献[71]提出通过模型划分和模型早退出提前结束计算任务，加速DNNs推理，减少排队延迟。

除了模型或数据大小会影响推理延迟之外，终端设备所拥有的计算资源、网络状态和终端设备的移动性等对推理时延的影响也是不可忽略的。文献[72]提出了边缘计算框架——Edgent，它不仅能够根据边缘设备的计算资源对DNNs模型进行自适应的划分，而且可以在适当的DNNs层提前退出，实现DNNs的加速推理。在此基础上, 文献[55]还考虑了网络环境的变化对DNNs推理的影响。为了充分利用边缘设备的计算资源，使同一模型能够处理不同质量的输入数据，文献[73]根据输入数据的质量动态地选择模型退出点，既充分利用了相关资源，又提高了准确率。随着推理的进行，计算平台的配置也很难调整，文献[74]结合低成本预测引擎，提出了预测退出框架，它可以预测DNNs模型退出的位置，通过按时退出而不运行每个预先放置的退出层来有效降低网络计算成本。由于终端设备时空位置的动态变化，使得计算任务在不同的边缘服务器之间频繁迁移，从而影响服务质量，文献[75]提出了一种基于终端设备时空位置模型早退出策略，根据用户的位置信息决定是否对计算任务迁移或提前退出，有效地降低了整体的延迟。

2.4　边端协同计算

边缘设备和终端设备之间的协同机制也是一个非常重要的问题^[76]，通过对边缘设备的资源调度和计算任务调度，可以实现边缘设备和终端设备之间的协同，提高EI服务的服务质量。

针对异构的边缘设备的资源调度问题，计算资源的分配^[77]需要重点关注。在包含异构边缘服务器的系统中，服务器的选择对整个系统来说是至关重要的，文献[78]关注如何综合利用本地资源与网络云资源提高在一定限制要求下成功完成计算任务的可能性。对于集中式的系统，边缘服务器掌握着全局信息，文献[79]通过建立混合整数优化模型设计一种既能将时延缩短至终端设备可接受的范围内，又能够降低系统总体能耗的计算资源分配方案。文献[80]证明集中式计算资源分配是一个NP难问题，并且采用博弈论方法以分布式的形式实现高效的计算资源分配，并达到计算资源和性能之间的纳什均衡。此外，文献[81]考虑到了终端设备通常都具有高度的移动性，将计算资源分配问题看成一个在线决策的过程，并且提出了一种实时的感知移动的机制。为了利用异构计算资源（如CPU、GPU、DSP等）有效地支持移动或边缘设备上多个DNNs 模型的并发推理，文献[82]提出了一种基于DRL的新型在线协同调度框架，它用DRL的方法根据系统的状态做出动态决策，有效利用异构硬件上的所有计算资源，实现了比常用方法显著的加速，能够在推理延迟、吞吐量和能效之间做出很好的权衡。同样地，针对计算异构性、移动设备延迟的变化以及工作负载资源需求的易变性等特点，文献[83]提出了深度代理模型的蒙特卡罗学习方法来估计调度决策对服务质量的影响并完成计算任务的调度。

为了给用户提供更好的服务，边缘层众多分布式边缘设备通常采用普遍相互协作的方式来完成计算任务^[84]。例如，LAVEA^[85]将边缘服务器和终端设备连接到相同的接入点或基站，从而确保边缘服务可以像互联网接入一样无处不在。在边端协同完成计算任务的过程中，对传输时延和排队时延进行优化对服务质量的提高有着显著的效果，文献[86]对时延与网络负载（移动设备密度及其任务生成速率）和网络资源（带宽以及边缘服务器的计算速率）之间的关系进行量化，为终端设备的计算卸载策略提供支持。文献[87]考虑对终端设备计算卸载时边缘服务器的选择和服务迁移进行联合优化，为终端设备分配适当的、合理的计算资源完成计算任务。文献[88]建立了最佳通信调度的架构并总结了这些架构的属性，根据这些属性对计算任务和通信信道进行调度以达到降低延迟的目的。考虑到通信链路不稳定的问题，文献[89]从通信和学习的角度结合了信噪比和数据不确定性这两个指标，设计了调度策略，有效地利用有限的无线电资源获取数据样本。

3　 挑战及展望

目前关于EI的研究仍然存在一些挑战，识别现有的挑战能够有效地规避潜在的误导性的研究方向。在本节中，我们分别从基于AI的边缘计算和基于边缘计算的AI这两个方向来对EI目前存在的挑战进行归纳和总结，并对未来的发展做出展望。

3.1　基于AI的边缘计算

利用DL优化和调度边缘计算网络中的资源已经有很多尝试，包括在线内容流^[90]、路由和流量控制^[91，92]等。然而，由于DL解决方案并不完全依赖于对网络和设备的精确建模，因此寻找一个可以应用DL的场景并不是最重要的问题。此外，在应用DL优化实时边缘计算网络时，DL模型或DRL算法的训练推理可能会带来一定的副作用，如训练数据传输所消耗的额外带宽和DL推理的延迟。

现有的工作主要关注的是高层的DL优化边缘的解决方案，而忽略了低层的实际可行性。尽管从理论上看，DL性能表现很好，但在DNNs/DRL的部署时仍需仔细考虑以下问题(如图3所示):

1) 针对资源开销和实时管理边缘计算网络的需求，DL和DRL应该部署在哪里？

2) 当使用DL来确定优化任务卸载时，DL的优势是否会被其本身带来的带宽消耗和处理延迟抵消？

3) 针对特定场景的定制DL模型是否有助于对边缘资源的管理和维护？

4) 如何提升DL训练的效率，以满足边缘管理的实时性需求?

此外，最先进的DL或DRL的能力，如多智能体深度强化学习^[93]，图神经网络(graph neural networks,GNNs)^[94]，也可以用来促进AI在边缘计算上的部署以及对边缘的智能维护管理。例如，终端设备、边缘服务器和云可以被视为单独的代理。通过这种方法，每个代理根据其局部的不完全观测来训练自己的策略，所有参与的代理一起优化边缘计算网络。此外，边缘计算网络跨越端、边、云的结构实际上是一个巨大的图，包含了大量的潜在结构信息，如设备之间的连接和带宽。为了更好地理解边缘计算网络，专注于从图结构中提取特征而不是二维网格和一维序列的GNNs可能是一种很有前途的方法。

将AI部署在边缘计算平台上，能够有效地协助边缘计算中众多的终端设备和边缘设备，在资源、通信、云计算形成协同效应，做到各个环节不存在短板，直接给下游用户交付端到端的智能服务。针对资源开销和实时管理边缘计算网络的需求，如果将DL和DRL模型完全部署在边缘服务器上，将会给边缘服务器带来巨大的压力，然而，终端设备的计算能力不足以完全支撑DL和DRL模型，一个行之有效的方法是采用FL的计算模式，加速DL和DRL的训练和推理，具体来说，终端设备和边缘服务器共享DL和DRL模型，多个终端设备在本地同时完成DL和DRL模型的训练和推理，然后将推理结果上传至边缘服务器，边缘服务器根据各个设备所上传的结果，从宏观上来对资源开销和边缘计算网络进行管理。由于FL所传输的是最终的结果并非整体模型，随着5G技术的发展，数据传输本身所产生的时延可以忽略不计，因此，使用DL来确定优化任务卸载决策时，DL本身的优势并不会被其本身带来的带宽消耗和处理延迟抵消。最后，由于边缘计算的场景复杂多变，在边缘计算平台上部署DL或DRL模型时，需要根据具体的情况来设计相应的模型参数，以适应不同的应用场景。

3.2　基于边缘计算的AI

在边缘设备中部署DL时，需要通过模型优化加速DL推理。在这一节中，我们讨论边缘计算在模型压缩、模型划分、模型早退出和边端协同优化方面的经验教训和未来发展方向。

模糊的性能指标:对于特定任务的EI服务，通常有一系列可以完成该任务的DL模型候选。然而，服务提供者很难为每个服务选择正确的DL模型。由于边缘计算网络的不确定性特征(无线信道质量变化、并发服务请求不可预测等)，常用的标准性能指标(如top-k精度或平均精度)无法反映DL模型推理在边缘的运行性能。对于EI服务，除了模型精度之外，推理延迟、资源消耗和服务收益也是关键指标。因此，我们需要识别EI的关键性能指标，定量分析影响这些指标的因素，并探索这些指标之间的权衡，以帮助提高EI部署的效率。

模型早退出的泛化:目前，模型早退出可以应用于DL中的分类问题，但还没有更广泛的DL应用的泛化解决方案。此外，为了构建智能边缘并支持EI，不仅需要探索DL，还需要探索将模型早退出应用于DRL的可能性，因为将DRL应用于边缘的实时资源管理，需要严格的响应速度。

训练和推理之间的协同:将剪枝、量化和模型早退出引入训练过的原始DL模型需要再训练以获得所需的推理性能。一般来说，定制模型可以在云中离线训练。然而，边缘计算的优势在于其响应速度快，并且可能由于DL训练的滞后而被中和。此外，由于边缘存在大量异构设备和动态网络环境，DL模型的定制需求并不单调。那么，这种持续的模型训练要求是否合理，是否会影响模型推理的时效性，如何设计一种机制来避免这些副作用，都是需要考虑的问题。

边端协同优化：考虑将模型优化、模型划分、模型早退出等技术混合对边端协同进行优化。这些定制的DL模型经常被独立使用以实现端-边-云协作。模型优化，如模型量化和剪枝，可能需要在端和边，但由于有足够的计算资源，云不需要冒模型精度的风险来使用这些优化。因此，如何设计一种混合精度方案，即将边缘的简化DL模型与云中的原始DL模型有效地结合起来是非常重要的。

各行各业的企业都在寻求提高自动化程度，以改善流程、效率和安全性，AI借助于边缘计算平台，部署在医院、汽车、工厂、家庭和卫星等不同地点，用人类认知的“智能”进行操作。与此同时，利用模型压缩、模型划分、模型早退出和边端协同技术，为人们的生活提供高实时、低带宽、低能耗的智能服务。利用边缘计算无处不在的物联网设备和传感器能够提供充足计算资源的巨大优势，AI可以直接部署在边缘设备上，最常见的边缘计算AI示例可以从软件如何在自动AI边缘计算应用程序（如工业物联网，车联网等）中借助深度学习算法处理数据和机器学习中看到，当结合到自动驾驶汽车中时，该技术可以在几毫秒内处理数据，实时防止事故发生。由于边缘计算AI在网络边缘侧为用户提供服务，并且能够在本地进行数据处理，因此边缘计算在进行数据传输时所占用的网络带宽更小，基于边缘计算的AI能够应用在网络资源稀缺的环境中，甚至可能是完全无网络的应用中，例如地铁设备运维、AI风车检修等等，与此用时，也能够为企业在互联网带宽上节省大量的资金。由于在边缘计算平台上部署的AI服务不必保持与云的连接以在边缘平台和云之间来回传输数据，且大多数边缘计算设备都具有功耗和效率的特性，所以基于边缘计算的AI能够节省大量能源成本，企业可以进行大规模的部署。需要注意的是，由于大多数边缘应用程序部署在远程环境中，边缘计算有必要在性能和功率之间进行平衡。

4　 结 语

作为新兴的计算范式，EI实现了边缘计算和AI的相互受益，本文分别从基于AI的边缘计算和基于边缘计算的AI这两个方向对EI的研究现状进行调研，发现将DL从云端扩展到网络边缘的关键问题是：在网络、通信、算力、能耗等多重约束下，如何使用AI对边缘的资源进行管理，实现边缘计算的智能化管理。与此同时，随着边缘计算能力的增强，EI将变得普遍，AI将对提升EI的性能起到重要的支撑作用。希望我们的研究能够增加对EI集成的讨论和探索工作，从而推动未来EI的应用和发展。

参考文献

[1] DENG Y Q， CHEN Z G， YAO X， et al. Parallel offloading in green and sustainable mobile edge computing for delay-constrained IoT system［J］. IEEE Transactions on Vehicular Technology， 2019， 68（12）： 12202-12214. DOI： 10.1109/TVT.2019.2944926 .

[2] ARUNARANI A R， MANJULA D， SUGUMARAN V. Task scheduling techniques in cloud computing： A literature survey［J］. Future Generation Computer Systems， 2019， 91： 407-415. DOI： 10.1016/j.future.2018.09.014 .

[3] LUO Q Y， HU S H， LI C L， et al. Resource scheduling in edge computing： A survey［J］. IEEE Communications Surveys & Tutorials， 2021， 23（4）： 2131-2165. DOI： 10.1109/COMST.2021.3106401 .

[4] LIN B， ZHU F N， ZHANG J S， et al. A time-driven data placement strategy for a scientific workflow combining edge computing and cloud computing［J］. IEEE Transactions on Industrial Informatics， 2019， 15（7）： 4254-4265. DOI： 10.1109/TII.2019.2905659 .

[5] YE Q B， LU W D， HU S， et al. Resource optimization in wireless powered cooperative mobile edge computing systems［J］. Science China Information Sciences， 2021， 64（8）： 182303. DOI： 10.1007/s11432-020-2925-1 .

[6] ZENG L K， CHEN X， ZHOU Z， et al. CoEdge： Cooperative DNN inference with adaptive workload partitioning over heterogeneous edge devices［J］. IEEE/ACM Transactions on Networking， 2021， 29（2）： 595-608. DOI： 10.1109/TNET.2020.3042320 .

[7] ZHANG W T， YANG D， PENG H X， et al. Deep reinforcement learning based resource management for DNN inference in IIoT［C］// IEEE Global Communications Conference. New York： IEEE Press， 2021： 1-6. DOI： 10.1109/GLOBECOM42002.2020.9322223 .

[8] LI X， LI D W. GPFS： A graph-based human pose forecasting system for smart home with online learning［J］. ACM Transactions on Sensor Networks， 2021， 17（3）： 1-19. DOI： 10.1145/3460199 .

[9] ZHANG Y T， DI B Y， WANG P F， et al. HetMEC： Heterogeneous multi-layer mobile edge computing in the 6G era［J］. IEEE Transactions on Vehicular Technology， 2020， 69（4）： 4388-4400. DOI： 10.1109/TVT.2020.2975559 .

[10] ARULKUMARAN K， DEISENROTH M P， BRUNDAGE M， et al. Deep reinforcement learning： A brief survey［J］. IEEE Signal Processing Magazine， 2017， 34（6）： 26-38. DOI： 10.1109/MSP.2017.2743240 .

[11] DONG R， SHE C Y， HARDJAWANA W， et al. Deep learning for hybrid 5G services in mobile edge computing systems： Learn from a digital twin［J］. IEEE Transactions on Wireless Communications， 2019， 18（10）： 4692-4707. DOI： 10.1109/TWC.2019.2927312 .

[12] LIU Y Q， PENG M G， SHOU G C， et al. Toward edge intelligence： Multiaccess edge computing for 5G and Internet of Things［J］. IEEE Internet of Things Journal， 2020， 7（8）： 6722-6747. DOI： 10.1109/JIOT.2020.3004500 .

[13] SIRIWARDHANA Y， PORAMBAGE P， LIYANAGE M， et al. A survey on mobile augmented reality with 5G mobile edge computing： Architectures， applications， and technical aspects［J］. IEEE Communications Surveys & Tutorials， 2021， 23（2）： 1160-1192. DOI： 10.1109/COMST.2021.3061981 .

[14] MEMON S， MAHESWARAN M. Using machine learning for handover optimization in vehicular fog computing［C］//Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing. New York： ACM， 2019： 182-190. DOI： 10.1145/3297280.3297300 .

[15] TALEB T， SAMDANIS K， MADA B， et al. On multi-access edge computing： A survey of the emerging 5G network edge cloud architecture and orchestration［J］. IEEE Communications Surveys & Tutorials， 2017， 19（3）： 1657-1681. DOI： 10.1109/COMST.2017.2705720 .

[16] CAO B， ZHANG L， LI Y， et al. Intelligent offloading in multi-access edge computing： A state-of-the-art review and framework［J］. IEEE Communications Magazine， 2019， 57（3）： 56-62. DOI： 10.1109/MCOM.2019.1800608 .

[17] WANG J， KE H C， LIU X J， et al. Optimization for computational offloading in multi-access edge computing： A deep reinforcement learning scheme［J］. Computer Networks， 2022， 204： 108690. DOI： 10.1016/j.comnet.2021.108690 .

[18] SUN Y H， PENG M G， MAO S W. Deep reinforcement learning-based mode selection and resource management for green fog radio access networks［J］. IEEE Internet of Things Journal， 2019， 6（2）： 1960-1971. DOI: 10.1109/jiot.2018.2871020 .

[19] NIU X， YU C， JIN H. CRSM： Computation reloading driven by spatial-temporal mobility in edge-assisted automated industrial cyber-physical systems［J］. IEEE Tran

[20] sactions on Industrial Informatics， 2022， 18（12）： 9283-9291. DOI： 10.1109/TII.2022.3166795 .

[21] TONG Z， DENG X M， YE F， et al. Adaptive computation offloading and resource allocation strategy in a mobile edge computing environment［J］. Information Sciences， 2020， 537： 116-131. DOI： 10.1016/j.ins.2020.05.057 .

[22] CHEN M， MIAO Y M， GHARAVI H， et al. Intelligent traffic adaptive resource allocation for edge computing-based 5G networks［J］. IEEE Transactions on Cognitive Communications and Networking， 2019， 6（2）： 499-508. DOI：10.1109/tccn.2019.2953061. DOI： 10.1109/tccn.2019.2953061 .

[23] DAI Y Y， ZHANG K， MAHARJAN S， et al. Edge intelligence for energy-efficient computation offloading and resource allocation in 5G beyond［J］. IEEE Transactions on Vehicular Technology， 2020， 69（10）： 12175-12186. DOI： 10.1109/TVT.2020.3013990 .

[24] SHAN N L， CUI X L， GAO Z Q. “DRL+ FL”： An intelligent resource allocation model based on deep reinforcement learning for Mobile Edge Computing［J］. Computer Communications， 2020， 160： 14-24. DOI： 10.1016/j.comcom.2020.05.037 .

[25] VAN HASSELT H， GUEZ A， SILVER D. Deep reinforcement learning with double Q-Learning［C］//Proceedings of the 30th AAAI Conference on Artificial Intelligence. New York： ACM， 2016： 2094-2100. DOI： 10.5555/3016100.3016191 .

[26] BOGALE T E， WANG X， LE L. Machine intelligence techniques for next-generation context-aware wireless networks［EB/OL］. 2018： arXiv 1801.04223.

[27] GAN Y， ZHANG Y Q， CHENG D L， et al. An open-source benchmark suite for microservices and their hardware-software implications for cloud & edge systems［C］//Proceedings of the 24th International Conference on Architectural Support for Programming Languages and Operating Systems. New York： ACM， 2019： 3-18. DOI： 10.1145/3297858.3304013 .

[28] CHEN Y， LIU Z Y， ZHANG Y C， et al. Deep reinforcement learning-based dynamic resource management for mobile edge computing in industrial Internet of Things［J］. IEEE Transactions on Industrial Informatics， 2021， 17（7）： 4925-4934. DOI： 10.1109/TII.2020.3028963 .

[29] WEI Y F， YU F R， SONG M， et al. Joint optimization of caching， computing， and radio resources for fog-enabled IoT using natural actor⁃critic deep reinforcement learning［J］. IEEE Internet of Things Journal， 2019， 6（2）： 2061-2073. DOI： 10.1109/JIOT.2018.2878435 .

[30] HAZARIKA B， SINGH K， BISWAS S， et al. DRL-Based resource allocation for computation offloading in IoV networks［J］. IEEE Transactions on Industrial Informatics， 2022， 18（11）： 8027-8038. DOI： 10.1109/TII.2022.3168292 .

[31] TAN L T， HU R Q. Mobility-aware edge caching and computing in vehicle networks： A deep reinforcement learning［J］. IEEE Transactions on Vehicular Technology， 2018， 67（11）： 10190-10203. DOI： 10.1109/TVT.2018.2867191 .

[32] 高晗， 田育龙， 许封元， 等. 深度学习模型压缩与加速综述［J］. 软件学报， 2021， 32（1）： 68-92. DOI： 10.13328/j.cnki.jos.006096 .

[33] GAO H， TIAN Y L， XU F Y， et al. Survey of deep learning model compression and acceleration［J］. Journal of Software， 2021， 32（1）： 68-92. DOI： 10.13328/j.cnki.jos.006096 （Ch ）.

[34] 孙彦丽， 叶炯耀. 基于剪枝与量化的卷积神经网络压缩方法［J］. 计算机科学， 2020， 47（8）： 261-266. DOI： 10.11896/jsjkx.190700062 .

[35] SUN Y L， YE J Y. Convolutional neural networks compression based on pruning and quantization［J］. Computer Science， 2020， 47（8）： 261-266. DOI： 10.11896/jsjkx.190700062（Ch ）.

[36] HAN S， POOL J， TRAN J， et al. Learning both weights and connections for efficient neural networks［C］//Proceedings of the 28th International Conference on Neural Information Processing Systems. New York： ACM， 2015： 1135-1143. DOI： 10.5555/2969239.2969366 .

[37] HAN S， MAO H， DALLY W J. Deep compression： Compressing deep neural networks with pruning， trained quantization and Huffman coding［EB/OL］. 2015： arXiv 1510.00149.

[38] JACOB B， KLIGYS S， CHEN B， et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2018： 2704-2713. DOI： 10.1109/CVPR.2018.00286 .

[39] DONG Z， YAO Z W， GHOLAMI A， et al. HAWQ： Hessian aware quantization of neural networks with mixed-precision［C］//2019 IEEE/CVF International Conference on Computer Vision. New York： IEEE Press， 2020： 293-302. DOI： 10.1109/ICCV.2019.00038 .

[40] REAGEN B， WHATMOUGH P， ADOLF R， et al. Minerva： enabling low-power， highly-accurate deep neural network accelerators［C］//2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture （ISCA）. New York： IEEE Press， 2016： 267-278. DOI： 10.1109/ISCA.2016.32 .

[41] LIU S C， LIN Y Y， ZHOU Z M， et al. On-demand deep model compression for mobile devices： A usage-driven model selection framework［C］//Proceedings of the 16th Annual International Conference on Mobile Systems， Applications， and Services. New York： ACM， 2018： 389-400. DOI： 10.1145/3210240.3210337 .

[42] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network ［EB/OL］. 2015： arXiv： 1503.02531. DOI: 10.5860/choice.189890 .

[43] ZHANG Y， XIANG T， HOSPEDALES T M， et al. Deep mutual learning［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2018： 4320-4328. DOI： 10.1109/CVPR.2018.00454 .

[44] ROMERO A， BALLAS N， KAHOU S E， et al. FitNets： Hints for thin deep nets［EB/OL］. 2014： arXiv： 1412.6550.

[45] YIM J， JOO D， BAE J， et al. A gift from knowledge distillation： Fast optimization， network minimization and transfer learning［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2017： 7130-7138. DOI： 10.1109/CVPR.2017.754 .

[46] FENG Z X， LAI J H， XIE X H. Resolution-aware knowledge distillation for efficient inference［J］. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society， 2021， 30： 6985-6996. DOI： 10.1109/TIP.2021.3101158 .

[47] XU G D， LIU Z W， LI X X， et al. Knowledge distillation meets self-supervision［M］//Computer Vision — ECCV 2020. Cham： Springer International Publishing， 2020： 588-604. DOI： 10.1007/978-3-030-58545-7_34 .

[48] WANG Y， LIN S， QU Y， et al. Towards compact single image super-resolution via contrastive self-distillation［EB/OL］. 2021： arXiv 2105.11683. DOI: 10.24963/ijcai.2021/155 .

[49] CHEN H T， WANG Y H， XU C， et al. Learning student networks via feature embedding［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（1）： 25-35. DOI： 10.1109/TNNLS.2020.2970494 .

[50] KANG Y P， HAUSWALD J， GAO C， et al. Neurosurgeon： Collaborative intelligence between the cloud and mobile edge ［J］. ACM SIGARCH Computer Architecture News， 2017， 45（1）： 615-629. DOI： 10.1145/3037697.3037698 .

[51] 刘先锋， 梁赛， 李强， 等. 基于深度强化学习的云边协同DNN推理［J］. 计算机工程， 2022， 48（11）： 30-38. DOI： 10.19678/j.issn.1000-3428.0063579 .

[52] LIU X F， LIANG S， LI Q， et al. Cloud-edge collaborative DNN inference based on deep reinforcement learning［J］. Computer Engineering， 2022， 48（11）：30-38. DOI： 10.19678/j.issn.1000-3428.0063579（Ch ）.

[53] KO J H， NA T， AMIR M F， et al. Edge-host partitioning of deep neural networks with feature space encoding for resource-constrained Internet-of-things platforms［C］//2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. New York： IEEE Press， 2019： 1-6. DOI： 10.1109/AVSS.2018.8639121 .

[54] YAO S C， LI J Y， LIU D X， et al. Deep compressive offloading： Speeding up neural network inference by trading edge computation for network latency［C］//Proceedings of the 18th Conference on Embedded Networked Sensor Systems. New York： ACM， 2020： 476-488. DOI： 10.1145/3384419.3430898 .

[55] SHAO J W， ZHANG J. BottleNet++： An end-to-end approach for feature compression in device-edge Co-inference systems［C］//2020 IEEE International Conference on Communications Workshops （ICC Workshops）. New York： IEEE Press， 2020： 1-6. DOI： 10.1109/ICCWorkshops49005.2020.9145068 .

[56] MOHAMMED T， JOE-WONG C， BABBAR R， et al. Distributed inference acceleration with adaptive DNN partitioning and offloading［C］//IEEE INFOCOM 2020 — IEEE Conference on Computer Communications. New York： ACM， 2020： 854-863. DOI： 10.1109/INFOCOM41043.2020.9155237 .

[57] ZENG L K， LI E， ZHOU Z， et al. Boomerang： On-demand cooperative deep neural network inference for edge intelligence on the industrial Internet of Things［J］. IEEE Network， 2019， 33（5）： 96-103. DOI： 10.1109/MNET.001.1800506 .

[58] LI E， ZENG L K， ZHOU Z， et al. Edge AI： On-demand accelerating deep neural network inference via edge computing［J］. IEEE Transactions on Wireless Communications， 2020， 19（1）： 447-457. DOI： 10.1109/TWC.2019.2946140 .

[59] LASKARIDIS S， VENIERIS S I， ALMEIDA M， et al. SPINN： Synergistic progressive inference of neural networks over device and cloud［C］//Proceedings of the 26th Annual International Conference on Mobile Computing and Networking. New York： ACM， 2020： 1-15. DOI： 10.1145/3372224.3419194 .

[60] MIAO W W， ZENG Z， WEI L， et al. Adaptive DNN partition in edge computing environments［C］//2020 IEEE 26th International Conference on Parallel and Distributed Systems （ICPADS）. New York： IEEE Press， 2021： 685-690. DOI： 10.1109/ICPADS51040.2020.00097 .

[61] ZHANG L T， CHEN L X， XU J. Autodidactic neurosurgeon： Collaborative deep inference for mobile edge intelligence via online learning［C］//Proceedings of the Web Conference 2021. New York： ACM， 2021： 3111-3123. DOI： 10.1145/3442381.3450051 .

[62] SHI L， XU Z G， SUN Y B， et al. A DNN inference acceleration algorithm combining model partition and task allocation in heterogeneous edge computing system［J］. Peer⁃to⁃Peer Networking and Applications， 2021， 14（6）： 4031-4045. DOI： 10.1007/s12083-021-01223-1 .

[63] MANASI S D， SNIGDHA F S， SAPATNEKAR S S. NeuPart： Using analytical models to drive energy-efficient partitioning of CNN computations on cloud-connected mobile clients［J］. IEEE Transactions on Very Large Scale Integration （VLSI） Systems， 2020， 28（8）： 1844-1857. DOI： 10.1109/TVLSI.2020.2995135 .

[64] WANG Q， LI Z Y， NAI K， et al. Dynamic resource allocation for jointing vehicle-edge deep neural network inference［J］. Journal of Systems Architecture， 2021， 117： 102133. DOI： 10.1016/j.sysarc.2021.102133 .

[65] YAN J， BI S Z， ZHANG Y J A. Optimal model placement and online model splitting for device-edge co-inference［J］. IEEE Transactions on Wireless Communications， 2022， 21（10）： 8354-8367. DOI： 10.1109/TWC.2022.3165824 .

[66] TEERAPITTAYANON S， MCDANEL B， KUNG H T. BranchyNet： Fast inference via early exiting from deep neural networks［C］//2016 23rd International Conference on Pattern Recognition （ICPR）. New York： IEEE Press， 2017： 2464-2469. DOI： 10.1109/ICPR.2016.7900006 .

[67] LASKARIDIS S， KOURIS A， LANE N D. Adaptive inference through early-exit networks： Design， challenges and directions［C］//Proceedings of the 5th International Workshop on Embedded and Mobile Deep Learning. New York： ACM， 2021： 1-6. DOI： 10.1145/3469116.3470012 .

[68] HUANG Z W， DONG F， SHEN D， et al. Enabling low latency edge intelligence based on multi-exit DNNs in the wild［C］//2021 IEEE 41st International Conference on Distributed Computing Systems （ICDCS）. New York： IEEE Press， 2021： 729-739. DOI： 10.1109/ICDCS51616.2021.00075 .

[69] DONG F， WANG H T， SHEN D， et al. Multi-exit DNN inference acceleration based on multi-dimensional optimization for edge intelligence［J］. IEEE Transactions on Mobile Computing， 2022， PP（99）： 1. DOI： 10.1109/TMC.2022.3172402 .

[70] SONG J D， LIU Z C， WANG X F， et al. Adaptive and collaborative edge inference in task stream with latency constraint［C］//ICC 2021 — IEEE International Conference on Communications. New York： IEEE Press， 2021： 1-6. DOI： 10.1109/ICC42927.2021.9500892 .

[71] HU S， DONG C W， WEN W S. Enable pipeline processing of DNN Co-inference tasks in the mobile-edge cloud［C］//2021 IEEE 6th International Conference on Computer and Communication Systems （ICCCS）. New York： IEEE Press， 2021： 186-192. DOI： 10.1109/ICCCS52626.2021.9449178 .

[72] SHAO J W， ZHANG H W， MAO Y Y， et al. Branchy-GNN： A device-edge Co-inference framework for efficient point cloud processing［C］//ICASSP 2021 — 2021 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE Press， 2021： 8488-8492. DOI： 10.1109/ICASSP39728.2021.9414831 .

[73] FANG W W， XUE F， DING Y， et al. EdgeKE： An on-demand deep learning IoT system for cognitive big data on industrial edge devices［J］. IEEE Transactions on Industrial Informatics， 2021， 17（9）： 6144-6152. DOI： 10.1109/TII.2020.3044930 .

[74] GHODRATI A， EHTESHAMI BEJNORDI B， HABIBIAN A. FrameExit： conditional early exiting for efficient video recognition［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2021： 15603-15613. DOI： 10.1109/CVPR46437.2021.01535 .

[75] LI C， XU H L， XU Y， et al. DNN inference acceleration with partitioning and early exiting in edge computing［M］//Wireless Algorithms， Systems， and Applications. Cham： Springer International Publishing， 2021： 465-478. DOI： 10.1007/978-3-030-85928-2_37 .

[76] LI E， ZHOU Z， CHEN X. Edge intelligence： On-demand deep learning model Co-inference with device-edge synergy［C］//Proceedings of the 2018 Workshop on Mobile Edge Communications. New York： ACM， 2018： 31-36. DOI： 10.1145/3229556.3229562 .

[77] XING Q L， XU M， LI T Y， et al. Early exit or not： Resource-efficient blind quality enhancement for compressed images［M］//Computer Vision — ECCV 2020. Cham： Springer International Publishing， 2020： 275-292. DOI： 10.1007/978-3-030-58517-4_17 .

[78] LI X， LOU C， ZHU Z， et al. Predictive exit： Prediction of fine-grained early exits for computation- and energy-efficient inference ［EB/OL］. 2022： arXiv 2206.04685.

[79] WANG P， OUYANG T， LIAO G C， et al. Edge intelligence in motion： Mobility-aware dynamic DNN inference service migration with downtime in mobile edge computing［J］. Journal of Systems Architecture， 2022， 130： 102664. DOI： 10.1016/j.sysarc.2022.102664 .

[80] YANG H， LIANG Y S， YUAN J Q， et al. Distributed blockchain-based trusted multidomain collaboration for mobile edge computing in 5G and beyond［J］. IEEE Transactions on Industrial Informatics， 2020， 16（11）： 7094-7104. DOI： 10.1109/TII.2020.2964563 .

[81] 谢人超， 廉晓飞， 贾庆民， 等. 移动边缘计算卸载技术综述［J］. 通信学报， 2018， 39（11）： 138-155. DOI： 10.11959/j.issn.1000-436x.2018215 .

[82] XIE R C， LIAN X F， JIA Q M， et al. Survey on computation offloading in mobile edge computing［J］. Journal on Communications， 2018， 39（11）： 138-155. DOI： 10.11959/j.issn.1000-436x.2018215 （Ch ）.

[83] ZHOU L， SAMAVATIAN M H， BACHA A， et al. Adaptive parallel execution of deep neural networks on heterogeneous edge devices［C］//Proceedings of the 4th ACM/IEEE Symposium on Edge Computing. New York： ACM， 2019： 195-208. DOI： 10.1145/3318216.3363312 .

[84] YOU C S， HUANG K B， CHAE H， et al. Energy-efficient resource allocation for mobile-edge computation offloading［J］. IEEE Transactions on Wireless Communications， 2017， 16（3）： 1397-1411. DOI： 10.1109/TWC.2016.2633522 .

[85] CHEN X， JIAO L， LI W Z， et al. Efficient multi-user computation offloading for mobile-edge cloud computing［J］. IEEE/ACM Transactions on Networking， 2016， 24（5）： 2795-2808. DOI： 10.1109/TNET.2015.2487344 .

[86] PENG Q L， XIA Y N， FENG Z， et al. Mobility-aware and migration-enabled online edge user allocation in mobile edge computing［C］//2019 IEEE International Conference on Web Services （ICWS）. New York： IEEE Press， 2019： 91-98. DOI： 10.1109/ICWS.2019.00026 .

[87] XU Z Y， YANG D J， YIN C X， et al. A Co-scheduling framework for DNN models on mobile and edge devices with heterogeneous hardware［J］. IEEE Transactions on Mobile Computing， 2023， 22（3）： 1275-1288. DOI： 10.1109/TMC.2021.3107424 .

[88] TULI S， CASALE G， JENNINGS N R. MCDS： AI augmented workflow scheduling in mobile edge cloud computing systems［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（11）： 2794-2807. DOI： 10.1109/TPDS.2021.3135907 .

[89] 张星洲， 鲁思迪， 施巍松. 边缘智能中的协同计算技术研究［J］. 人工智能， 2019， 6（5）： 55-67. DOI： 10.16453/j.cnki.issn2096-5036.2019.05.006 .

[90] ZHANG X Z， LU S D， SHI W S. Research on collaborative computing technology in edge intelligence［J］. Artificial Intelligence VIEW， 2019， 6（5）： 55-67. DOI： 10.16453/j.cnki.issn2096-5036.2019.05.006 （Ch ）.

[91] YI S H， HAO Z J， ZHANG Q Y， et al. LAVEA： Latency-aware video analytics on edge computing platform［C］//2017 IEEE 37th International Conference on Distributed Computing Systems （ICDCS）. New York： IEEE Press， 2017： 2573-2574. DOI： 10.1109/ICDCS.2017.182 .

[92] KO S W， HAN K F， HUANG K B. Wireless networks for mobile edge computing： Spatial modeling and latency analysis［J］. IEEE Transactions on Wireless Communications， 2018， 17（8）： 5225-5240. DOI： 10.1109/TWC.2018.2840120 .

[93] JIN P P， FEI X C， ZHANG Q X， et al. Latency-aware VNF chain deployment with efficient resource reuse at network edge［C］//IEEE INFOCOM 2020—IEEE Conference on Computer Communications. New York： IEEE Press， 2020： 267-276. DOI： 10.1109/INFOCOM41043.2020.9155345 .

[94] GONG X W. Delay-optimal distributed edge computing in wireless edge networks［C］//IEEE INFOCOM 2020 — IEEE Conference on Computer Communications. New York： IEEE Press， 2020： 2629-2638. DOI： 10.1109/INFOCOM41043.2020.9155272 .

[95] LIU D Z， ZHU G X， ZHANG J， et al. Data-importance aware user scheduling for communication-efficient edge machine learning［J］. IEEE Transactions on Cognitive Communications and Networking， 2021， 7（1）： 265-278. DOI： 10.1109/TCCN.2020.2999606 .

[96] YOON J， LIU P， BANERJEE S. Low-cost video transcoding at the wireless edge［C］//2016 IEEE/ACM Symposium on Edge Computing （SEC）. New York： IEEE Press， 2016： 129-141. DOI： 10.1109/SEC.2016.8 .

[97] KATO N， FADLULLAH Z M， MAO B M， et al. The deep learning vision for heterogeneous network traffic control： Proposal， challenges， and future perspective［J］. IEEE Wireless Communications， 2017， 24（3）： 146-153. DOI： 10.1109/MWC.2016.1600317WC .

[98] FADLULLAH Z M， TANG F X， MAO B M， et al. State-of-the-art deep learning： Evolving machine intelligence toward tomorrow’s intelligent network traffic control systems［J］. IEEE Communications Surveys & Tutorials， 2017， 19（4）： 2432-2455. DOI： 10.1109/COMST.2017.2707140 .

[99] NGUYEN T T， NGUYEN N D， NAHAVANDI S. Deep reinforcement learning for multiagent systems： A review of challenges， solutions， and applications［J］. IEEE Transactions on Cybernetics， 2020， 50（9）： 3826-3839. DOI： 10.1109/TCYB.2020.2977374 .

[100] WU Z H， PAN S R， CHEN F W， et al. A comprehensive survey on graph neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（1）： 4-24. DOI： 10.1109/TNNLS.2020.2978386 .

基金资助

国家自然科学基金(62272179)