一种支持边缘计算的轻量化深度学习推理系统设计

摘要

针对边缘计算场景下深度学习推理面临的资源受限问题，本研究提出了一种轻量化推理系统设计方案。结合模型压缩、混合精度计算和边-云协同机制，设计了延迟加载、动态阈值调整等关键技术，以优化推理效率与资源利用率。通过实验证明：系统在工业控制器场景中实现了85 ms的模型加载延迟、35 FPS的推理帧率以及92%的动态阈值调整准确率，满足实时性与精度要求。该方案能够有效应对边缘设备算力、存储和能耗瓶颈，为智能化应用提供高效支持。

关键词

边缘计算 / 深度学习 / 轻量化推理 / 边-云协同