大模型指导下对信道噪声高鲁棒的联合信源信道编码算法

摘要

大模型显著提升了语义通信系统的语义表征与理解能力，但其庞大的参数量导致计算开销和推理时延显著增加，限制了系统的实用性。知识蒸馏虽然能够将大模型知识迁移至轻量级编码器以降低模型规模和复杂度，但在低信噪比(SNR)条件下往往会削弱系统的鲁棒性。针对上述问题，提出了一种鲁棒自知识蒸馏编码算法。该算法首先对大模型进行微调，并针对其编码得到的语义特征，在接收端引入2个结构相同的解码器，分别预测无噪和加噪传输条件下的解码输出。其中，无噪条件下的解码器作为教师模型，通过自蒸馏指导加噪条件下解码器的训练，从而增强解码端对信道噪声的鲁棒性。在此基础上，将大模型的语义表征能力蒸馏至轻量级编码器，在推理阶段采用经鲁棒增强训练得到的加噪解码器进行语义解码。实验结果表明，所提算法能够在极低SNR的情况下，图像分类任务准确率提升了约2.5倍。

关键词

语义通信 / 知识蒸馏 / 信道噪声 / 大模型