通过元学习增强泛化的一种少样本模仿学习方法

摘要

针对大多数经典模仿学习方法在少样本场景下因数据稀缺性导致模型训练效果不佳且泛化能力不足的问题,提出一种基于元学习的生成对抗模仿学习(meta-learning based generative adversarial imitation learning, Meta-GAIL)方法。通过引入元学习机制,策略网络能够在与目标任务具有相似特征的多样化任务中预先积累经验知识;采用生成对抗模仿学习(generative adversarial imitation learning, GAIL)算法对目标任务提供的少量示范数据进行微调,实现新任务快速适应性迁移。为验证方法有效性,在MuJoCo物理仿真平台开展系统性试验,将Meta-GAIL方法与基线算法进行对比评估。试验结果表明,Meta-GAIL方法通过有效融合元学习阶段获取的跨任务知识表征,在未见过的相似任务场景中展现出更强的快速适应能力,在少样本设定下的性能表现持续优于对比基线算法。

关键词

少样本学习 / 模仿学习 / 生成对抗模仿学习 / 元学习 / 泛化