一种面向多模态模型的分区混合并行优化方法

摘要

针对多模态模型架构复杂、参数量庞大、算力需求高，导致训练难度大、效率低，以及现有数据并行与模型并行策略难以应对内部异构特性的问题，提出了一种面向多模态模型的分区混合并行优化(MMHP)方法。首先根据多模态模型中不同子模块的异构性，构建模块依赖图，识别关键切分点，实现模块分区，保证子模块间的负载均衡；其次，针对不同模块分区的参数规模和计算需求，融合数据并行与模型并行，设计混合并行优化方法以适应异构计算任务的多样化需求；最后，基于动态规划设计计算任务调度优化算法，动态分配计算资源，实现计算任务与资源合理匹配，进一步优化计算资源的利用率，提升模型的训练效率。实验结果表明，在不影响模型训练精度的情况下，所提出的MMHP方法可充分利用计算资源，提升多模态模型的训练效率，与现有主流并行策略相比，训练速度最大可提升2倍。

关键词

多模态模型 / 混合并行 / 并行优化 / 模块分区 / 调度优化

基金资助

国家自然科学基金资助项目(62262038); 兰州市科技计划资助项目(2025-2-41)