融合局部感知Transformer模型的微积分方程求解

摘要

针对局部信息在数学表达式的符号计算中非常重要，而Transformer模型通常存在局部缺失从而忽略字符间的语义信息的问题，提出一种将一维卷积(Conv1d)和Transformer模型相结合的符号计算模型Convld＿Transformer。该模型通过在嵌入层中引入卷积网络提取局部特征信息，可有效增强局部感知。此外，还提出了一种生成一类偏微分方程数据集的算法，该算法结合特征线法和常微分方程变换，可实现对常系数一阶线性(pde1＿cc)、变系数一阶线性(pde1＿vc)以及满足一定条件的二阶抛物线偏微分方程(parapde2＿cc)的求解。实验结果表明：Conv1d＿Transformer模型在函数积分任务中相比Transformer模型精度更高，在解决pde1＿cc、pde1＿vc和parapde2＿cc问题时准确率分别达到了96.00%、77.18%和86.18%,其性能要优于Mathematica和SymPy数学求解器。

关键词

符号计算 / 一维卷积 / 函数积分 / 微分方程 / 特征线法