基于机器学习的黄土关键力学参数概率预测统一框架体系

Unified Framework for Probabilistic Prediction of Critical Mechanical Parameters of Loess by Machine Learning Methods

摘要

为实现黄土关键力学参数的准确预测，并合理刻画预测结果的不确定性，提出了基于机器学习方法的黄土关键力学参数概率预测统一框架体系，通过对训练集的预测偏差进行概率分布拟合，进而构建预测结果的95%置信区间，置信区间的大小反映了预测结果的合理与否．基于随机森林、决策树、极限梯度提升和自适应提升4种方法预测黄土黏聚力，对应的决定系数R²分别达到了0.84、0.75、0.81和0.79，4种方法所构建的95%置信区间包含真正的试验结果的比例均在95%左右．表明通过训练集的预测偏差得到的95%置信区间是相对可靠的，可对预测结果的不确定性进行合理量化．此外，基于上述4种方法可实现黄土黏聚力的相对准确的预测．

Abstract

In order to predict the criticalmechanical parameters of loess accurately and quantify the uncertainty corresponding to the prediction results reasonably, anunified framework for probabilistic prediction of critical mechanical parameters of loess by machine learning methods is proposed. By fitting probability density function to the bias of the training dataset, a 95% confidence interval for the prediction results is constructed, and the size of the confidence interval reflects the rationality of the prediction results. (Result) Predicting cohesion of loess based on four machine learning methods, namely, random forest, decision tree, extreme gradient boosting and adaptive boosting, the corresponding coefficients of determination R² reached 0.84, 0.75, 0.81 and 0.79, respectively. The proportion of measurement data included in the 95% confidence interval constructed by the four methods is around 95%. It is shown that the 95% confidence interval obtained from the bias based on the training dataset is relatively reliable and can quantify the uncertainty of the prediction results reasonably. In addition, the cohesion of loess can be predicted accurately using the four machine learning methods.

Graphical abstract

关键词

黄土 / 黏聚力 / 数据驱动 / 概率预测 / 偏差 / 不确定性．

Key words

loess / cohesion / data⁃driven / probabilistic prediction / bias / uncertainty

0 引言

我国黄土分布广泛，尤其在黄土高原地区，其力学性质与地质灾害防治、基础设施建设、交通运输规划等息息相关（Yan et al.， 2023； 张俊然等， 2023）．黄土的黏聚力是黄土重要的力学参数之一，反映了土体颗粒间的相互关系以及吸附作用，黄土黏聚力的准确测定具有十分重要的理论价值与工程意义（党进谦和李靖， 1997）．例如，黄土的黏聚力随其埋深、地质成因、赋存环境等的不同存在显著差异（Xu et al.， 2023； Zuo et al.， 2024），与黄土的变形、沉降等密切相关，因此在黄土地区重大线性工程（如高速铁路、高速公路）施工过程中，需充分考虑黄土黏聚力的影响；黄土浸水后，其黏聚力降低导致土体强度衰减，在地震等外部动荷载作用下易发生边坡失稳等灾害，对周边地区人民的生命和财产安全产生了极大威胁．因此，对研究区或施工现场的黄土黏聚力进行合理估计十分必要．

传统土力学试验中，黏聚力的测试主要通过直接剪切试验或三轴压缩试验，然而，由于土体的取样、包装、运输等均需耗费较多的人力、物力、时间，且受限于试验条件、施工进度、施工成本等因素的制约，经常难以满足要求．因此，可利用经验公式或机器学习方法，建立易获得的黄土物理力学参数与其黏聚力之间的关系，间接估计黄土的黏聚力．经验公式法可明确显示易获得的黄土物理力学参数与其黏聚力之间的定量转换关系，但其固有的方程形式导致其经常难以准确估计目标值（Zhao et al.， 2022）．机器学习方法通过建立易获得的黄土物理力学参数与其黏聚力之间的复杂非线性关系，可显著提高模型的预测性能（宋超等， 2023）．

然而，传统机器学习方法往往仅能对目标值进行预测，预测结果的合理性通常难以定量刻画（Zhang et al.， 2022b）．因此，本文提出了基于机器学习方法的黄土关键力学参数概率预测统一框架体系，通过对训练集的预测偏差进行概率分布拟合，进而构建预测结果的95%置信区间，从而实现预测结果不确定性的合理刻画．相比于基于贝叶斯理论的不确定性量化方法，本文所提方法适用范围更广，且无需进行马尔科夫链蒙特卡洛模拟，计算效率更高．

本文研究内容总体框架如下：首先，介绍了4种常见的机器学习方法的基本原理，本文以随机森林、决策树、极限梯度提升和自适应提升4种常见的机器学习模型为例，验证所提方法不确定性量化的合理性与可靠性，对于其他机器学习模型，本文所提方法同样适用；其次，提出了基于机器学习方法的黄土关键力学参数概率预测统一框架体系，并对其不确定性量化的原理与步骤进行阐述；然后，通过一个粉黄土黏聚力概率预测工程实例验证了本文所提的不确定性量化方法的合理性与可靠性，并对4种机器学习方法的预测结果进行了对比分析；最后，探讨了基于训练集的预测误差进行不确定性量化的合理性，并与本文所提的黄土关键力学参数概率预测统一框架体系进行了对比．

1 黄土黏聚力预测的机器学习方法

1.1　决策树方法

决策树（DT）方法通过一系列决策节点和分支实现目标值的预测．决策树的组成主要包括根节点、内部节点、叶节点和树枝．其中非叶节点用于表征在某个输入特征属性上的划分，根据测量数据在该输入特征属性上的取值将其划分为若干子集，分支表示预测目标值，叶节点用于存放预测目标值（董学超等， 2023）．决策树方法不仅可以处理离散和连续型数据，且在数据量较多时，具有较高的计算效率．其主要实施步骤如下（井彦林等， 2011；Kardani et al.， 2022）：首先，通过信息增益、信息增益比、基尼指数等方法从所有输入特征中确定用于数据集划分的输入特征；其次，在每个节点上分别确定用于数据集划分的输入特征，对数据集进行逐级划分，直至达到预定条件或数据集已不能被继续划分；最后，为避免出现过拟合，需对决策树进行剪枝，主要包括在决策树构建过程中通过限制其深度、节点数等实现剪枝，和决策树构建完成后通过对子树进行剪枝，从而降低模型的复杂度．

1.2　随机森林方法

随机森林（RF）方法是由Breiman （2001）提出的一种集成学习算法．通过构建多个决策树，取所有决策树输出目标的平均值作为代理模型的预测目标值（Ewusi⁃Wilson et al.， 2023）．随机森林方法不仅可以处理高维数据，还可根据数据集特征对其中的缺失值进行补全，并对输入特征的重要性进行评估（Chen et al.， 2022）．此外，在数据量较多时，随机森林方法仍具有较高的计算效率．随机森林方法的具体实施步骤如下（Liu et al.， 2021； 吴禄源等， 2023）：

首先，根据预置的比例，从训练集中有放回地进行N次随机抽样，构成N个用于代理模型训练的测量数据子集；其次，基于每一个测量数据子集进行模型训练，建立包含N棵决策树的随机森林模型；最后，综合N棵决策树的预测结果，计算其算术平均值，即可得到预测目标值．

1.3　极限梯度提升方法

极限梯度提升（XGBoost）方法是一种基于决策树的集成学习算法，由加法模型（即一系列弱学习器累加形成强学习器）和前向分布算法（即下一轮迭代生成的新学习器基于上一轮计算结果）两部分组成．极限梯度提升方法通过在损失函数中增加正则化项，有效降低了模型过拟合发生的概率，此外，其通过对损失函数进行泰勒二阶展开，显著提升了模型的预测性能（Zhang et al.， 2021）．基于极限梯度提升方法预测目标值可表示为（Nguyen et al.， 2023）：

y_{\mathrm{p},i}={\displaystyle \sum _{k=\mathrm{1}}^K}{f}_k\left(x_i\right),f_k\in F,(1)

式中：y_p，i 表示与第i组易获得的黄土物理力学参数X_i 对应的黄土黏聚力预测值；f_k （·）表示第k棵决策树；K表示决策树的总数；F表示所有决策树的集合； x_i 表示第i组易获得的黄土物理力学参数X_i 的测量值；f_k （ x_i ）表示第k棵决策树中第i个黄土黏聚力预测值的得分．极限梯度提升方法通过在每一次迭代中拟合一个新的弱学习器，达到了降低上一轮迭代的残差的目的，进而实现了模型预测性能的不断提升（Abdi et al.， 2023； 李山有等， 2024）．

1.4　自适应提升方法

自适应提升（AdaBoost）方法是一种增强学习算法，通过训练多个弱学习器，并利用权重调整弱学习器的组合方式，形成强学习器，从而提升模型的预测性能（Liu et al.， 2020）．AdaBoost方法的自适应体现在会根据前一个弱学习器的预测性能自动调整其权重系数，并用来训练下一个弱学习器．同时，在每一轮迭代中，加入一个新的弱学习器，直到达到某个设定的足够小的残差或达到预置的最大迭代次数，进而确定最终的强学习器．自适应提升方法仅需调整迭代次数即可自动调整弱学习器的权重，不需对弱学习器进行单独调参，此外自适应提升方法在处理大规模数据集时具有较高的计算效率（Wen et al.， 2023； 杨玲和魏静， 2023）．

2 黄土黏聚力概率预测统一框架体系

2.1　框架体系一

在基于黄土物理力学参数与机器学习方法预测其黏聚力过程中，预测结果的不确定性主要来源于以下几个方面：其一为黄土自身的不确定性，主要由黄土自身的性质导致，如土体的埋深、形成原因、赋存环境等；其二为外界因素导致其黏聚力存在一定的不确定性，如取样过程中土体扰动而产生的不确定性、试验人员的操作水平、试验仪器的精度导致的不确定性等（Zhang et al.， 2022a）．已有机器学习方法主要聚焦于目标值的准确预测，而通常忽略了对预测结果合理性/不确定性的合理刻画．尽管基于贝叶斯学派相关理论可量化预测结果的不确定性，但通常难以得到解析解，需通过马尔科夫链蒙特卡洛模拟得到代理模型参数的后验概率分布，计算效率相对较低，且对多数机器学习方法并不适用（Bao and Burghardt， 2022）．基于此，本节提出了一种基于机器学习方法的黄土关键力学参数概率预测统一框架体系．接下来，将详细阐述本节所提不确定性量化方法的具体实施步骤：

（1）将包含黄土黏聚力y与易获得的黄土物理力学参数 X =｛X₁， X₂， …， X₉｝，其中X₁=埋深，X₂=含水率，X₃=孔隙比，X₄=液限，X₅=塑限，X₆=液性指数，X₇=塑性指数，X₈=饱和度和X₉=干密度的数据集划分为两部分，分别为训练集和测试集；

（2）基于训练集中的测量数据，以易获得的黄土物理力学参数作为输入特征，黄土黏聚力作为输出目标值，建立机器学习模型，将得到的黄土黏聚力预测值记作y_{\mathrm{p}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}，已有的训练集中黄土黏聚力测量值记作y_{\mathrm{m}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}；

（3）定义机器学习模型的预测偏差λ_d为训练集中黄土黏聚力测量值y_{\mathrm{m}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}与预测值y_{\mathrm{p}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}的比值，即{\lambda }_{\mathrm{d}}=y_{\mathrm{m}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}/y_{\mathrm{p}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}；

（4）根据黄土黏聚力自身属性特征，其值为大于0的数，因此上述步骤中得到的机器学习模型的预测偏差λ_d大于0．基于此，通过对数正态分布对预测偏差λ_d进行概率分布拟合，可得到预测偏差λ_d对应的概率密度函数（PDF），进一步地，可获得PDF函数的95%置信区间（CI）以及置信区间的上、下边界．95%置信区间体现了预测结果的不确定性；

（5）定义覆盖比例CP₉₅，即黄土黏聚力测量值落入95%置信区间的数量与黄土黏聚力测量值的总数的比值，覆盖比例CP₉₅体现了不确定性量化的可靠性与合理性（Song et al.， 2024）．因此，根据步骤4中的结果可得到训练集的覆盖比例\mathrm{C}{\mathrm{P}}_{\mathrm{95}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}；

（6）将测试集中易获得的黄土物理力学参数带入步骤2中建立的机器学习模型，可得到测试集的黄土黏聚力预测值，记作y_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}．将y_{\mathrm{p}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}与步骤4中得到的95%置信区间的上、下边界分别相乘，得到测试集中黄土黏聚力预测值对应的95%置信区间；

（7）根据步骤5中覆盖比例的定义，计算测试集的覆盖比例\mathrm{C}{\mathrm{P}}_{\mathrm{95}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}．

2.2　框架体系二

本文2.1节详细阐述了一种黄土黏聚力概率预测的统一框架体系，即通过对预测偏差进行概率分布拟合，从而达到量化预测结果不确定性的目的．然而，在2.1节步骤4中拟合概率分布时，直接通过训练集的预测偏差对应的概率密度函数得到95%置信区间，由于测试集中的测量数据为全新的数据，代入2.1节步骤2中建立的机器学习模型，容易导致测试集的预测偏差相比于训练集偏大．此时，通过2.1节得到的95%置信区间用于测试集不确定性量化表征时，覆盖比例CP₉₅可能偏小，进而导致不确定性量化结果的合理性与可靠性降低．鉴于此，本节对黄土黏聚力概率预测的统一框架体系一进行了进一步的改进，即框架体系二，具体如下：

首先，将包含黄土黏聚力y与易获得的黄土物理力学参数 X =｛X₁， X₂， …， X₉｝的数据集划分为两部分，分别为训练集和测试集；其次，进一步划分训练集，采用五折交叉验证方法，分别用于模型训练和模型验证；最后，基于一次随机试验结果，通过对训练集中模型验证部分的预测偏差进行对数正态分布拟合得到预测偏差对应的概率密度函数．该不确定性量化方法的其他步骤与2.1节完全一致，不再详细阐述．

本节所提不确定性量化方法通过对训练集中模型验证部分的预测偏差进行概率分布拟合，由于训练集中模型验证部分也未参与机器学习模型的训练，因此其可有效改善测试集中不确定性量化结果偏小的情况．本节所提不确定性量化方法的可靠性与合理性将在第3章通过一个粉黄土黏聚力概率预测工程实例进行详细说明．

3 黄土黏聚力概率预测实例分析

3.1　数据集概述

本章通过一个工程实例验证本文所提不确定性量化方法的可靠性与合理性．采用的黄土类型为粉黄土，数据集中包含350组测量数据，由1个输出目标与9个输入特征构成，即y=黄土黏聚力，X₁=埋深，X₂=含水率，X₃=孔隙比，X₄=液限，X₅=塑限，X₆=液性指数，X₇=塑性指数，X₈=饱和度和X₉=干密度．测量数据的基本统计特征如表1所示，包括最大值、最小值、平均值、标准差、偏度以及峰度．图1给出了测量数据分布的直方图和数据之间的相关关系图．

3.2　基于不同机器学习方法的黄土黏聚力概率预测

本节将详细探讨基于第2章所提的通过黄土黏聚力概率预测统一框架体系——训练集中测量值与预测值的比值进行不确定性量化结果的合理性，以框架体系二为例，将本文所提不确定性量化方法与不同机器学习模型进行耦合，并对比其预测性能．训练集和测试集分别包含280组和70组测量数据．首先，探讨预测偏差与通过随机森林（RF）、决策树（DT）、极限梯度提升（XGBoost）和自适应提升（AdaBoost）4种机器学习方法得到的黄土黏聚力预测值之间的关系，分别计算了4种机器学习模型对应的预测偏差与黄土黏聚力预测值之间的的斯皮尔曼相关系数r_s，并进行了P值检验，统计结果如表2所示．在假设检验中，当P值<0.05时，通常认为观察到的结果在原假设为真时发生的概率极低，从而拒绝原假设（Ching et al.， 2019； Liu et al.， 2021）．由表2可以看出，RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的斯皮尔曼相关系数r_s分别为0.089、-0.156、-0.076和0.163，P值分别为0.138、0.009、0.203和0.006，说明基于RF、DT、XGBoost和AdaBoost 4种机器学习方法得到的黄土黏聚力预测值与预测偏差无关．图2进一步给出了RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的黄土黏聚力预测值与预测偏差之间的散点图，可以看出散点随着黄土黏聚力预测值的增加无明显变化趋势，再次说明了基于RF、DT、XGBoost和AdaBoost方法得到的黄土黏聚力预测值与预测偏差之间不相关，与表2所得结论一致．此外，表2还给出了RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的预测偏差与各输入特征之间的相关关系，可以看出，基于框架体系二得到的预测偏差与各输入特征无关，说明基于不同机器学习方法均可实现黄土黏聚力的无偏估计，且预测结果为多因素共同作用得到，这与实际工程是一致的．黄土黏聚力与其埋深、含水率、孔隙比、液限、塑限、液性指数、塑性指数、饱和度和干密度均存在一定的相关性．此外，由表2还可以看出，预测偏差与X₃=孔隙比和X₇=塑性指数之间的斯皮尔曼相关系数已经达到了0.24以上，但其对应的P值为0，意味着原假设不成立，即预测偏差与X₃=孔隙比和X₇=塑性指数之间不相关．

进一步地，为对不同机器学习方法预测黄土黏聚力的准确性进行定量评价，采用决定系数（R²）（Chen et al.， 2024）和平均绝对百分误差（MAPE）（Zhang et al.， 2022c）两个评价指标，计算公式分别如下：

R^{\mathrm{2}}=\mathrm{1}-\frac{{\displaystyle \sum _{i=\mathrm{1}}^{n_D}}{\left(y_{m,i}-y_{\mathrm{p},i}\right)}^{\mathrm{2}}}{{\displaystyle \sum _{i=\mathrm{1}}^{n_D}}{\left(y_{m,i}-{\mu }_y\right)}^{\mathrm{2}}},(2)

\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}=\frac{\mathrm{1}}{n_D}{\displaystyle \sum _{i=\mathrm{1}}^{n_D}}\left|\frac{y_{\mathrm{p},i}-y_{m,i}}{y_{m,i}}\right|\times \mathrm{100}\mathrm{\%},(3)

式中：n_D 表示数据集中包含的易获得的黄土物理力学参数和黄土黏聚力测量数据样本量；y_m，i 表示与第i组易获得的黄土物理力学参数X_i 对应的黄土黏聚力测量值；μ_y 为黄土黏聚力测量值的平均值．其中，决定系数R²的范围为［0，1］，R²的值越大，代表模型的预测性能越好；平均绝对百分误差MAPE的范围为［0，+∞］，MAPE的值越小，代表模型的预测性能越好．图3给出了随机森林（RF）、决策树（DT）、极限梯度提升（XGBoost）和自适应提升（AdaBoost）4种机器学习方法测试集所对应的预测性能以及量化的不确定性，可以看出，RF和XGBoost方法对应的R²分别达到了0.84和0.81，MAPE分别为9.99%和10.10%，DT和AdaBoost方法的R²分别为0.75和0.79，MAPE分别为12.19%和11.86%，RF和XGBoost方法对应的R²略大于DT和AdaBoost方法，对应的MAPE略小于DT和AdaBoost方法，说明基于RF和XGBoost方法可实现黄土黏聚力更为准确的预测．图3还给出了RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的覆盖比例CP₉₅，分别为0.98、0.96、0.96和0.96，均在0.95附近波动．此外，由图3还可以看出，在数据密集的区域量化的不确定性较小，在数据稀疏的区域，不确定性较大，这是由于在数据稀疏的位置，可获得的信息有限，可能导致预测结果波动较大．此外，DT方法得到的不确定性量化结果明显大于其他3种机器学习方法，尤其在数据稀疏的区域，这是由于DT方法通过一系列决策节点和分支实现目标值的预测，而RF和XGBoost是对多个决策树模型预测结果进行集成，实现目标值的估计；AdaBoost方法通过训练并调整多个弱学习器实现目标值的预测．集成/增强学习算法相比于单一模型，预测性能提升，尤其对于数据稀疏的区域，单一模型的预测结果可能与实际情况偏差较大，而集成/增强学习算法由于耦合了多个简单学习器，可显著提升数据稀疏区域模型预测的准确性．因此可以得出结论，基于本文所提方法可对预测结果的不确定性进行合理量化．

3.3　统计特征分析

上述为一次随机试验的统计结果，按照与3.2节相同的训练集、测试集比例，将数据集随机划分100次，并重复上述过程，可得到100组对应的RF、DT、XGBoost和AdaBoost 4种机器学习方法的R²、MAPE和CP₉₅，统计分布如图4所示．可以看出RF、DT、XGBoost和AdaBoost方法对应的测试集的R²的均值分别达到了0.83、0.71、0.78和0.78，MAPE的100次统计结果的均值分别为10.85%、13.15%、11.31%和12.54%，说明基于RF、XGBoost和AdaBoost方法预测黄土黏聚力结果更为合理，基于DT方法的预测准确性略低，分析认为是由于RF、XGBoost和AdaBoost方法是在一系列弱学习器的基础上进行了整合或权重的重新分配，提升了模型的预测性能．此外，由图4还可以看出，RF、DT、XGBoost和AdaBoost方法对应的CP₉₅的训练集100次统计结果的均值分别为0.96、0.95、0.95和0.96，测试集分别为0.96、0.95、0.95和0.95，说明基于本文所提方法可对不同机器学习模型预测结果的不确定性进行合理量化，即使预测结果与实际情况偏差较大（如基于DT方法的预测结果），也可合理刻画其不确定性，本文所提方法具有较高的鲁棒性与可靠性．

3.4　不同框架体系不确定性量化结果对比

上述详细探讨了基于黄土黏聚力概率预测统一框架体系二进行不确定性量化，RF、DT、XGBoost和AdaBoost 4种机器学习模型的预测性能及不确定性的量化结果，本节将对框架体系一的不确定性量化结果进行阐述，并与框架体系二进行对比．基于框架体系一，RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的训练集的CP₉₅分别为0.97、0.95、0.93和0.97，测试集的CP₉₅分别为0.67、0.90、0.90和0.89，相比于框架体系二的计算结果，4种机器学习方法的测试集的CP₉₅分别下降31.63%、6.25%、6.25%和7.29%．也就是说，通过框架体系一量化得到的95%置信区间是偏小的，这是由于测试集中的数据并未参与模型训练，为全新的测量数据，代入已有机器学习模型后预测值与测量值之间的误差相比于训练集偏大，因此导致通过框架体系一得到的不确定性应用于测试集时偏小．表4给出了RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的预测偏差与各输入/输出特征之间的相关关系．可以看出，基于框架体系一得到的预测偏差与各输入/输出特征无明显相关性．

上述为一次随机试验的统计结果，为进一步验证基于框架体系一得到的预测偏差进行不确定性量化结果的鲁棒性与可靠性，按照与上述相同的训练集、测试集比例进行100次随机试验，可得到100组对应的测试集的CP₉₅，如图5所示．图中IQR表示四分位距．由图5可以看出，RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的测试集的CP₉₅小提琴图的中值分别为0.64、0.83、0.89和0.89，均小于0.95，再次说明基于框架体系一进行黄土黏聚力概率预测，得到的95%置信区间（即量化的不确定性）是偏小的，与前述结论一致．此外，通过对比框架体系一和框架体系二的小提琴图可以发现，基于框架体系一进行不确定性量化，结果的合理性与可靠性相比于框架体系二略差．

4 讨论

以上探讨了基于不同机器学习方法的黄土关键力学参数概率预测统一框架体系进行不确定性量化，模型的概率预测结果与统计特征，核心为预测偏差的合理估计．类似地，本节基于预测残差对黄土黏聚力预测结果的不确定性进行刻画．预测残差定义为训练集中模型验证部分黄土黏聚力测量值y_{\mathrm{m}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}与预测值y_{\mathrm{p}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}的差值，记作{\lambda }_{\mathrm{m}\mathrm{i}}=y_{\mathrm{m}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}/y_{\mathrm{p}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}．此时，预测残差λ_mi的范围为［-∞，+∞］，因此，可通过正态分布对预测残差λ_mi进行概率分布拟合，测试集的95%置信区间通过y_{\mathrm{p}}^{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}与已有的训练集95%置信区间的上、下边界分别相加得到，其他步骤与第2章完全一致，由于文章篇幅有限，不再赘述．基于预测残差进行不确定性量化，RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的训练集的CP₉₅分别为0.96、0.95、0.96和0.96，测试集分别为0.97、0.96、0.97和0.97，均在0.95附近波动，说明基于预测残差也可实现黄土黏聚力预测结果不确定性的合理量化．此外，表4给出了RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的预测残差与各输入/输出特征之间的相关关系．可以看出，预测残差与各输入/输出特征无明显相关性．

上述为一次随机试验的计算结果，为进一步验证基于预测残差进行不确定性量化结果的鲁棒性与可靠性，重复上述过程100次，得到100组测试集的CP₉₅，如图6所示．可以看出，RF、DT、XGBoost和AdaBoost 4种机器学习方法对应的测试集的CP₉₅小提琴图的中值均在0.95附近，与基于预测偏差的统计特征十分相似，再次证明了基于预测残差进行不确定性量化结果的合理性．然而，由于基于预测残差进行不确定性量化时，预测残差可能出现负值，与实际工程不符，因此，建议采用第2章所提的基于机器学习方法的黄土关键力学参数概率预测统一框架体系对黄土黏聚力进行概率预测．

5 结论

本文提出了基于机器学习方法的黄土关键力学参数概率预测统一框架体系，通过对训练集的预测偏差进行概率分布拟合，进而确定95%置信区间，实现了机器学习模型预测结果不确定性的合理刻画．通过一个粉黄土黏聚力预测工程实例验证了本文所提方法不确定性量化的可靠性、合理性和鲁棒性．主要结论如下：

（1）通过训练集的测量值与预测值的比值定义的偏差与机器学习模型的输入/输出特征之间无明显相关性．

（2）基于框架体系一得到的95%置信区间（即预测结果的不确定性）偏小，基于框架体系二得到的95%置信区间是更加可靠，可对黄土黏聚力预测结果的不确定性进行合理量化．

（3）基于本文所提方法可对不同机器学习模型预测结果的不确定性进行合理量化，即使预测结果与实际情况偏差较大，也可合理刻画其不确定性，说明本文所提方法具有较高的鲁棒性与可靠性．

（4）基于随机森林（RF）、决策树（DT）、极限梯度提升（XGBoost）和自适应提升（AdaBoost）4种方法预测黄土黏聚力，对应的R²分别达到了0.84、0.75、0.81和0.79，说明基于上述4种方法与9个易获得的黄土物理力学参数可实现黄土黏聚力的相对准确的概率预测．

但本文所提方法仍存在一定的局限性：当测量数据过少，无法充分捕捉其统计特征时，基于预测偏差拟合的对数正态分布可能与实际情况偏离，进而可能导致不确定性量化的合理性降低．此时，可采用SMOTE等数据增广算法首先基于已有测量数据生成部分模拟数据，进而采用模拟数据和测量数据的组合建立黄土黏聚力概率预测模型，再基于预测偏差进行概率分布拟合，具体可参考Song et al. （2024）．

参考文献

[1] Abdi, Y., Momeni, E., Armaghani, D. J., 2023. Elastic Modulus Estimation of Weak Rock Samples Using Random Forest Technique. Bulletin of Engineering Geology and the Environment, 82(5): 176. https://doi.org/10.1007/s10064⁃023⁃03154⁃y

[2] Bao, T., Burghardt, J., 2022. A Bayesian Approach for In⁃Situ Stress Prediction and Uncertainty Quantification for Subsurface Engineering. Rock Mechanics and Rock Engineering, 55(8): 4531-4548. https://doi.org/10.1007/s00603⁃022⁃02857⁃0

[3] Breiman, L., 2001. Random Forests. Machine Learning, 45(1): 5-32. https://doi.org/10.1023/A:1010933404324

[4] Chen, J. F., Zhao, Z. H., Zhang, J. T., 2024. Predicting Peak Shear Strength of Rock Fractures Using Tree⁃Based Models and Convolutional Neural Network. Computers and Geotechnics, 166: 105965. https://doi.org/10.1016/j.compgeo.2023.105965

[5] Chen, Y., Xu, Y. F., Jamhiri, B., et al., 2022. Predicting Uniaxial Tensile Strength of Expansive Soil with Ensemble Learning Methods. Computers and Geotechnics, 150: 104904. https://doi.org/10.1016/j.compgeo.2022.104904

[6] Ching, J., Phoon, K. K., Li, K.H., et al., 2019. Multivariate Probability Distribution for Some Intact Rock Properties. Canadian Geotechnical Journal, 56(8): 1080-1097. https://doi.org/10.1139/cgj⁃2018⁃0175

[7] Dang, J.Q., Li, J., 1997. Strength Characteristics of Unsaturated Loess. Chinese Journal of Geotechnical Engineering, (2): 59-64(in Chinese with English abstract).

[8] Dong, X.C., Guo, M.W., Wang, S.L., et al., 2023. Inclination Prediction of a Super⁃Sized Open Caisson Foundation During Sinking Process Based on Ensemble Learning. Chinese Journal of Rock Mechanics and Engineering, 42(S1): 3812-3822(in Chinese with English abstract) .

[9] Ewusi⁃Wilson, R., Lee, C., Park, J., 2023. Artificial Intelligence⁃Optimized Design for Dynamic Compaction in Granular Soils. Acta Geotechnica, 19(6): 3487-3503. https://doi.org/10.1007/s11440⁃023⁃02081⁃2

[10] Jing, Y.L., Wu, Y.Q., Lin, D.J., et al., 2011. Study of Relationship Between Loess Collapsibility and Index of Compaction Test. Rock and Soil Mechanics, 32(2): 393-397 (in Chinese with English abstract).

[11] Kardani, N., Aminpour, M., Nouman Amjad Raja, M., et al., 2022. Prediction of the Resilient Modulus of Compacted Subgrade Soils Using Ensemble Machine Learning Methods. Transportation Geotechnics, 36: 100827. https://doi.org/10.1016/j.trgeo.2022.100827

[12] Li, S.Y., Chen, X., Lu, J.Q., et al., 2024. Real⁃Time Discrimination Model for Local Earthquake Intensity Threshold Based on XGBoost. Earth Science, 49(2): 379-390 (in Chinese with English abstract).

[13] Liu, D., Lin, P. Y., Zhao, C. Y., et al., 2021. Mapping Horizontal Displacement of Soil Nail Walls Using Machine Learning Approaches. Acta Geotechnica, 16(12): 4027-4044. https://doi.org/10.1007/s11440⁃021⁃01345⁃z

[14] Liu, Q. S., Wang, X. Y., Huang, X., et al., 2020. Prediction Model of Rock Mass Class Using Classification and Regression Tree Integrated AdaBoost Algorithm Based on TBM Driving Data. Tunnelling and Underground Space Technology, 106: 103595. https://doi.org/10.1016/j.tust.2020.103595

[15] Nguyen, T., Ly, D. K., Huynh, T. Q., et al., 2023. Soft Computing for Determining Base Resistance of Super⁃Long Piles in Soft soil: A Coupled SPBO⁃XGBoost Approach. Computers and Geotechnics, 162: 105707. https://doi.org/10.1016/j.compgeo.2023.105707

[16] Song, C., Zhao, T. Y., Xu, L., et al., 2024. Probabilistic Prediction of Uniaxial Compressive Strength for Rocks from Sparse Data Using Bayesian Gaussian Process Regression with Synthetic Minority Oversampling Technique (SMOTE). Computers and Geotechnics, 165: 105850. https://doi.org/10.1016/j.compgeo.2023.105850

[17] Song, C., Zhao, T.Y., Xu, L., 2023. Estimation of Uniaxial Compressive Strength Based on Fully Bayesian Gaussian Process Regression and Model Selection. Chinese Journal of Geotechnical Engineering, 45(8): 1664-1673 (in Chinese with English abstract).

[18] Wen, L. F., Li, Y. L., Zhao, W. B., et al., 2023. Predicting the Deformation Behaviour of Concrete Face Rockfill Dams by Combining Support Vector Machine and AdaBoost Ensemble Algorithm. Computers and Geotechnics, 161: 105611. https://doi.org/10.1016/j.compgeo.2023.105611

[19] Wu, L.Y., Li, J.H., Ma, D., et al., 2023. Prediction for Rock Compressive Strength Based on Ensemble Learning and Bayesian Optimization. Earth Science, 48(5): 1686-1695 (in Chinese with English abstract).

[20] Xu, L., Zhou, G. P., Zhao, T. Y., et al., 2023. Characterization of Inherent Spatial Variability of Loess Deposit Properties in Shaanxi Province, China. Journal of Soils and Sediments, 23(7): 2862-2877. https://doi.org/10.1007/s11368⁃023⁃03517⁃8

[21] Yan, D. D., Zhao, T. Y., Xu, L., et al., 2023. Statistical Modeling of Multivariate Loess Properties in Taiyuan Using Regular Vine Copula with Optimized Tree Structure. Transportation Geotechnics, 41: 101025. https://doi.org/10.1016/j.trgeo.2023.101025

[22] Yang, L., Wei, J., 2023. Prediction of Rockburst Intensity Grade Based on SVM and Adaptive Boosting Algorithm. Earth Science, 48(5): 2011-2023 (in Chinese with English abstract).

[23] Zhang, J.R., Song, C.Y., Jiang, T., et al., 2023. Hydromechanical Characteristics and Microstructure of Unsaturated Loess Under High Suction. Rock and Soil Mechanics, 44(8): 2229-2237 (in Chinese with English abstract).

[24] Zhang, L., Wang, M., Zhao, H. B., et al., 2022a. Uncertainty Quantification for the Mechanical Behavior of Fully Grouted Rockbolts Subjected to Pull⁃out Tests. Computers and Geotechnics, 145: 104665. https://doi.org/10.1016/j.compgeo.2022.104665

[25] Zhang, P., Yin, Z. Y., Jin, Y. F., 2022b. Bayesian Neural Network⁃Based Uncertainty Modelling: application to Soil Compressibility and Undrained Shear Strength Prediction. Canadian Geotechnical Journal, 59(4): 546-557. https://doi.org/10.1139/cgj⁃2020⁃0751

[26] Zhang, W. G., Li, H. R., Tang, L. B., et al., 2022c. Displacement Prediction of Jiuxianping Landslide Using Gated Recurrent Unit (GRU) Networks. Acta Geotechnica, 17(4): 1367-1382. https://doi.org/10.1007/s11440⁃022⁃01495⁃8

[27] Zhang, W. G., Wu, C. Z., Zhong, H. Y., et al., 2021. Prediction of Undrained Shear Strength Using Extreme Gradient Boosting and Random Forest Based on Bayesian Optimization. Geoscience Frontiers, 12(1): 469-477. https://doi.org/10.1016/j.gsf.2020.03.007

[28] Zhao, T. Y., Song, C., Lu, S. F., et al., 2022. Prediction of Uniaxial Compressive Strength Using Fully Bayesian Gaussian Process Regression (fB⁃GPR) with Model Class Selection. Rock Mechanics and Rock Engineering, 55(10): 6301-6319. https://doi.org/10.1007/s00603⁃022⁃02964⁃y

[29] Zuo, L., Xu, L., Baudet, B. A., et al., 2024. Small⁃Strain Shear Stiffness Anisotropy of a Saturated Clayey Loess. Géotechnique, 74(4): 325-336. https://doi.org/10.1680/jgeot.21.00179

基金资助

吉林省教育厅科学技术研究基金项目(JJKH20230141KJ)

国家自然科学基金青年基金项目(42107204)