基于模糊支持向量机的偏好学习模型

廖虎昌 ,  廖志强

四川大学学报(自然科学版) ›› 2026, Vol. 63 ›› Issue (02) : 476 -485.

PDF (842KB)
四川大学学报(自然科学版) ›› 2026, Vol. 63 ›› Issue (02) : 476 -485. DOI: 10.19907/j.0490-6756.240111
学科交叉

基于模糊支持向量机的偏好学习模型

作者信息 +

Preference learning models based on fuzzy support vector machine

Author information +
文章历史 +
PDF (861K)

摘要

传统偏好学习模型无法处理不确定数据,而模糊支持向量机能克服不确定数据对学习效果的影响。针对偏好学习中的完全排序问题,提出基于模糊支持向量机的线性排序方法;针对偏好学习中的分类排序问题,提出基于模糊支持向量机的有序回归方法。考虑决策者对分类错误的敏感性,提出一种损失敏感模糊隶属函数。最后,用帕金森疾病严重程度预测案例验证所提方法的有效性和合理性。对比分析结果显示,基于模糊支持向量机的偏好学习模型对预测帕金森患者的症状严重程度有较低的分类错误或较高的分类精度。基于模糊支持向量机的偏好学习模型克服了传统模糊支持向量机的不足,同时考虑了决策过程中的不确定性,拓展了机器学习模型的应用范围。

Abstract

Traditional preference learning models cannot deal with uncertain data, while the fuzzy support vector machine can overcome the influence of uncertain data on learning effects.This paper studies the preference learning models based on the fuzzy support vector machine.Specifically, a linear-ranking method based on the fuzzy support vector machine and preference learning is proposed to address the complete ranking problems.Meanwhile, an ordinal regression method based on the fuzzy support vector machine and preference learning is proposed to address the classification-ranking problems.Considering decision-makers' sensitivity to classification errors, a loss-sensitive fuzzy membership function is proposed.Validity and rationality of the proposed methods are confirmed through a case study focused on predicting the severity of Parkinson's disease.Comparative analysis shows that the two methods have lower classification error or higher classification accuracy in predicting the severity of Parkinson's disease.The preference learning models with fuzzy support vector machine can overcome the drawback of traditional fuzzy support vector machine methods and reflect the uncertainty in decision processes, extending the range of applications for machine learning models.

Graphical abstract

关键词

模糊支持向量机 / 偏好学习 / 模糊隶属函数 / 线性排序 / 分类排序

Key words

fuzzy support vector machine / preference learning / fuzzy membership function / linear-ranking method / classification-ranking method

引用本文

引用格式 ▾
廖虎昌,廖志强. 基于模糊支持向量机的偏好学习模型[J]. 四川大学学报(自然科学版), 2026, 63(02): 476-485 DOI:10.19907/j.0490-6756.240111

登录浏览全文

4963

注册一个新账户 忘记密码

随着社交网络、电子商务和信息分发等技术的快速发展,可采集到的人类偏好信息越来越多,从几千到数百万条不等1。用户或决策者的偏好能反映其行为和决策2。偏好学习已成为人工智能和决策分析领域的热门研究话题3。偏好学习的任务主要有3类。1)通过集成和融合多个排序结果估计备择方案的完整排序,如Martyn等4提出了一种基于深度学习的多准则决策方法来集成多个排序结果。2)基于已知的部分偏好信息学习备择方案的完整排序,如Aggarwal等5考虑了决策者的成对偏好并提出了一种线性排序模型。3)将所有备择方案分为多个类别再学习基于这些分类的排序,如Chu等6提出了一种基于支持向量机的分类排序模型。分类排序任务存在于诸多研究领域,包括医疗健康7、年龄预测8、信用评级9、图像识别10和语音识别11。本文聚焦于后两种偏好学习任务。
在偏好学习问题中,语言表达“x偏好于y”可转化为数学表达“f(x)>f(y)”,其中,xy是样本,f(·)是偏好函数。传统偏好学习模型通常需要定义一个条件概率分布。然而,学者们发现很难将人类的知识转化为概率分布12。假设空间为决策函数的偏好学习模型将偏好学习任务转化为学习效用函数,降低了偏好学习的复杂性13。例如,Herbrich等14提出使用线性映射从成对偏好中学习效用函数,这样的线性函数可以避免贝叶斯决策函数的不可传递性;Brochu等15采用效用函数来刻画决策者的偏好,并提出了动态环境下的偏好学习模型;赵敏等16研究了偏好关系的转化问题,提出了一个具有鲁棒性的模型来学习决策函数。上述基于决策函数的偏好学习方法假设样本数据不存在不确定性。随着机器学习技术的发展,人们发现输入数据往往包含某些不确定信息,这些不确定信息对学习效果会产生很大影响17。然而,现有的偏好学习方法并未充分考虑不确定信息处理问题。
为了处理分类问题中的不确定信息,学者们将模糊理论引入支持向量机并提出了模糊支持向量机(Fuzzy Support Vector Machine,FSVM)18。学者们构建了不同的模糊隶属函数来处理不确定信息。杜喆等19提出了一种基于类超平面的模糊隶属函数构造方法,该方法将聚类中心作为类超平面上的固定点,并将相邻两类中心的连线作为法向量。Heo和Gader20利用主成分分析法来实现噪声数据的平滑处理从而不再要求数据分布特征的先验知识。为了克服不同模糊隶属函数构造方法的差异,Sevakula等21定义了一个一般化的模糊隶属函数。Liu等22提出了一种基于最邻近算法的模糊隶属函数构造方法以降低模糊隶属度的计算复杂度。现有的模糊隶属函数构造方法大都是基于二分类问题。如何设计适应偏好学习中排序问题的模糊隶属函数构造方法仍然是一项挑战。
本文提出一种损失敏感模糊隶属函数来刻画排序问题中的不确定性。针对两种偏好学习任务,分别提出基于模糊支持向量机的偏好学习模型——线性排序模型和有序回归模型,并通过帕金森疾病严重程度预测案例验证提出的偏好学习模型在处理不确定数据以及偏好学习任务方面的有效性。

1 理论基础

1.1 偏好关系

对于方案集(也称样本集,后文对方案和样本不再进行区分)A,定义偏好关系“”是一种反对称、可传递的二元关系23,满足:对于任意方案x1,x2Ax1x2,存在x1x2x2x1。符号“”表示“偏好于”或“优于”,比如,“苹果香蕉”表示苹果好于香蕉。在某些情况下会出现弱偏好关系,此时,允许存在“至少好于”或“至少偏好于”等偏好。为简化讨论,本文聚焦于严格偏好关系,但本文提出的多数模型和概念都可以扩展到弱偏好关系中。

A×A代表方案集A上所有二元偏好关系,定义PA×A上的任意二元关系子集,且PA×A满足反对称性和可传递性。比如,对于一个方案集A={a,b,c,d},若决策者给出的偏好关系为cba,则二元偏好关系集合P可以写成P={cb,ca,ba}

1.2 模糊支持向量机

客观世界存在大量不确定信息,尤其是在与人有关的决策问题中,因为人类的偏好数据可能存在应答错误。模糊支持向量机模型为每个样本分配不同的权重,使数据的不确定性在训练中起到较小的影响;此外,模糊支持向量机使用正则化参数控制分类错误,提高了模型的精度。

设一个包含模糊隶属度且带有标签的训练集为S={(y1,x1,s1),,(ym,xm,sm)},其中,样本xiRd对应标签yi{-1,1},模糊隶属度si[δ,1]表示样本xi属于类别yi的程度,δ>0是一个充分小的数。这里考虑每个样本xiRdd个准则或标签进行表征,因此,样本取值为d维实数空间Rd上的点。

令参数ξi为支持向量机的错误测度。则,siξi为带权重的错误测度。于是,模糊支持向量机模型可写成优化模型(1),其中,C是正则化参数,·,·表示两个向量之间的内积。模型(1)中隶属度si越小,参数ξi的效用就越小,此时,样本xi在模型中的重要度就越低。

minw,b,ξi  12w2+Ci=1msiξi,yi(w,xi+b)1-ξi, i=1,2,,m,ξi0, i=1,2,,m

通过拉格朗日转换,得到模型(2)的对偶问题:

maxα i=1mαi-12i=1mj=1mαiαjyiyj(xi,xj),i=1myiαi=0,0αisiC, i=1,2,,m

解凸二次规划(2)式可以求得最优解α^。于是,可以得到模糊分类决策模型(3),其中,sign(·)是符号函数,满足式(4)

f^(x)=sign(w^,xi+b^)=sign(i=1mα^iyixi,x+b^)
sign(t)=1,t>0,0,t=0,-1,t<0

式(2)中有不等式约束,其最优解α^i需满足KKT条件:

α^i0,yif^(xi)+ξ^i-10,α^i(yif^(xi)+ξ^i-1)=0,ξ^i0,(siC-α^i)ξ^i=0

满足式(5)α^i所对应的样本xi就是支持向量。在模糊支持向量机中,支持向量分为两种类型,一种位于超平面的边际上,对应于0α^i<siC,另一种是错误分类的样本,对应于α^i=siC。模糊支持向量机与传统支持向量机的区别在于模糊支持向量机使用了参数si。即使模糊支持向量机与传统支持向量机获得了相同的最优解α^i,它们也可能得到不同的支持向量。

1.3 损失敏感模糊隶属函数

在实际应用中,排序具有不确定性,从实际数据中获得的排序信息通常包含一定的模糊度。考虑患者病情评估问题,当患者的症状评价等级接近于平均等级k*时,医生对该患者疾病评估等级错误不敏感,也就是说,医生常常会忽略接近平均水平的评估结果。然而,当一个患者的症状评价等级远离于平均等级k*时,医生对该患者疾病评估等级错误将变得敏感,也就是说,医生对异常的检测结果往往十分敏感。通常情况下,医生会要求患者做进一步的检查,否则可能引起误诊或错判。本文使用模糊隶属度来刻画这种决策中存在的敏感性或不确定性。尽管模糊隶属度可以由决策者直接给出,但实际操作却并不容易。本文提出一个损失敏感模糊隶属函数来计算模糊隶属度。

绝对损失函数是一种常见的损失敏感函数,它可以反映排序偏好24。尽管绝对损失函数能够刻画训练样本的敏感性,但是它忽略了排序相同的样本存在的差异。鉴于此,本文提出一种新的模糊隶属函数来刻画样本内部的差异。

首先,定义损失敏感函数

μik=|yi-k|max{k,K-k}

其中,K代表最大的等级,k代表样本参考等级,yi是第i个样本的等级。

当样本的评价等级偏离其参考等级时,函数μik的值会变得比较大,比如接近1。相反,当样本的评价等级接近其参考等级时,损失敏感函数μik的值就比较小,比如接近0。图1展示了最大等级K=10,参考等级k=4的损失敏感函数的形状。

基于损失敏感函数(6),提出新的损失敏感模糊隶属函数:

sik=1-||xik-x¯k||max{||x¯k||,||xiK-x¯k||}

其中,xik是第k个排序等级对应的第i个样本,x¯k表示第k个排序等级的聚类中心,K是最大的排序等级。

模糊隶属函数刻画了第i个样本隶属于第k个等级的程度。本文使用排序为k的样本均值作为聚类中心x¯k。在实际操作中,参考样本可以由决策者直接给出。

2 基于模糊支持向量机的偏好学习模型

2.1 排序学习系统

对于一个偏好决策问题,决策者的任务是从方案集A={a1,a2,,an}的历史决策记录中获得决策偏好并进行决策。本文讨论的偏好学习问题是从方案集的二元偏好关系集合PA×A中学习排序函数f(·)以预测决策者对新方案集中的方案的排序。本文讨论的偏好学习系统是一种排序学习(learning-to-rank)任务25,包括线性排序问题和有序回归问题。在线性排序问题中,每个样本都有唯一的排序位置;在有序回归问题中,多个样本可以有共同的排序位置。本文讨论的排序学习是一种监督式学习,学习的过程可分为训练阶段和测试阶段。训练集Ptrain和测试集Ptest满足P=Ptrain+Ptest

对于任意一对方案a1a2,排序函数f(·)满足a1a2f(a1)>f(a2)。本文的训练样本的偏好关系P并不包含传统支持向量机模型中使用的分类标签yi{-1,1},而是一个二元偏好关系集合。图2所示的学习系统将二元偏好关系当作输入数据来训练排序函数f^(·),得到函数f^(·)后就可以预测未来决策任务中的方案排序。比如,如果有两个新的方案b1b2,且f^(b1)>f^(b2), 则可以推断出b1b2

尽管排序学习并不是标准的二分类学习系统,但由于本研究致力于构建基于支持向量机的学习模型,为便于处理偏好学习问题,将排序学习问题转化为标准的支持向量机分类模型26。接下来,针对偏好学习中的两类排序学习问题——线性排序问题和有序回归问题,基于上述排序学习系统,分别提出两种偏好学习模型。

2.2 线性排序模型

线性排序模型的训练目标是在训练集Ptrain上学习一个具有较好泛化能力的排序函数f^(·)。首先,将二元偏好关系P转化为训练样本{(yi,(ai(1),ai(2)),si)}i=1,2,,m,每个样本都有两个特征向量ai(1)Rdai(2)Rd和表示特征向量排序的标签yi{-1,1},其中m是二元偏好关系的数量,且满足mn(n-1)2。若yi=1,则ai(1)ai(2); 若yi=-1,则ai(2)ai(1)

令线性排序函数f(a)=w,a,其中,a代表一个方案的特征向量,w是需要学习的权重向量。对完全二元偏好关系集合Ptrain对应的训练样本集{(yi,(ai(1),ai(2)),si)}i=1,2,,m,当yi=1时,有

w,ai(1)>w,ai(2)

式(8)可改写为

w,ai(1)-ai(2)>0

最大化边际原则能使学习模型对训练样本具有鲁棒性,即对未知的样本有最好的泛化能力27。但是,在实际的学习任务中,很难找到一个函数使所有样本恰好线性可分。缓解这个问题的一种方法是允许某些样本出现分类错误。考虑到可能存在的分类错误,可使用软边际支持向量机。于是,学习目标变为最大化边际的同时,要求不满足约束条件的样本尽可能少。使用式(1)中的模糊支持向量机,将其约束条件替换为式(10)中的约束条件,并引入非负松弛变量ξi,则基于完全偏好的模糊支持向量机模型(R-FSVM)可定义为

minw,b,ξi  12w2+Ci=1msiξi,yiw,ai(1)-ai(2)1-ξi,i=1,2,,m,ξi0, i=1,2,,m

其中,C为正则化参数,用于避免发生过拟合;si是模糊隶属度,用于控制每一对偏好的重要度。

模型(10)可以使用求解器直接求解。但是,当样本数量增大时(如超过50个),求解器的运算速度会大大下降。因此,可以将该问题转化为其对偶问题。引入拉格朗日乘子,可得模型(10)的对偶问题(11)。对偶问题(11)比原问题(10)更易求解,可使用二次规划求解器求解。

maxαi=1mαi-12i=1mj=1mαiαjyiyjai(1)-ai(2),aj(1)-aj(2),i=1myiαi=0,0αisi,i=1,2,,m

假设学习得到一个排序函数f^(·),它是支持向量的一个线性组合。通常,排序函数f^(·)可以用来预测一个新的决策问题中的方案排序。解决这一问题使用的模型为

f^(a,k)=w^,a=i=1mα^iai(1)-ai(2),a-ak

这种决策函数形式让使用核技巧28成为可能。将模型(10)拓展到非线性分类函数环境。令K(x,y)=ϕ(x)ϕ(y)是核函数,ϕ(·)是样本到高维空间的映射。于是,模型(12)可改写为

f^(a,k)=i=1mα^iKai(1)-ai(2),a-ak

图3展示了模型(10)如何将排序问题转化成二分类问题。从模型(10)中的约束条件可以看出,该模型使用的样本是一对特征向量的差,即ai(1)-ai(2)。而传统支持向量机使用的样本仍然是单个特征向量29。比如,图中a1a2a2a3a3a5就是模型(10)的训练样本。转化后的样本获得了标签yi{-1,1}。例如,图中的样本a1a2a2a3a3a5的标签为1。模型(10)只需训练一个分类超平面将两类样本分割开,这在很大程度上降低了训练难度。从几何学的意义上讲,支持向量机模型的目的是最大化图中两类偏好相反的成对方案之间的投影距离。值得注意的是,学习到的排序向量仍然会经过坐标原点。

算法1展示了R-FSVM模型的算法流程。模糊支持向量机将排序问题转化为了二分类问题,但线性排序模型需要得到一个完整的排序。因此,该算法第5步使用了一个排序集成函数来得到最终的排序结果。函数r(·)将样本a与测试集中的所有其他样本ak进行比较,其中,1(·)是指示函数,当f^(a,k)>0,即,aak时,1(·)=1,否则1(·)=0。函数r(·)取值越大,其对应样本的排序越高。

算法1 R-FSVM模型算法

输入: 训练集Ptrain,测试集Ptest

输出: 测试集样本排序。

1) 基于二元偏好关系Ptrain,构造样本集{(yi,(ai(1),ai(2)),si)}i=1,2,,m

2) 选择正则化参数C和核函数K(·,·)

3) 构建模糊支持向量机线性排序模型:

i) 将m个样本和其对应的分类标签输入到模型(10),

ii) 使用优化求解器解对偶问题(11),生成m个分类超平面;

4) 将测试集Ptest数据代入决策函数(13);

5) 通过排序函数r(·)构建排序

r(a)=1+k=1m1(f^(a,k)>0)

2.3 有序回归模型

偏好学习中的另一个重要问题是有序回归问题(或称分类排序问题)。在有序回归问题中,样本可表示为{(yi,ai,sik)}i=1,2,,m,由排序yi{1,2,,K}、特征向量aiA和模糊隶属度sik组成,其中,K是最大排序,m是样本的总数,满足Km。当K=m时,有序回归问题与完全排序问题等价。也就是说,完全排序问题是有序回归问题的一种特例。

与多分类问题30不同,有序回归的标签隐含了排序,因此,每个样本都对应一个排序。另外,一个标签可能对应多个不同的样本。有序回归的目标是找到一个排序规则r:ay来预测新样本属于哪一个排序。传统的有序回归算法使用n(n-1)2个分类超平面,最后再把所有分类器得到的二元偏好集成为一个排序31。尽管该方法较方便,但是,使用这种方法要求较高的算力。下面提出一个新的有序回归模型以降低运算复杂度。

构造二分类问题需要将排序yi转化为二元化标签。对排序标签k,将整个训练集分割成两个子集Ak+={(yi,ai)|yi>k}Ak-={(yi,ai)|yik},其中,Ak+表示排序在k之后的所有样本的集合,Ak-表示排序在k之前的所有样本的集合。通过构造这样的子集,将排序标签转化为二元化的标签。每个二分类问题都获得了比传统有序回归模型更多的训练样本,因为传统的排序问题考虑了每个排序为k的样本,而本文的方法仅考虑了排序大于k的这个类别。因此,只需要训练一个分类器来确定样本的排序在k之前还是之后。在测试阶段,通过一系列这样的二分类测试,可以得到一系列二元偏好,最终导出排序。

在有序回归问题中,支持向量机模型需要找到一个最优的方向向量wK-1个阈值θ1,θ2,,θK-1。其中,每一个阈值都唯一定义了一个垂直于方向向量w的分类超平面。因为样本集合Ak+Ak-可以将排序问题转化为二分类问题,下面构建有序回归模糊支持向量机模型(OR-FSVM)来解决K-1次二分类问题。

minw,θ,ξik 12w2+Ci=1mk=1K-1sikξik,zkiw,ai-θk1-ξik,θk-1θk, k=1,2,,K-1,ξik0,    i,k

其中,C为正则化参数,wθ是分类超平面的参数,zki是整数,满足:若aiAk+,则zki=1;若aiAk-,则zki=-1

αβ为模型(14)中不等式的拉格朗日乘子。模型(14)可转化为对偶问题(15)。

maxα  i=1mk=1K-1αik-12i,ki',k'αikαi'k'zkizk'i'ai,ai',i=1mzkiαik=β(k-1)-βkβk0,0αiksikC, i,k

对偶问题(15)是一个凸二次优化问题。解该优化问题,可以求得最优解α^β^。于是,最优排序向量w=i=1mk=1K-1α^ikzkiai

对于一个新的样本a,可以得到分类函数

f^(a)=w,ϕ(a)=i=1mk=1K-1α^ikzkiK(ai,a)

图4展示了超平面的确定方法。图4中的支持向量机构造了K-1个平行的分类超平面,其分类目标是最小化样本与分类平面之间的间隔。通过对阈值θ进行调整,获得的K-1个平行的分类超平面将特征空间划分成了K个类别,每个类别对应一个排序。对于阈值θ1,所有排序为1的样本点都应该位于分类超平面的左侧(此时k=1)。图中的虚线代表软间隔,由模型(14)中的ξik确定。类似于软间隔支持向量机模型,模型(14)允许少部分样本被错误地分类,确保模型更具鲁棒性。

算法2展示了OR-FSVM模型的算法流程。与算法1使用完全二元偏好关系不同,算法2直接使用了排序标签作为输入数据。从这个意义上来说,算法2是算法1的一般化形式。此外,基于K-1个阈值θ,有序回归模型生成了K-1个分类超平面,使得相似的样本可以获得相同的排序等级。因此,算法2的排序结果较算法1的结果更具鲁棒性。

算法2 OR-FSVM模型算法

输入: 训练集Atrain={(yi,ai,sik)|i=1,2,,m},测试集Atest

输出: 测试数据排序。

1) 基于排序标签构建二元化标签集Ak+Ak-

2) 选择正则化参数C和核函数K(·,·)

3) 构建模糊支持向量机有序回归模型:

i) 将m个样本和二元化标签集代入模型(14),

ii) 使用优化求解器解对偶问题(15),生成K-1个分类超平面;

4) 将测试集Atest数据代入决策函数(16);

5) 通过排序函数r(·)构建排序,

r(a)=1+k=1m1(i=1mk=1K-1α^ikzkiK(ai,a)-θk>0)

其中,1(·)是指示函数。

3 算例分析

3.1 算例描述

帕金森病是全球第二大神经性衰退疾病,仅次于阿尔茨海默症32。根据流行病学调查,我国有超过200万人受到帕金森病的困扰,占全世界一半以上33。据预测,这一数字在21世纪上半叶将持续增长,到2030年我国帕金森病患者将达到494万人34。帕金森病属于神经系统紊乱造成的疾病,诊断难度极大。据报道,大约有20%的帕金森患者尚未确诊35。尽管目前的医疗技术仍然无法治疗帕金森病,但有效的药物和手术干预能够延缓病情。因此,帕金森病的早期诊断对提升患者的生存质量至关重要。

预防和治疗帕金森病主要通过锻炼、药物和手术等手段,其中重要的一环是监测特定锻炼方法的效果,并实时预测帕金森病的复发风险。统一帕金森疾病严重程度评分量表是评估帕金森疾病严重程度的常用方法,它要求患者定期到医院接受检查。然而,定期的检测不仅给患者带来了巨大的经济压力和生活负担,而且耗费了大量的医疗资源。美国帕金森基金会(https://www.parkinson.org/understanding-parkinsons/10-early-warningsigns/)指出,帕金森病是一种包含多种症状的疾病,但大部分患者都有相同的症状,比如,静止性震颤、行动迟缓、肌肉僵硬和声音小且含糊。研究发现,大部分帕金森病患者都会表现出说话声音含糊的特征,因此,通过实时语言记录来采集患者语音进行分析,如使用可穿戴设备,可以方便快捷地进行诊断36。Tsanas等37使用英特尔家用监测设备来收集帕金森患者的语音信息,它是一种基于互联网的远程监测设备,可用于收集各种与帕金森病相关的声音信息。这套设备使用了可穿戴的传感器,主要包括高质量麦克风阵列。在获得数据之后,Tsanas等37利用语音信号处理算法提取特征和处理数据,并使用回归算法来预测帕金森患者的统一帕金森疾病严重程度评分量表得分。但是,该算法忽略了年龄和性别对预测结果的影响,而性别差异对语音信息有较大影响。此外,他们的研究没有考虑更一般的有序回归问题。

鉴于此,使用提出的有序回归模型对帕金森患者严重程度进行分类预测。本文使用公开数据库UCI中的帕金森远程监测(PTM)数据集(https://archive.ics.uci.edu/ml/datasets/Parkinsons+Telemonitoring),该数据集是Tsanas等收集并上传的真实数据37。PTM数据集包括42位帕金森患者的个人信息(性别、年龄)和语音信息,一共有5 875条样本,每条样本都来自于对患者语言行为的采样,每周采集一次,一次采集6条样本,实验共持续6个月。根据Tsanas等37的研究,语言信号处理算法一共提取了16个特征,如表1所示。

3.2 实验步骤

在PTM数据集中,随机分配80%的数据为训练样本,20%的数据为测试样本。为了验证模型鲁棒性,在训练样本上运行30次试验,并使用5折交叉验证来选择训练参数。实验步骤如下:

步骤1 收集决策者的偏好数据,使用模糊隶属函数(7)生成样本数据(yi,ai,sik)。将80%的数据划分为训练集,20%的数据划分为测试集;

步骤2 利用模型(15)训练有序回归模型;

步骤3 对于测试集,利用算法2计算输入数据的分类等级;

步骤4 计算模型在测试集上的平均绝对误差VMAE=1mi=1m|y^i-yi|,其中,y^i是方案ai的预测等级,yi是方案ai的原有等级,m是测试样本的总数;

步骤5 计算累积得分

VCS=1mi=1m1|y^i-yi|<T×100%

其中,T是预测误差容忍度,代表允许的误差范围,1(·)是指示函数。当绝对误差小于允许误差时,指示函数的返回值为1,否则为0;

步骤6 将上述步骤重复30次,并用VMAEVCS两个指标评价模型的平均预测表现。

3.3 结果分析

为了验证模型(15)在帕金森病严重程度预测任务中的优越性,将其与传统的回归分类方法如支持向量机、Logistic Regression (LR)、Naive Bayes (NB)和二元有序回归方法17进行比较。因为二元有序回归也使用了多个超平面和阈值对数据进行分类,本文使用3种基于阈值和回归的方法——LogisticAT、LogisticIT和OrdinalRidge——进行对比分析。在二元有序回归中,参数alpha的值为10。累积得分的容忍度选为1(T=1)。

表2展示了各种方法对PTM数据集中的帕金森患者的预测能力,其中VMAEVCS分别代表平均绝对误差和累计得分,其中,VMAE越小表示预测误差越小,VCS越大表明预测准确度越高。结果显示,本文提出的模型(15)有较低的分类错误或较高的分类精度。因此,模型(15)对预测帕金森患者的疾病严重程度有较好的预测表现。

图5展示了在不同容忍度下的累积得分曲线。在相同的累积得分水平下,错误率越低的模型的预测结果越精确。在图5的预测方法中,模型(15)在0到5的错误区间内有较好的表现。仅当错误容忍度为0时,支持向量机的累积得分(VCS)略微高于模型(15)(61.28>56.51),但经过计算发现,在这种情况下,支持向量机的平均绝对误差(VMAE)仍然大于模型(15)(0.537>0.519)。综上所述,尽管支持向量机在容忍度为0时表现较好,但是,它的预测能力总体上仍不及本文提出的模型(15)。在实际应用中仅仅将帕金森病严重程度划分为6个等级。进一步实验发现,当存在更多等级时,模型(15)的表现将好于其他方法。

为验证模型(15)在更多分类等级下的性质,将帕金森病严重等级放宽为统一帕金森疾病严重程度评分量表得分。从原始数据可知,total-UPDRS得分的范围是0到60。因此,下面检验在[1, 60]标度下模型(15)的表现水平,并与其他5种方法进行比较。图6展示了模型(15)预测统一帕金森疾病严重程度评分量表得分的能力。从图6可以看出,本文提出的方法比其他机器学习方法表现更好, 其累计得分值更高。此外,模型(15)在零容忍度的情况下仍有更好的表现,这归结于其超平面数量远高于图5中的5个。因此,模型(15)有更好的预测能力。

4 结论

针对偏好学习中存在不确定数据的问题,提出了两种基于模糊支持向量机的偏好学习方法,以解决不确定性环境下的方案排序和有序回归问题,并使用公开数据集验证了提出的模型在有序回归问题中的表现。与已有偏好学习模型相比,提出的模型有以下特点:1) 基于模糊支持向量机的线性排序模型能避免数据不确定性对学习结果产生较大影响;2)有序回归方法使用损失敏感模糊隶属函数来刻画决策者的不确定性,且仅使用分类超平面对样本进行分类,计算简便。

本文提出的有序回归模型需要训练样本包含排序信息。未来可讨论如何使用偏好关系作为训练数据。此外,如何处理更大的数据集(如样本量超过10万)也是值得研究的话题。

参考文献

[1]

Liu YWu FSun Jet al.Group recommendation method based on co-evolution of group preference and user preference [J].Syst Eng-Theory Pract202141(3): 1-30.

[2]

刘业政, 吴锋, 孙见山, .基于群偏好与用户偏好协同演化的群推荐方法 [J].系统工程理论与实践: 202141(3): 1-30.

[3]

Qian MXu Z.A Study of dynamic recognition of consumer brand decision-making preference based on machine learning method [J].Nankai Bus Rev201922(3): 66-76.

[4]

钱明辉, 徐志轩.基于机器学习的消费者品牌决策偏好动态识别与效果验证研究 [J].南开管理评论201922(3): 66-76.

[5]

Zhao ZLu HCai Det al.User preference learning for online social recommendation [J].IEEE T Knowl Data En201628(9): 2522-2534.

[6]

Martyn K.Kadziński M.Deep preference learning for multiple criteria decision analysis [J].Eur J Oper Res2023305(2): 781-805.

[7]

Aggarwal MFallah Tehrani A.Modelling human decision behavior with preference learning [J].Informs J Comput201931(2): 318-334.

[8]

Chu WKeerthi S S.Support vector ordinal regression [J].Neural Comput200719(3): 792-815.

[9]

Doyle O MWestman EMarquand A Fet al.Predicting progression of Alzheimer’s disease using ordinal regression [J].PLOS One20149(8): e105542.

[10]

Chang KChen CHung Y.Ordinal hyperplanes ranker with cost sensitivities for age estimation [C]// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE, 2011: 585-592.

[11]

Kim KAhn H.A corporate credit rating model using multi-class support vector machines with an ordinal pairwise partitioning approach [J].Comput Oper Res201239(8): 1800-1811.

[12]

Diaz RMarathe A.Soft labels for ordinal regression [C]// Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE, 2019: 4738-4747.

[13]

Pang GYan CShen Cet al.Self-trained deep ordinal regression for End-to-End video anomaly detection [C]// Proceedings of the 2020 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE, 2020: 12173-12182.

[14]

Uusitalo L.Advantages and challenges of Bayesian networks in environmental modelling [J].Ecol Model2007203(3/4): 312-318.

[15]

Fdez-Díaz LFdez-Díaz MQuevedo J Ret al.Capturing waste collection planning expert knowledge in a fitness function through preference learning [J].Eng Appl Artif Intel202199: 104113.

[16]

Herbrich RGraepel TBollmann-Sdorra Pet al.Learning preference relations for information retrieval [C]// ICML-98 Workshop: Text Categorization and Machine Learning.Menlo Park: AAAI, 1998: 80-84.

[17]

Brochu EDe Freitas NGhosh A.Active preference learning with discrete choice data [C/OL]// Advances in Neural Information Processing Systems 21.Laguna Beach: Curran Associates, 2007: 409-416.[2024-03-01].

[18]

Zhao MLiu J L.Semi-supervised preference learning algorithm [J].Pattern Recogn Artif Intell201932(10): 909-916.

[19]

赵敏, 刘惊雷.半监督偏好学习算法[J].模式识别与人工智能201932(10): 909-916.

[20]

Singh DSingh B.Investigating the impact of data normalization on classification performance [J].Appl Soft Comput202097: 105524.

[21]

Lin CWang S.Fuzzy support vector machines [J].IEEE T Neur Net200213(2): 464-471.

[22]

Du ZLiu S YQi X G.Fuzzy support vector machine with new membership function [J].Int J Syst Simu200921(7): 1901-1903.

[23]

杜喆, 刘三阳, 齐小刚.一种新隶属度函数的模糊支持向量机[J].系统仿真学报200921(7): 1901-1903.

[24]

Heo GGader P.Fuzzy SVM for noisy data: A robust membership calculation method [C]// IEEE International Conference on Fuzzy Systems.Piscataway: IEEE, 2009: 431-436.

[25]

Sevakula R KVerma N K.Compounding general purpose membership functions for fuzzy support vector machine under noisy environment [J].IEEE T Fuzzy Syst201725(6): 1446-1459.

[26]

Liu JZio E.A scalable fuzzy support vector machine for fault detection in transportation systems [J].Expert Syst Appl2018102: 36-43.

[27]

Hansson B.Choice structures and preference relations [M].Berlin: Springer, 1968.

[28]

Piri SDelen DLiu T.A synthetic informative minority over-sampling (SIMO) algorithm leveraging support vector machine to enhance learning from imbalanced datasets [J].Decis Support Syst2018106: 15-29.

[29]

Liu T Y.Learning to rank for information retrieval [M].Berlin: Springer, 2011.

[30]

Fan R EChang K WHsieh C Jet al.LIBLINEAR: A library for large linear classification [J].J Mach Learn Res20089: 1871-1874.

[31]

Cortes CVapnik V.Support-vector networks [J].Mach Learn199520(3): 273-297.

[32]

Wang HZheng BYoon S Wet al.A support vector machine-based ensemble algorithm for breast cancer diagnosis [J].Eur J Oper Res2018267(2): 687-699.

[33]

Herbrich R.Large margin rank boundaries for ordinal regression [C]// Advances in Large Margin Classifiers.Cambridge: MIT Press, 2000: 115-32.

[34]

Wu T FLin C JWeng R C.Probability estimates for multi-class classification by pairwise coupling [J].J Mach Learn Res20045: 975-1005.

[35]

Li LLin H T.Ordinal regression by extended binary classification [C]// Proceeding of the 19th International Conference of Neural Information Processing Systems.Cambridge: MIT press, Curran Associates, 2007: 865-872.

[36]

De Rijk M CLauner L JBerger Ket al.Prevalence of Parkinson's disease in Europe: A collaborative study of population-based cohorts.Neurologic diseases in the elderly research group [J].Neurology200054(11): S21-S23.

[37]

Liu S YChen B.Epidemiology of Parkinson’s disease [J].Chinese J Contemp Neurol Neurosur201616(2): 98-101.

[38]

刘疏影, 陈彪.帕金森病流行现状 [J].中国现代神经疾病杂志201616(2): 98-101.

[39]

Dorsey E RGeorge B PLeff Bet al.The coming crisis: Obtaining care for the growing burden of neurodegenerative conditions [J].Neurology201380(21): 1989-1996.

[40]

Tolosa EWenning GPoewe W.The diagnosis of Parkinson's disease [J].Lancet Neurol20065(1): 75-86.

[41]

Almeida J SRebouças Filho P PCarneiro Tet al.Detecting Parkinson’s disease with sustained phonation and speech signals using machine learning techniques [J].Pattern Recogn Lett2019125: 55-62.

[42]

Tsanas ALittle M AMcSharry P Eet al.Nonlinear speech analysis algorithms mapped to a standard metric achieve clinically useful quantification of average Parkinson's disease symptom severity [J].J R Soc Interface20118(59): 842-855.

基金资助

国家自然科学基金(72371173)

国家自然科学基金(72171158)

四川省杰出青年科学基金(2025NSFJQ0072)

AI Summary AI Mindmap
PDF (842KB)

183

访问

0

被引

详细

导航
相关文章

AI思维导图

/