融合用户兴趣的海量Web多属性数据查询算法

Query algorithm for massive Web multi-attribute data that integrates user interests

摘要

为了提升客户满意度，通过融合用户兴趣，进行了海量Web多属性数据查询。根据数据的属性获取Web多属性数据的主题向量，并考虑遗忘因子，动态管理用户兴趣，以更加准确地反映用户的当前兴趣。在此基础上，利用余弦相似度计算Web多属性数据特征向量与用户兴趣主题向量之间的相似度，并利用Borda计数法整合初始化查询列表和个性化查询列表，获得综合考虑用户兴趣的最终查询列表，实现个性化数据查询体验。实验结果表明：该算法可实现Web多属性数据查询，具有处理歧义性查询的能力，且随着查询次数的增加，用户满意度接近100%。说明本文算法可以根据用户的查询内容，进一步了解用户所需，并为用户提供更加精准的查询结果。

Abstract

In order to improve customer satisfaction， massive Web multi-attribute data queries are conducted by integrating user interests. Based on the attributes of the data， obtain the topic vector of Web multi-attribute data， and consider the forgetting factor to dynamically manage user interests， in order to more accurately reflect the current interests of users. On this basis， cosine similarity is used to calculate the similarity between Web multi-attribute data feature vectors and user interest topic vectors， and Borda counting method is used to integrate the initialization query list and personalized query list to obtain the final query list that comprehensively considers user interests， achieving a personalized data query experience. The experimental results show that the algorithm can achieve Web multi-attribute data queries and has the ability to handle ambiguous queries. And as the number of queries increases， user satisfaction approaches 100%. This article demonstrates that the algorithm can further understand the needs of users based on their query content， and provide users with more accurate query results.

Graphical abstract

关键词

Web多属性数据 / 逆用户频率指数 / 遗忘因子 / 动态兴趣模型 / 扩展机制 / 相似度

Key words

Web multi-attribute data / reverse user frequency index / forgetting factor / dynamic interest model / expansion mechanism / similarity

0 引 言

Web数据在电子商务、社交媒体、在线新闻等领域呈现出爆炸式增长的态势^［1］，其中多属性数据尤为丰富，涵盖了商品价格、品牌、评价等维度^［2，3］。然而，当用户在海量Web多属性数据中进行查询时，无法综合考虑多个属性之间的关联和组合，深入理解用户的个性化需求和兴趣^［4，5］，导致用户难以迅速找到真正符合其个性化需求的信息，极大地影响了用户体验^［6］。因此，如何有效融合用户兴趣，实现对海量Web多属性数据的高效查询，成为当前信息检索领域亟待解决的问题。

杨矫云等^［7］利用概率近似正确理论，通过k个随机排序器抽取样本推断流数据的Top-k序列。当数据流分布不均匀或变化快速时，Top-k结果可能会偏离真实的Top-k元素；高俊杰等^［8］基于群体智能的协同搜索策略，将查询任务分解为子任务并分配给粒子进行处理。粒子间通过合作与竞争实现高效查询。该算法对静态或变化较慢的数据更有效，对快速变化的Web数据，可能需要额外的机制来保证其适应性和鲁棒性；罗芳等^［9］采用分布式存储架构和优化的检索算法，支持Web数据多属性关联存储和快速查询。该算法主要关注数据的关联性和高效检索，未考虑查询是否与用户兴趣相匹配；Tung等^［10］通过理解口语会话上下文预测用户查询意图，确保查询结果与用户兴趣匹配，但需克服口语理解和识别上的挑战，尤其是该算法未考虑用户兴趣的动态变化特性，导致其在提供全面和深入个性化搜索体验方面存在缺陷。

为了提高Web数据查询效率和准确性，以满足用户个性化需求，本文提出融合用户兴趣的海量Web多属性数据查询算法，通过融合用户兴趣并考虑其动态变化，对海量Web多属性数据进行个性化查询。

1 海量Web多属性数据查询

1.1　Web多属性数据主题向量获取

Web上包含海量的多属性数据^［11］，这些数据不仅数量庞大，而且结构复杂，包括文本、图像、视频等形式。这些信息的内容和主题各不相同。通过获取主题向量，可以将这些数据按照主题进行分类和组织，使得信息的管理和检索更加高效。

设定U为Web多属性数据查询用户集合，R为待查询的Web多属性数据集^［12］，T为标识数据属性的标签集。由此，Web多属性数据主题向量可以表示为：

\mathit{P}=\left\{\left(T_{\mathrm{1}},w_{\mathrm{1}}\right),\left(T_{\mathrm{2}},w_{\mathrm{2}}\right),\cdots ,\left(T_n,w_n\right)\right\}（1）

式中：\mathit{P}为n维向量；T_i为第i个Web多属性数据查询标签主题；w_i为用户对其兴趣度，该参数反映T_i的权重，二者构成了特征项\left(T_i,w_i\right)。

标签主题T_i的表达式为：

T_i=\left\{\left(t_{i,\mathrm{1}},w_{i,\mathrm{1}}\right),\left(t_{i,\mathrm{2}},w_{i,\mathrm{2}}\right),\cdots ,\left(t_{i,k},w_{i,k}\right)\right\}（2）

式中：t_{i,k}为用户查询的第i个主题下的编号为k的标签，t_{i,k}\in T_i，T_i\subseteq T；w_{i,k}为用户对其的兴趣度，即标签权重。w_{i,j}的表达式为：

w_{i,k}=t{f}_{i,k}\times \mathrm{l}\mathrm{o}\mathrm{g}\left(\frac{N}{n{t}_{i,k}}\right)（3）

式中：t{f}_{i,k}为用户使用标签t_{i,k}的频率；\mathrm{l}\mathrm{o}\mathrm{g}\left(\frac{N}{n{t}_{i,k}}\right)为逆用户频率指数；N为查询Web多属性数据的用户数量；n{t}_{i,k}为通过标签t_{i,k}查询Web多属性数据的用户个数。

由于Web数据海量且复杂，通过获取Web多属性数据的主题向量可以先将数据按照主题进行聚类或索引，然后在相关主题的数据集中进行搜索，从而提高查询效率。

1.2　用户兴趣动态管理

Web多属性数据的主题向量是对数据内容深层语义信息的提取和表示。当用户查询或浏览Web数据时，这些数据的主题向量可以反映出用户的兴趣所在。通过分析用户与数据的交互行为，可以推断出用户对哪些主题的数据更感兴趣。然而用户兴趣具有时变性^{［13，14］}，为了使用户获得更准确的Web多属性数据查询结果，考虑遗忘因子，结合Web多属性数据的主题向量，更加准确地反映用户的当前兴趣。

遗忘因子通过下式确定：

F\left(\mathit{P}\right)=\mathrm{l}\mathrm{o}{\mathrm{g}}^{\mathrm{2}}\left(e_{\mathrm{c}}-e_{\mathrm{t}}\right)/hl（4）

式中：e_{\mathrm{c}}为当下时间；e_{\mathrm{t}}为最后一次使用该标签进行Web多属性数据查询的时间；hl为用户对某一特定Web多属性数据的兴趣衰减到一半所需时间。

本文利用遗忘因子描述用户兴趣逐渐遗忘的过程，在实时更新Web多属性数据查询标签、主题权重的过程中，删除用户已不感兴趣的标签或主题，达到动态管理用户兴趣的目的，具体通过以下几步实现：

（1）通过式（4）对Web多属性数据主题向量\mathit{P}的遗忘因子进行运算，然后根据w_{i,k}^{\text{'}}=w_{i,k}\times F\left(\mathit{P}\right)对其权重进行修正。

（2）设t_{\mathrm{1}}为用户查询Web多属性数据时使用的新标签，当t_{\mathrm{1}}已存在于兴趣主题中，则对其权重以及对应主题权重进行更新，并对e_{\mathrm{t}}做对应更改；当t_{\mathrm{1}}可作为一个新标签添加到兴趣主题中时，则先对F\left(t_{\mathrm{1}}\right)进行确定，用当下时间更新e_{\mathrm{t}}，计算与该标签对应的主题权重；当t_{\mathrm{1}}不属于任何已有主题时，将之视为新主题加入用户兴趣模型中，并对其遗忘因子进行确定，用当下时间更新e_{\mathrm{t}}，计算其权重。

（3）去除用户不感兴趣的标签^［15］。按照标签权重计算结果排序，并与设定阈值\delta比较，保留权重值高于阈值的标签，将余下标签予以去除后，完成主题权重的修正。

（4）去除用户不感兴趣的主题。按照主题权重计算结果排序，并与设定阈值\epsilon比较，保留权重值高于阈值的主题P_i，将余下主题予以去除。

由此，完成用户兴趣动态管理，确保查询结果、推荐内容等与用户当前的兴趣和需求更加匹配，从而提升用户的满意度和体验。

1.3　Web多属性数据查询

Web多属性数据包含了丰富的信息，为用户提供更加个性化、精准的服务，在完成用户兴趣动态管理后，当用户发送Web多属性数据查询请求时，通过余弦相似度计算每一条Web多属性数据特征向量与用户兴趣主题向量之间的相似度，并根据相似度的高低来决定数据在查询结果中的排序，相似度高的数据排名更靠前，以便为用户提供个性化数据查询体验。余弦相似度度量表达式为：

\mathrm{S}\mathrm{i}\mathrm{m}\left(Q_i,{\mathit{P}}_i\right)=\mathrm{c}\mathrm{o}\mathrm{s}\left(Q_i,{\mathit{P}}_i\right)=\frac{{\displaystyle \sum _{j=\mathrm{1}}^n}{g}_j\times w_j}{{\left({\displaystyle \sum _{j=\mathrm{1}}^n}{g}_j^{\mathrm{2}}\right)}^{\frac{\mathrm{1}}{\mathrm{2}}}{\left({\displaystyle \sum _{j=\mathrm{1}}^n}{w}_j^{\mathrm{2}}\right)}^{\frac{\mathrm{1}}{\mathrm{2}}}}（5）

式中：Q_i为Web多属性数据特征参数；{\mathit{P}}_{\mathit{i}}为用户兴趣主题向量；w_j为用户兴趣主题权重；g_j为待查询Web多属性数据主题权重。

Web多属性数据查询流程为：

第1步 搜索引擎接收用户提交的Web多属性数据查询请求后，生成一个初始查询结果集合，用A表示，返还给用户的Web多属性数据初始化查询列表表示为\tau。

第2步 初始化一个循环计数器，并从0开始计数计算循环次数。

第3步 对于数据集R中的第i个Web多属性数据，通过式Q_i=\left\{\left(q_{\mathrm{1}},{\mathrm{g}}_{\mathrm{1}}\right),\left(q_{\mathrm{2}},{\mathrm{g}}_{\mathrm{2}}\right),\cdots ,\right.\left.\left(q_o,{\mathrm{g}}_o\right)\right\}确定其特征向量。

第4步 通过式（5）求得动态用户兴趣模型主题向量与第i个Web多属性数据特征向量之间的相似度。

第5步 当第i个Web多属性数据是数据集R中最后一个数据，则执行下一步；反之，令i=i+\mathrm{1}，退回到第三步。

第6步 根据相似度的高低对数据集R中的Web多属性数据进行排列，产生个性化查询列表{\tau }^{\text{'}}。

第7步 根据Borda计数法将初始化查询列表\tau、个性化查询列表{\tau }^{\text{'}}中的排名信息转化为Borda分数，并将这些分数进行汇总，从而生成一个综合考虑用户兴趣的最终查询列表{\tau }^{″}。

第8步 将最终查询列表{\tau }^{″}提供给用户，完成Web多属性数据查询。

2 实验分析

2.1　实验设置

以互联网为实验对象，从该网站获取海量Web数据，每条新闻记录均由标题、内容、发布时间、所属分类、标签等属性构成，收集与Web数据相关的用户行为数据，包括用户对新闻的浏览量、点赞数、评论、分享次数等，以及用户ID、地理位置、浏览历史等个人信息，完成实验样本数据集的构建。其中用户总数为1 000，Web多属性数据为300 000个。为模拟真实世界中的分布式数据处理场景，搭建一个包含10个节点的集群，每个节点CPU均为Intel Xeon Gold处理器，其核心数为20，主频为2.10 GHz，三级缓存为27.5 MB；随机存储器内存为128 G，固态硬盘容量为256 G。查询机制如图1所示。

在图1所示的查询机制中，当用户以“D”为Web多属性数据查询关键词时，可利用本体知识查找与“D”相关的概念，并对这些概念进行语义信息。然后通过用户兴趣动态管理确定用户查询的具体意图，删除不满足查询需求的概念。最后利用本体知识进行查询扩展。添加与“D”相关的标签，丰富Web多属性数据查询语义信息，提高查询的准确性和完整性。

查询过程中的Web属性索引存储形式表如表1所示。

将属性数据和其对应索引分别存储在相同表的Url列族和Index列族中，在Web多属性数据查询时，便可以通过各个分布式节点完成属性数据的同时检索，融合各个节点检索结果，即可完成符合查询条件数据的定位。

由此，将本文算法应用到海量Web多属性数据查询中，分析其数据查询性能。查询过程中的实验参数设置如表2所示。

在上述设置的基础上，选取体育运动爱好者用户A，该用户以“体育”为查询主题，以“CBA联赛”为查询关键词，从互联网上获取有关辽宁男子篮球队CBA联赛赛事的多属性数据信息，应用研究算法对该数据信息进行查询，通过对查询结果进行分析，验证本文算法的数据查询性能，实验结果如图2所示。

分析图2可知，应用本文算法在互联网上对辽宁男子篮球队CBA联赛赛事的多属性数据信息进行查询是有效的，本文算法能够准确捕捉到与查询主题和关键词高度相关的数据信息，查询结果与用户需求具有高度匹配性，验证了本文算法在数据查询性能上的优异表现。这不仅体现了本文算法在复杂信息环境下的高效处理能力，也进一步证明了其在体育领域数据查询应用中的实用性和可靠性。

2.2　结果与分析

以排序计分（RS）指标衡量Web多属性数据查询精度，将文献［7］算法、文献［10］算法作为对比算法，通过对比3种算法在所有查询、最优查询以及非最优查询上的排序计分指标差异，分析本文算法的查询性能优势，实验结果如表3所示。

分析表3可知，本文算法在所有查询类型上的排序计分均显著优于其他两种算法，在最优查询中表现尤为突出，即生成的查询列表能够精准匹配用户个性化需求。这充分说明了用户兴趣模型在提高Web多属性数据查询结果精度方面的重要性，同时证明了本文算法在捕捉和反映用户兴趣变化上的有效性。

点击熵是一个衡量用户点击行为多样性的指标，其值越大，表明用户点击不同网页的数量越多，即查询的歧义性可能越高。本文通过对比分析不同点击熵下各算法在Web多属性数据查询上的RS指标差异，验证本文算法在处理歧义性查询上的优越性，实验结果如表4所示。

分析表4得出，本文算法在处理歧义性查询时显示出明显的优越性。当点击熵低于1.7时，即用户点击行为相对集中，查询的歧义性较低时，本文算法的排序计分指标值明显高于对比方法，分别提高了16.9%和26.6%的性能。而当点击熵大于等于1.7，即用户点击行为更加多样化，查询的歧义性较高时，本文算法依然保持较好的性能，其排序计分相比其他两种算法分别提高了6.8%和18.1%。实验结果表明：本文算法能够更有效地处理具有不同歧义性的查询，为用户提供更准确、更相关的搜索结果。

将文献［7］算法、文献［10］算法作为对比算法，将本文算法、对比算法应用到Web多属性数据查询中，各算法下的用户满意度指标差异如图3所示。

分析图3可知，随着查询次数的增加，3种算法所得到的客户满意度均呈现上升趋势。其中，本文算法的用户满意度一直保持在97%左右，相对较高，这是因为本文方法考虑到了用户兴趣的时变性，可以确保每次生成的查询列表都能紧密贴合用户的当前需求和偏好，且随着查询次数的增加，更能理解用户需求，提供更加具有针对性的查询结果。由此表明，本文算法在个性化服务查询方面具有突出优势。

3 结束语

在海量Web多属性数据查询领域，为能够显著提升查询的个性化和准确性。提出了融合用户兴趣的海量Web多属性数据查询算法。实验结果表明：本文算法可以较为全面地考虑海量Web的属性，并实时更新用户兴趣。查询得到的结果有较高的用户满意度，能够为海量Web多属性数据查询提供一种高效、个性化的解决方案。

参考文献

[1] 赵红梅, 肖明, 白宇, 等. 面向用户偏好的动态网页数据交互式查询算法[J]. 吉林大学学报: 理学版, 2024, 62(2): 417-422.

[2] Zhao Hong-mei, Xiao Ming, Bai Yu, et al. Interactive query algorithm for dynamic web page data based on user preference[J]. Journal of Jilin University(Science Edition),2024,62(2):417-422.

[3] 孙琛琛, 申德荣, 肖迎元, 等. 面向查询式实体解析的多属性数据索引技术[J]. 软件学报, 2022, 33(6): 2331-2347.

[4] Sun Chen-chen, Shen De-rong, Xiao Ying-yuan, et al. Multi-attribute data indexing for query based entity resolution[J]. Journal of Software,2022,33(6):2331-2347.

[5] 王子泓, 邵蓥侠, 何吉元, 等. 基于多空间属性信息融合的序列推荐[J]. 计算机科学, 2024, 51(3):102-108.

[6] Wang Zi-hong, Shao Ying-xia, He Ji-yuan, et al. Sequential recommendation based on multi-space attribute information fusion[J]. Computer Science,2024,51(3):102-108.

[7] 翁彬月, 秦永彬, 黄瑞章, 等. NEMTF: 基于多维度文本特征的新闻网页信息提取方法[J]. 计算机应用研究, 2022, 39(4): 1043-1048.

[8] Weng Bin-yue, Qin Yong-bin, Huang Rui-zhang,et al. NEMTF:method of news Web content extraction based on multi-dimensional text features[J]. Application Research of Computers,2022,39(4):1043-1048.

[9] 蒲岍岍, 雷航, 李贞昊, 等.增强列表信息和用户兴趣的个性化新闻推荐算法[J]. 计算机科学, 2022, 49(6): 142-148.

[10] Pu Yan-yan, Lei Hang, Li Zhen-hao,et al. Personalized news recommendation algorithm with enhanced list[J]. Computer Science, 2022, 49(6):1 42-148.

[11] 聂卉, 邱以菲. 融合用户兴趣及评论效用的评论信息推荐[J]. 图书情报工作, 2021, 65(10): 68-78.

[12] Nie Hui, Qiu Yi-fei. Integrating user interests with review helpfulness for review recommendation[J]. Library and Information Service,2021, 65(10): 68-78.

[13] 杨矫云, 郭思伊, 李廉. 基于Pac算法的流数据top-k实时查询[J].华中科技大学学报:自然科学版,2021, 49(2):56-61.

[14] Yang Jiao-yun, Guo Si-yi, Li Lian. Pac based top-k real-time query algorithm for streaming data [J]. Journal of Huazhong University of Science and Technology(Nature Science Edition),2021, 49(2):56-61.

[15] 高俊杰, 杨帆. 基于群体智能的半结构化数据查询优化算法[J]. 计算机仿真, 2021, 38(8): 381-385.

[16] Gao Jun-jie, Yang Fan. Semi-structured data query optimization algorithm based on swarm intelligence [J]. Computer Simulation,2021, 38(8): 381-385.

[17] 罗芳, 李春花, 周可, 等.基于多属性的海量Web数据关联存储及检索系统[J]. 计算机工程与科学, 2022, 36(3): 404-410.

[18] Luo Fang, Li Chun-hua, Zhou Ke, et al. An associated storage and retrieval system of massive Web data based on multi-attributes[J]. Computer Engineering and Science,2022, 36(3): 404-410.

[19] Tung V, Salvatore A, Giulio J,et al. Spoken conversational context improves query auto-completion in web search[J]. ACM Transactions on Information Systems, 2021, 39(3): 1-32.

[20] 张星, 张兴. dckpdp:改进k-prototype聚类的差分隐私混合属性数据发布方法[J]. 计算机应用研究, 2022, 39(1): 249-253.

[21] Zhang Xing, Zhang Xing. Differential privacy mixed attribute data publishing method for improved k-prototype clustering[J]. Application Research of Computers, 2022, 39(1): 249-253.

[22] 虞文波, 游进国, 牛祥虞. 基于强化学习的数据库多属性索引推荐[J]. 计算机应用研究, 2023, 40(6): 1789-1793.

[23] Yu Wen-bo, You Jin-guo, Niu Xiang-yu. Mira:database multi-attribute index recommendation based on reinforcement learning[J]. Application Research of Computers, 2023, 40(6): 1789-1793.

[24] 麻天, 余本国, 张静, 等. 基于混合聚类与融合用户兴趣的协同过滤推荐算法[J]. 电子技术应用, 2022, 48(4): 29-33.

[25] Ma Tian, Yu Ben-guo, Zhang Jing, et al. Collaborative filtering recommendation algorithm based on hybrid clustering and user preferences fusion[J]. Application of Electronic Technique,2022, 48(4): 29-33.

[26] 凌宇, 单志龙. 基于兴趣增强的知识概念推荐系统[J].计算机应用, 2023, 43(12): 3697-3702.

[27] Ling Yu, Shan Zhi-long. Knowledge concept recommendation system based on interest enhancement[J]. Journal of Computer Applications, 2023, 43(12): 3697-3702.

[28] 张彬, 徐建民, 吴姣. 大数据环境下基于知识图谱的用户兴趣扩展模型研究[J]. 现代情报, 2021, 41(8): 36-44.

[29] Zhang Bin, Xu Jian-min, Wu Jiao. Research on user interest expansion model based on knowledge graph in big data environment[J]. Modern Information, 2021, 41(8): 36-44.

基金资助

天津市科技计划项目(23KPXMRC00060)