基于深度排序学习的脚本录制动作参数获取方法

摘要

在GUI可视化测试脚本中一般将目标控件图像作为点击动作的参数。在单个摄像机录制环境下构建GUI可视化测试脚本时，存在点击动作的目标控件图像获取准确率低的问题。为此，提出了一种基于深度排序学习的点击动作参数获取方法。在本方法中，利用计算机视觉技术来提取视频中指尖移动和屏幕变化等特征以获取更准确的用户与设备交互的触控区域，将该区域内包含的控件作为排序对象，使用深度排序学习算法对这些候选控件进行评分和排序，确保最符合预期的控件被选中作为点击目标控件。实验结果表明，使用该方法在单摄视频中获取点击动作参数具有较高的准确率。

关键词

GUI测试 / 可视化脚本 / 目标控件定位 / 计算机视觉 / 深度学习 / 排序学习

基金资助

中央高校基本科研业务费专项资金资助(NS2021066)