增强现实环境中基于假想键盘的手势输入方法

Gesture input method based on transparent keyboard in augmented reality environment

摘要

针对当前的增强现实环境中，点击输入方式存在效率低和视觉遮挡等问题，本文提出了一种新型的文本输入方式，将手势输入和假想键盘相结合，使用者在透明方框中绘制单词手势进行输入。首先，验证了在增强现实环境中使用假想键盘是可行和实用的；其次，对点击输入、有视觉反馈手势输入和无视觉反馈手势输入（本文方法）3种输入方式进行了用户研究，评估三者的性能。结果表明，无视觉反馈手势输入的平均速度可达16.95 WPM（Words per minute），超过点击输入6.92 WPM。

Abstract

In current augmented reality systems， the most popular touch input method suffers from inefficiency and occlusion. To address these challenges， this paper proposes a novel text entry method that combines gesture keyboard with an imaginary keyboard， where users draw gestures in a transparent area. First， we verified that it is feasible and practical to use an imaginary keyboard in an augmented reality environment. Second， we conducted a user study to evaluate the performance of three entry methods： touch， gesture with visual feedback and gesture without visual feedback （the method of this paper）. The results show that the average speed of the proposed method can reach 16.95 WPM （Words Per Minute）， which is 6.92 WPM higher than touch input.

Graphical abstract

关键词

计算机应用技术 / 人机交互 / 增强现实 / 文本输入 / 手势键盘

Key words

computer application technology / human-computer interaction / augmented reality / text entry / gesture keyboard

0 引　言

随着增强现实头戴式显示器（Head-mounted display， HMD）的尺寸逐渐轻便，计算和渲染能力显著提高，增强现实技术的实用性和吸引力与日俱增。与手机相比，HMD没有屏幕大小的限制，能够帮助用户更方便、更有效地完成日常任务，如查看邮件、发送短信、撰写文档等^［1］。然而，文本输入作为这些场景中必不可少的操作^［2］，如何能够提供一个更高效的方式，仍有待解决。目前，主流设备（如HoloLens）要求用户通过头部控制光标在假想键盘上移动并用手指捏合进行选择，或用手指直接点击假想键盘上字母的按键。这种字符级的输入方式效率较低，并且频繁的头部移动及手臂长时间悬在半空中很容易导致疲劳^［3］。此外，假想键盘占用了屏幕中心大部分的区域，这导致屏幕空间受阻且可能会遮挡物理环境并限制用户对周围环境的感知^［4，5］。当用户行走或站立时，这种遮挡和对周围环境意识的缺乏甚至可能造成身体伤害^［6］。

本文提出了增强现实中一种新型的文本输入方式，将手势输入和假想键盘相结合。用户假想身前的透明方框为一个不可见的键盘，手指依次穿过字母对应的位置，抬起手指结束输入。在预实验中，我们探索在假想键盘上进行输入的可行性，参与者要在方框中依次点击目标单词中字母所在的位置。结果表明是可行的，因为参与者可以准确地回想起字母所在的位置。本文根据实验结果开发了手势识别的解码器，招募了12名参与者完成了点击输入、有视觉反馈手势输入和无视觉反馈手势输入3种方式的性能评估实验。结果表明，平均速度分别为10.03 WPM（Work per minute）、17.46 WPM和16.95 WPM。手势输入的方式相比传统点击在效率上有较大提升，并且有无键盘字母按键位置及范围的视觉反馈对输入性能和可用性没有影响。

本文的主要贡献包括：（1）提出一种在假想键盘上绘制手势进行输入的技术；（2）提出一项预实验，以证明无视觉反馈情况下在假想键盘上进行文本输入的能力；（3）3种输入方式的实现和比较评估。本文提出的技术主要解决两个问题：输入效率和环境遮挡。

1 相关工作

1.1　增强现实中的文本输入

随着增强现实技术的日益普及，用于增强现实环境的文本输入技术的研究数量也在增长。

Xu等^［7］针对假想键盘上两种输入机制：滑动和点击，结合4种指向方式：控制器、头部运动、手掌和混合，共计8种可能的组合进行了研究。结果表明，使用控制器滑动或点击分别达到了13.68 WPM和14.6 WPM，在输入性能和用户体验方面优于其他无设备的方法。然而，HMD旨在成为能使用户在室内或室外移动中使用的设备^［8，9］，传统的输入设备如控制器、键盘和鼠标，尽管能达到很快的输入速度，但这可能不是HMD进行文本输入最合适的方式。

Grossman等^［10］利用设备侧面的触摸板设计了一种两步操作的输入方式。键盘字母被分成了9组，第一个操作用户首先在触摸板上点击或滑动选择字母组，第二个操作用于在字母组中选择所需的字母。用户在经过20组实验后，输入速度达到了8.73 WPM。这种需要二次选择的字符级输入方式并没有提供很高的效率，且每个字母相比直接点击假想键盘需要更多的操作次数。

Yu等^［11］将二维字母映射为一维的单笔画手势，不同字母具有相似的手势，用不同长度的子笔画区分。用户通过依次执行每个字母的相应笔画手势输入单词。用户研究表明，对于字母输入和单词输入分别可达到4.67 WPM和9.72 WPM。但是该技术需要用户花费大量的时间学习和记忆各个字母的笔画手势，虽然实现了在大小受到约束的触摸板上进行输入，但并不是易上手且学习成本较高。

空中输入是增强现实中另一种潜在的文本输入方式。Lee等^［5］将字母按键按照字母表的顺序排成一行，并将用户身前空间按照从近到远分为3个区域。用户在准备区水平移动选择要输入的字母，然后从准备区垂直向前移动到快进区以确认字母选择，向后移动到召回区可提供退格功能。平均输入速度为9.95 WPM。

Sridhar等^［12］针对手掌上6个关节设计了一种多手指手势的输入方式，不同手指弯曲和弯曲角度的不同映射为各个字母。经过反复练习，输入速度可达22 WPM。AirStroke^［13］提供一种双手手势的单笔画文本输入技术。左手拇指与其他手指捏合可实现小写、大写、数字和标点4种输入模式，手指保持捏合在空中直接画出字母的形状，松开手指提交输入，右手则在提交输入后选择候选词。双手操作相比单手对手势进行了分割，有明确的范围界定，平均输入速度可达11 WPM。

PalmType^［14］使用非惯用手手掌作为交互式键盘，将字母按键映射到掌心和手指上，佩戴腕戴式传感器可检测手指的位置和敲击动作。实验结果表明，输入可达7.66 WPM。然而，空中输入的方法一般需要额外的传感器或设备，成本高对用户并不友好，而且需要用户在识别范围中保持特定的姿势或位置^［15］。

1.2　假想界面

对假想界面的研究表明，参与者具有在无视觉反馈情况下进行空间交互的能力，为无视觉反馈文本输入方式的可行性提供了经验证据。

Li等^［16］设计了一种能够快速访问目标的交互技术，参与者可以完全依赖动觉和空间记忆，在以自身为中心的圆形半球内准确地指向预先设定的区域，在触发快捷方式或操作时无须注视屏幕，实现了无眼交互。

Yan等^［17］同样利用了空间感知和本体感觉这种能力，研究了无眼目标采集的可行性和可用性。用户能够无须注视获取虚拟对象，可以有效减少头部运动，加快交互速度并减少使用时造成的颈部疲劳和晕动症。

Gustafson等^［18］设计了一种假想界面，允许参与者在没有视觉反馈的情况下进行空间交互。用户可用拇指和食指形成一个二维平面，并且通过利用视觉短期记忆，在平面中绘制、扩展和编辑。用户能在平面中绘制单笔画字符和简单素描，识别率为94.5%。Lin等^［19］实现了能在无视觉反馈的情况下，通过点击小臂进行交互的方式。用户可以根据皮肤的触觉反馈增加敲击位置的准确性，精确区分小臂上的目标。

Hotstrokes^［20］未提供键盘布局，让参与者将笔记本电脑触摸板想象为真实的物理键盘，通过绘制手势键入快捷命令。该方式显著提高了命令激活性能，比使用传统的线性菜单更有效，将命令激活时间减少了43%。

BackSwipe^［21］利用了参与者对键盘按键位置的记忆，实现可在手机背面任意位置绘制单词手势进行文本输入的方法。该方法可以隐藏用户界面中的假想键盘，节省屏幕空间。实验结果表明，基于假想键盘的打字范例是可行的且易于学习。

2 无视觉反馈的手势输入

本文旨在设计一种将手势输入和假想键盘相结合的输入方式，主要解决两个问题：输入效率和环境遮挡。与逐个字母点击的传统输入方式相比，手势输入不需为每个字母上下移动，只涉及一个连续的笔画。其次，参与者在初次使用时需要键盘的视觉引导逐个字母跟踪绘制手势，到熟练使用后能够直接回忆手势，手势输入能够促进从慢到高效的转变^［22］。此外，在一个假想键盘上打字，键盘上各个字母按键并没有显示，参与者可以直接透过键盘无阻碍地观察物理环境。

2.1　输入机制

本文设计了如图1所示的界面布局，该界面由以下部分组成：（1）测试区域，显示用于性能评估的目标字符串，仅在实验研究中使用；（2）文本框，显示使用者已输入的内容；（3）候选词列表，显示当前输入手势的识别结果；（4）假想键盘，20 cm×10 cm的透明触摸区域（正常键盘尺寸，仅边框可见），显示参与者手势输入的范围并可视化用户输入手势轨迹；（5）删除键，以单词为单位删除文本框中内容；（6）提交键，可用于发送或确认已输入的内容。

图1展示了参与者在输入单词“the”时绘制的手势，参与者首先找到他认为字母t所在的位置，手指触摸键盘上该位置即开始输入，并依次滑过目标单词中字母h和e所在位置，抬起手指结束输入。通过解码手势返回候选词，最有可能的单词将直接加入文本框中并自动添加一个空格，点击候选词列表中的其他单词可直接替换文本框中已选择候选词的内容。

2.2　预实验

为了研究参与者在假想键盘上的输入行为是否能与输入机制中所设计的一致，我们进行了一项预实验，该实验有以下目标：（1）了解参与者是否有能力在无视觉反馈的情况下回忆起字母的位置；（2）收集参与者的输入行为数据（触摸点数据），并在此基础上进一步分析。

2.2.1　实验人员和设备

我们从校园招募了10名参与者，其中7名男性，3名女性，平均年龄为21岁。所有参与者均为QWERTY键盘使用者。

我们使用Hololens 2作为增强现实设备进行实验，使用一台搭载AMD Ryzen5 5600X处理器的计算机在Unity 2019.4.22f1c1中用C#开发软件。

2.2.2　实验设计

在增强现实环境中在参与者身前50 cm处放置了一个20 cm×10 cm的透明触摸区域，与图1中假想键盘一致。参与者被要求输入在该区域上方展示的单词，假想有一个无形的键盘叠加在触摸区域上，并能成功识别其输入。参与者被要求尽可能自然地点击单词中字母所在的位置。选择美国国家语料库^［23］中前1万个常用词作为测试词组，所有参与者都使用相同的词组。参与者在实验中被要求完成100个单词，这些单词是从词组中随机选取的。每名参与者的实验大约需要50 min。如图2所示，参与者正在输入单词“dawn”，已收集点击数据的字母用红色表示。

2.2.3　实验结果及分析

图3显示了根据实验收集数据得到的假想按键位置分布，与各个按键相对应的触摸点以不同的颜色呈现，同时计算了每个按键触摸点的质心，并在图3中配以字母标记。从图3中可以看出，各个按键的质心仍遵循标准QWERTY布局，这表明参与者能够在无视觉反馈的条件下，回忆起键盘按键的相对位置。以往的研究指出^［24］，用户可通过物理设备使用过程中建立的空间记忆，足够精确地完成点击与滑动操作。本实验进一步推进了这一结论，参与者可将物理键盘上形成的空间与肌肉记忆转移到假想键盘上，具备在无视觉反馈情况下进行输入的潜力。

2.3　解码手势输入

手势输入相比假想键盘上的点击有很大差异。首先，部分单词的手势在形状上相同或相似，无法提供足够的信息消除手势输入时产生的歧义。其次，在手势输入过程中因为没有按键大小和点击范围的限制，也无法仅根据手势的空间坐标识别输入意图。我们参考了SHARK²算法^［25］，遵循文中概述的原则开发了一种多通道的手势识别算法，从形状通道和位置通道两个方面处理使用者的手势输入。

在对手势进行匹配之前，需先将输入手势g重采样为100个等距点，该方式能够弱化点序列中因手臂悬空移动，坐标点在移动方向上抖动导致后续无法识别手势等问题。对于手势识别过程中所需的模板，选择美国国家语料库中前1万个常用词为该算法字典，用于生成模板与单词识别。模板手势t由连接目标单词所含字母中心点的直线构成，中心点坐标与预实验所得结果中各个按键质心一致，模板手势t同样重采样为100个等距点。图4展示了单词“this”在重采样前、重采样后及模板手势的点序列。

其次，因为词组中包含大量单词，为避免对所有单词进行多通道识别影响识别效率，我们通过计算输入手势g和模板手势t两者之间开始坐标和结束坐标的距离过滤词组中的单词。以预实验中每个按键椭圆分布的短轴作为对应字母的阈值，如果两个距离中任意一个大于设定的阈值，则将该单词丢弃。该方法可以筛选出具有相同开始和结束字母的单词，有效缩短多通道识别的时间。

形状通道根据形状信息对手势进行评分，计算两手势之间的相似性。以手势g作为输入，输出手势g与单词w的模板手势t的形状匹配距离D_shape（g， t）。将手势g和模板t在比例和位置上基于手势高度和宽度进行归一化，并将手势的几何质心平移到坐标系原点，计算欧氏距离和平均值。

位置通道根据绝对位置信息对手势进行评分，计算两手势之间的距离差。以手势g作为输入，输出手势g与单词w的模板手势t的位置通道匹配距离D_location（g， t）。模板手势t与形状通道中一致，计算手势g与模板t中各点的欧氏距离和，并为每对点的结果赋以不同的权值。因为使用者在输入时，更容易将注意力放在起点和终点上，所以中间点赋予最低权重，其余点的权重向两端线性增加。

最后结合形状评分和位置评分得到手势g和模板t之间的总匹配分数D（g， t）为：

D\left(g,t\right)=D_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}}\left(g,t\right)+D_{\mathrm{l}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}\left(g,t\right)（1）

应用式（1），获得输入手势g和全部单词所对应模板t的匹配分数。对结果进行升序排序，输出排名前五的单词为最佳识别结果，其中D（g， t）值最小的为使用者预期输入的单词。

3 实验及性能评估

本文进行了一项参与者研究实验，以评估点击输入、有视觉反馈的手势输入和无视觉反馈手势输入3种输入方式的性能。有视觉反馈手势输入方式与无视觉反馈手势输入一致，但键盘上标注字母位置及范围，非透明。本实验有以下目的：（1）对3种输入方式进行测试，评估手势输入方式相比点击输入是否有性能上的提升；（2）验证无视觉反馈手势输入的可行性，以及与有视觉反馈的手势输性能对比。

针对点击输入方式的实现，我们将每个字母的按键以QWERTY键盘布局排列，放置于用户身前50 cm处，键盘大小为50 cm×30 cm。用户可用手指直接与按键交互，依次点击对应字母按键即可进行输入。有视觉反馈手势输入方式的实现与无视觉反馈的手势输类似，不同点在于有视觉反馈的透明触摸区域中，在各个按键位置的中心标明了对应字符，给予用户提示。两种对比输入方式的界面布局如图5所示，上为点击输入，下为有视觉反馈的手势输入。

3.1　实验人员和设备

实验从校园中共招募12名参与者，其中，10名男性，2名女性，平均年龄为23.5岁，均未参与预实验。所有参与者日常均为QWERTY键盘使用者。5名参与者有增强现实设备使用经验。本实验采用与预实验相同的设备进行。

3.2　实验设计

实验采用了单自变量的被试内设计。在实验开始前，要求参与者进行15~20 min的预训练，熟悉设备如何交互，以及3种输入方式具体的操作过程并告知实验目标。参与者将佩戴HoloLens2设备，用手指与位于头部正前方的假想键盘进行交互输入。在预训练阶段结束后，参与者将继续进行正式实验。针对每一种输入方式，参与者被要求输入10个短语进行评估，这些短语是从MacKenzie短语集^［26］中随机选取的。每种输入方式结束后，参与者需要根据当前方式的使用情况完成NASA-TLX问卷^［27］，在0~10的范围内对精神需求、身体需求、时间需求、整体性能、努力程度和挫折程度6个方面给出主观评分。每名参与者进行完整实验流程平均耗时70 min。整个实验总计收集3（输入方式）×12（参与者）×10（短语）=360个短语数据。

3.3　评估参数

采用WPM（words per minute）衡量文本输入的速度^［28］：

\mathrm{W}\mathrm{P}\mathrm{M}=\frac{\left|T\right|-\mathrm{1}}{S}\times \mathrm{60}\times \frac{\mathrm{1}}{\mathrm{5}}（2）

式中：|T|为输入字符串的长度；S为输入短语所用时间，单位为s。

从参与者按下第一个字母开始计时，考虑到参与者在输入前的准备时间，我们将输入字符串长度|T|减1进行计算。同时，针对短语集中短语单词长度不一致的问题，将单词的平均长度统一为5进行计算。

采用总错误率TER（total error rate）衡量文本输入的错误率^［28］：

\mathrm{T}\mathrm{E}\mathrm{R}=\mathrm{N}\mathrm{C}\mathrm{E}\mathrm{R}+\frac{F}{C+F}\times \mathrm{100}\mathrm{\%}（3）

\mathrm{N}\mathrm{C}\mathrm{E}\mathrm{R}=\frac{\mathrm{M}\mathrm{S}\mathrm{D}\left(P,T\right)}{\mathrm{M}\mathrm{A}\mathrm{X}\left(\left|P\right|,\left|T\right|\right)}\times \mathrm{100}\mathrm{\%}（4）

式中：NCER为未纠正错误率（not corrected error rate）；P为目标字符串；T为参与者输入字符串；MSD为两字符串的编辑距离；MAX为两字符串长度的最大值；F为使用删除键次数；C为输入点击次数。

NCER通过使用编辑距离，即插入、删除和替换单个字符的最小操作数，衡量参与者输入字符串与目标字符串的匹配程度。TER在NCER的基础上，计算了删除操作数占总输入操作数的比值，结合了文本输入过程中和之后对准确性的影响。

3.4　实验结果

实验中获取的数据可以采用单向重复测量方差分析比较在所有输入方式下的实验效果，并用Bonferroni校正进行输入方式间的成对比较。

3.4.1　输入速度

如图6所示，点击输入的平均速度为10.03 WPM，有视觉反馈手势输入的平均速度为17.46 WPM，无视觉反馈手势输入的平均速度为16.95 WPM，方差分析结果显示3种输入方式存在显著性差异（F_2，357=443.559，p<0.01）。成对比较表明，点击输入的速度明显慢于其他两种方式（有视觉反馈： p<0.01，无视觉反馈：p<0.01），有视觉反馈与无视觉反馈之间没有显著性差异（p=0.211）。

3.4.2　错误率

如图7所示，点击输入的平均错误率为2.38%，有视觉反馈手势输入的平均错误率为2.75%，无视觉反馈手势输入的平均错误率为3.06%，方差分析结果显示3种输入方式不存在显著性差异（F_2，357=0.558，p=0.573）。成对比较同样表明，任意两种输入方式之间都不存在显著性差异（点击输入和有视觉反馈：p=1.000，点击输入和无视觉反馈：p=0.876，有视觉反馈和无视觉反馈：p=1.000）。

3.4.3　交互体验

如图8所示为参与者对3种输入方式的评分统计结果，除整体性能分数越高表示参与者的主观评价越满意外，其余5项分数越低评价越高。方差分析结果显示，在身体需求（F_2，357=35.796，p<0.01）、时间需求（F_2，357=9.110，p<0.01）和整体性能（F_2，357=23.222，p<0.01）方面存在显著性差异。成对比较结果表明，对于身体需求、时间需求和整体性能这三项的评估，点击输入与两种手势输入都存在显著性差异，而有无视觉反馈对于两种手势输入在交互上不存在差异。

4 结果讨论及未来工作

首先，实验结果证明了手势输入的可行性。从性能方面，有无视觉反馈的手势输入分别超过点击输入7.43 WPM和6.92 WPM。与以往的研究相比，两种手势输入方式同样有着优于它们的速度。交互体验上，从图8可以看出，手势输入能显著减少参与者操作时身体运动的需求及完成实验任务所需时间。同时在实验过程中，大多数参与者在使用点击输入方法输入两到三个短语后会有活动肩部的动作，以缓解频繁点击带来的酸痛。

其次，实验结果证明了无视觉反馈手势输入的可行性。从性能方面，有视觉反馈和无视觉反馈的手势输入表现相似，这说明减少键位的视觉引导几乎不影响手势输入的性能。从交互体验上，无视觉反馈所需的努力程度相比有视觉反馈并无显著差异，大多数参与者在使用无视觉反馈的方式测试不到5个短语后就提前结束了预训练阶段，这进一步证明了预实验中参与者能够在假想键盘上回忆起键盘布局并进行文本输入的结论。

在未来工作中，可针对无视觉反馈方式进行纵向研究，探索在经过长期使用后可达到的性能。同时，目前无视觉反馈的方法在输入时，画出手势受到键盘大小和位置的限制。如何让使用者能在身前的空间，不受约束地画出单词对应的手势并识别，这也是未来可以研究的方向。

5 结束语

本文提出了一种适用于增强现实环境的新型文本输入技术，参与者在假想键盘上绘制手势输入对应单词，解决了传统输入方式打字速度慢和对物理环境造成遮挡等问题。首先，通过一项预实验，验证了参与者能在无视觉反馈条件下进行输入的可能性。其次，从收集到的数据中，我们开发了识别手势的解码器，根据参与者的输入返回候选词。最后，评估了点击输入、有视觉反馈手势输入和无视觉反馈手势输入3种方式的性能。结果表明，无视觉反馈的手势输入速度可以达到16.95 WPM，与有视觉反馈并无显著差异。综上所述，该技术是一种高效且确实解决环境遮挡问题、可广泛应用于增强现实环境中的文本输入方式。

参考文献

[1] Lu F, Davari S, Lisle L, et al. Glanceable AR: evaluating information access methods for head-worn augmented reality[C]∥2020 IEEE Conference on Virtual Reality and 3D User Interfaces(VR), Atlanta, USA, 2020: 930-939.

[2] 秦贵和, 黄俊锋, 孙铭会. 基于双手键盘的虚拟现实文本输入[J].吉林大学学报: 工学版, 2022, 52(8): 1881-1888.

[3] Qin Gui-he, Huang Jun-feng, Sun Ming-hui. Text input based on two⁃handed keyboard in virtual environment[J]. Journal of Jilin University (Engineering and Technology Edition), 2022, 52(8): 1881-1888.

[4] Hincapié R J D, Guo X, Moghadasian P, et al. Consumed endurance: a metric to quantify arm fatigue of mid-air interactions[C]∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Toronto, Canada, 2014: 1063-1072.

[5] Lages W S, Bowman D A. Walking with adaptive augmented reality workspaces: design and usage patterns[C]∥Proceedings of the 24th International Conference on Intelligent User Interfaces, Marina del Ray, United States, 2019: 356-366.

[6] Lee L H, Lam K Y, Yau Y P, et al. Hibey: hide the keyboard in augmented reality[C]∥2019 IEEE International Conference on Pervasive Computing and Communications, Kyoto, Japan, 2019: 1-10.

[7] Pourchon R, Léger P M, Labonté-LeMoyne É, et al. Is augmented reality leading to more risky behaviors? An experiment with pokémon go[C]∥International Conference on HCI in Business, Government, and Organizations, Vancouver, Canada, 2017: 354-361.

[8] Xu W, Liang H N, He A, et al. Pointing and selection methods for text entry in augmented reality head mounted displays[C]∥2019 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Beijing, China, 2019: 279-288.

[9] Elsayed N A M, Thomas B H, Marriott K, et al. Situated analytics: demonstrating immersive analytical tools with augmented reality[J]. Journal of Visual Languages & Computing, 2016, 36: 13-23.

[10] Liverani A, Amati G, Caligiana G. A CAD-augmented reality integrated environment for assembly sequence check and interactive validation[J]. Concurrent Engineering, 2004, 12(1): 67-77.

[11] Grossman T, Chen X A, Fitzmaurice G. Typing on glasses: adapting text entry to smart eyewear[C]∥ Proceedings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services, Copenhagen, Denmark, 2015: 144-152.

[12] Yu C, Sun K, Zhong M, et al. One-dimensional handwriting: Inputting letters and words on smart glasses[C]∥Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, San Jose, USA, 2016: 71-82.

[13] Sridhar S, Feit A M, Theobalt C, et al. Investigating the dexterity of multi-finger input for mid-air text entry[C]∥Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, Seoul, Republic of Korea, 2015: 3643-3652.

[14] Ni T, Bowman D, North C. Airstroke: bringing unistroke text entry to freehand gesture interfaces[C]∥ Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Montréal, Canada, 2011: 2473-2476.

[15] Wang C Y, Chu W C, Chiu P T, et al. Palmtype: using palms as keyboards for smart glasses[C]∥Proceedings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services, Copenhagen, Denmark, 2015: 153-160.

[16] Yu D, Fan K, Zhang H, et al. Pizzatext: text entry for virtual reality systems using dual thumbsticks[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(11): 2927-2935.

[17] Li F C Y, Dearman D, Truong K N. Virtual shelves: interactions with orientation aware devices[C]∥Proceedings of the 22nd Annual ACM Symposium on User Interface Software and Technology, Victoria, Canada, 2009: 125-128.

[18] Yan Y, Yu C, Ma X, et al. Eyes-free target acquisition in interaction space around the body for virtual reality[C]∥Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, Montreal, Canada, 2018: 1-13.

[19] Gustafson S, Bierwirth D, Baudisch P. Imaginary interfaces: spatial interaction with empty hands and without visual feedback[C]∥Proceedings of the 23nd Annual ACM Symposium on User Interface Software and Technology, New York, USA, 2010: 3-12.

[20] Lin S Y, Su C H, Cheng K Y, et al. Pub-point upon body: exploring eyes-free interaction and methods on an arm[C]∥Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology, Santa Barbara, USA, 2011: 481-488.

[21] Cui W, Zheng J, Lewis B, et al. Hotstrokes: word-gesture shortcuts on a trackpad[C]∥Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Glasgow, United Kingdom, 2019: 1-13.

[22] Cui W, Zhu S, Li Z, et al. Backswipe: back-of-device word-gesture interaction on smartphones[C]∥ Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Yokohama, Japan, 2021: 1-12.

[23] Zhai S, Kristensson P O. The word-gesture keyboard: reimagining keyboard interaction[J]. Communications of the ACM, 2012, 55(9): 91-101.

[24] Macleod C, Ide N, Grishman R. The American national corpus: a standardized resource for American English[C]∥2nd International Conference on Language Resources and Evaluation, Athens, Greece, 2000: 1-4.

[25] Gustafson S, Holz C, Baudisch P. Imaginary phone: learning imaginary interfaces by transferring spatial memory from a familiar device[C]∥Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology, Santa Barbara, USA, 2011: 283-292.

[26] Kristensson P O, Zhai S. Shark2: a large vocabulary shorthand writing system for pen-based computers[C]∥Proceedings of the 17th Annual ACM Symposium on User Interface Software and Technology, Santa Fe, USA, 2004: 43-52.

[27] Mackenzie I S, Soukoreff R W. Phrase sets for evaluating text entry techniques[C]∥Chi'03 Extended Abstracts on Human Factors in Computing Systems, Fort Lauderdale, USA, 2003: 754-755.

[28] Hart S G, Staveland L E. Development of NASA-TLX (task load index): results of empirical and theoretical research[J]. Advances in Psychology, 1988, 52: 139-183.

[29] Arif A S, Stuerzlinger W. Analysis of text entry performance metrics[C]∥2009 IEEE Toronto International Conference Science and Technology for Humanity (TIC-STH), Toronto, Canada, 2009: 100-105.

基金资助

国家自然科学基金面上项目(61872164)

吉林省科技发展计划项目(20220201147GX)

中央高校基本科研业务费专项资金资助(2022-JCXK-02)