全面解析!XR体验设计中的10种交互方式

在电脑最开始出现的时候,键盘是它的输入方式,然后鼠标随后而来。接着,电脑进化为手机,我们从按键输入到用手指直接触碰屏幕进行操作,现在,触屏操作已经可以区分手指的数量和按压的轻重。

此外,语音,遥控器,隔空手势等,更多的交互方式随着技术发展不断成熟,进入可实现的日常设计范围。

更多XR干货:

一、交互方式的适用原则

从电脑出现后短暂的发展历史可以看出来,我们对智能设备的交互方式设计有两个适用原则:

第一:根据硬件终端的形态和可支持技术。

不同的硬件,适合的交互方式肯定不同。

例如电脑界面上的输入,使用实体键盘是常规操作,但手机上却很少配同样的交互方式。

或者,同样是 AR/XR 眼镜,在 A 上可以设计手势交互的体验,但在 B 上,由于没有相关底层技术支持,就不能设计手势交互。更近一步,即使两款 AR/XR 眼镜同样支持手势交互,也可能由于底层技术支持的力度,让理论上更适用的交互方式,在这个硬件上,还不如另一种次选方案。

第二:在自然交互的发展脉络上变化。

键盘配合输入法的精进,让最大的学习成本减轻到语言读写能力上;鼠标配合光标,再把读写里的“写”成本淡化;而触摸屏技术又是一次革新,满足了人们直接用手把玩的天性……

抛开硬件和现有的技术支持,设计师们一直在追求更自然的交互方式,以达到更好的用户体验,XR 也不例外。

二、10 种常见的交互方式

站在现在这个时间点,介绍 10 种能够在 XR 体验设计中运用的交互方式。

1. 触屏

在屏幕界面上,触屏技术实现了看到即可操作的体验,成为如今我们最熟悉的操作方式之一。

在智能手机、PAD、和一部分电脑上,都配备了这样的技术,可以支持用户通过手指的单击、长按、拖曳等与屏幕上的虚拟内容直接进行交互。

结合压力传感器,屏幕可以区别不同的按压力度,达到精细控制,虽然当前实际使用并不理想,但也证明了触屏这项交互方式可发展的维度还可以扩大。

在未来很长一段时间,它应该都会占据人机交互方式的主流位置。

2. 按键

这里指硬按键。

在移动互联网之前,按键还是人机交互中最主要的一种操作方式。即使是现在,使用按键进行操作的方式也很常见。键盘依然是电脑的标准配置,手机也依然保留开关机和音量调节键等。

XR 头戴设备上也能看到常见的基础功能键。比如开关机/息屏,音量上/下键等。按键所关联的操作意义一般会在出厂之前设置好,如果有预留的接口,也可以在特定的应用上用同样的按钮定义不一样的含义。

举个例子,我们自研的 AR 眼镜上带了三个硬按键,在系统层级上,定义了单机响应确定、返回、息屏/亮屏的操作语义,但如果基于眼镜去研发新的应用,又可以根据具体场景和需要,增加双击、长按等操作定义。

3. 键盘

相比起触屏操作,针对大段内容的输入,键盘依然有不可替代的作用。

它有点像是集中了许多按键的盘子,设定许多隐藏功能或快捷操作,在某些场景的体验中,也可以提供独一无二的操作手感。

全面解析!XR体验设计中的10种交互方式

4. 触控板

触控板和触摸屏还是有区别的,它本身并不显示任何内容。通过电容感应或压力感应检测手指的位置和动作,即可实现光标移动、点击、拖动、旋转等多种丰富又精细的交互操作,适合空间有限的设备配备。

现在的电脑就会搭载触控板,通常位于键盘区域或设备前方,用户无需抬起手臂或触摸屏幕,使用起来更加舒适和便捷。

在 Google 最早的一代 AR 眼镜上,也是通过触控板来支持用户进行输入的,但因为眼镜上的触控板需要抬起手臂才能操作,比较容易感到疲惫,并不适合长期或频繁的操作。

全面解析!XR体验设计中的10种交互方式

5. 鼠标

比键盘更简单直接的输入工具,与之配合的是界面上的光标,学习成本大大低于键盘,只要培养用户在光标和鼠标之间建立连接,然后一切就会像现在我们感到的那样变得自然而然。

简单直接、多维度操作和反馈明确是鼠标这种交互方式的优势。

  1. 简单直接:用户只需要将手指放在鼠标上,通过移动鼠标来控制光标在屏幕上的位置进行点击或拖动等操作。
  2. 多维操作:鼠标通常带有滚轮和多个按键,本身就可以实现更多维度和复杂度的操作定义,如果配合键盘,可以定义的交互方式就更多了。例如,在第一人称视角游戏(FPS)或第三人称视角游戏(TPS)中。玩家可以用鼠标左键来控制主角的移动方向,同时用键盘方向键来控制视角的转动。
  3. 反馈明确:鼠标操作因为常常伴随屏幕界面中的一个指针,对当前指向会有明确的反馈。例如,当用户将光标悬停在链接上时,鼠标光标通常会变成手指形状,表示可以点击链接。

6. 手势

有一些智能手机上会添加隔空手势,让用户即使不用触屏到屏幕也能控制手机,比如说挥手亮屏,隔空滑动手势等。

而在 AR/XR 眼镜的形态下,这种交互方式得到了更多的推荐。

拿取东西、放置物品,我们人类天生习惯于用手和这个世界的内容做交互,这种直观的方式,当然完全可以移植到对虚拟内容的交互体验中。

不过,在 AR 眼镜界面的设计中要使用手势作为交互,首先得保证这台 AR 眼镜具有手势识别的功能,其次,也要考虑识别的效度、精度和准度。

由于手势交互的底层技术基于计算机视觉和机器学习技术,这种交互方式也可以进一步扩展到身体的任何姿态,作为 XR 体验设计的一大助力。

7. 遥控器

遥控器作为外接设备,也是提供 AR 眼镜界面可交互的一种方式。在现有的技术条件下,相比起其他方式来说,它是最不容易累的,因为手势如果要被识别,需要抬高手臂让你的手势进入 AR 眼镜能看得见的地方,而按键和触屏,如果它是依附在 AR 眼镜上,你也必须抬起手臂才能让手指能够得着它们。这样的操作虽然可以给手臂做做运动,但总归不是持久之计,使用遥控器就会舒适很多。

对于人们来说,遥控器也是一种非常熟悉的交互方式,比如游戏机遥控器,电视机遥控器,空调遥控器等等。当然,手机也是可以作为遥控器使用的。

全面解析!XR体验设计中的10种交互方式

8. 语音

语言是人类一个伟大的产物,语音操作也是现在比较热门的一个交互方式,为此而发展出来的研究领域叫做 VUI,它可以看做是作为听觉发展出来的自然交互方式,和 AUI 这种以视觉为主的方式是一种互利共生的关系。只要场景和条件适合,就可以作为 AUI 的一种操作方式。

不过,语音操作也有它的弊端,比如人多嘈杂的时候不方便使用语音,听不见听不清会让人非常不爽。公共场所也不太方便使用语音,有安全隐患,也有可能影响他人。

9. 脑电波

这种交互方式虽然现在还没有实验室之外的产物,不过我依然把它列了出来。脑电波是是一种使用电生理指标记录大脑活动的方法,电波依频率可分为五大类:β波(显意识14-30HZ)、α波(桥梁意识8-14HZ)、θ波(潜意识4-8Hz)及δ波(无意识4Hz以下)和γ波(专注于某件事30HZ以上)等,只要设备装载能够识别出电波频率的设备,就能够执行一些相应的操作控制。

如果和其他方式配合,可以大大降低对测量频率的精确度要求。

如果脑电波技术可以用在未来的智能设备上,随心而动,就不是一句虚言。

10. 头动与眼动

视觉在人类的感知力占据了很大的一部分,我们在现实中如果需要与哪个物体有进一步交互或操作,都会自然而然的将视线集中在它的身上,耗费注意力去看它,那么,在交互设计上也可以基于用户的凝视行为来判断是否激活系统行为。

举个例子,通过眼动技术对眼球运动的追踪并计算出眼睛凝视的某个虚拟按钮,并依据凝视时间来判断是否触发这个按钮的操作。

早在 2019 年,微软就在 Hololens2 的 AR 眼镜设备上实现了名为眼动跟踪(Eye-gaze)的界面交互。

当你开启 Eye-gaze 交互后,通过眼睛凝视可交互对象,稍微几秒后,Hololens2 便可激活对应的操作行为。为了更好的反馈当前系统计算的用户凝视点,在 AR 眼镜的界面里,Gaze 通常被具象化为一个 UI 的点,类似于 PC 上的光标符号。

除了通过眼动技术实现的眼动交互外,因为头戴式设备是被用户戴在头上的,还可以根据设备本身的位置模拟眼动交互,将 Gaze 点位置设置为显示屏幕 FOV 的中心点。

全面解析!XR体验设计中的10种交互方式

如图,当这个点与设备实体的中心连线与可交互内容相交的时候,虚拟内容被激活。

这种交互方式称之为头动跟踪(Head-gaze),它不需要配备专门的眼动模块即可实现类似交互。

在基础篇提到过的交互模式中,D 类虚拟无法使用头部凝视进行界面交互,就是因为头动跟踪的 Gaze 点和 D 类的虚拟元素都基于同一个参照物(显示屏幕)设定,相对位置固定不变,两者无法相交。

触屏、按键、键盘、触控板、鼠标、遥控器、手势、语音、脑电波、眼动头动,这 10 种操作方式只是 XR 体验设计中最常遇到的,但 XR 交互方式的现在和未来,不会止于这 10 种。

欢迎关注作者微信公众号:「林间有影落」

全面解析!XR体验设计中的10种交互方式

收藏 14
点赞 46

复制本文链接 文章为作者独立观点不代表优设网立场,未经允许不得转载。