看了苹果人机界面指南,我又发现visionOS这些细节
2023-07-05 11:38

看了苹果人机界面指南,我又发现visionOS这些细节

本文来自微信公众号:青亭网(ID:qingtinwang),编辑:hi188,题图来源:视觉中国


最近苹果接连更新了中文版“人机界面指南”,推出visionOS SDK和1.0 Beta系统,让我们从中进一步了解到更多信息。


在本文中,我主要通过WWDC公开课以及人机界面指南,还有visionOS模拟器中了解到的一些不容易被大家关注到的信息,供大家参考。


一、数码旋钮


支持的功能包括:


  • 调整音量(旋转)

  • 调节透视程度(旋转)

  • 居中显示内容/重置视角(长按)

  • 退出App进入主屏幕;

  • 强制退出App(同时按住数码旋钮和顶部按钮2秒)

  • 开启辅助功能(按3下)

  • 第一次佩戴时校准眼球数据(长按,直至出现提示)

  • 重新校准眼球和手部追踪(按4下)



这里面也有一个疑问就是,苹果将沉浸模式切换功能放在头显的按钮,如果每次切换都需要手动旋转一下,不仅繁琐而且体验上还会有割裂感。我更希望是在系统快捷设置中也加入这个功能,通过手势或语音进行控制。


二、沉浸与透视


这里还是啰嗦一下,因为概念比较多,刚开始接触容易混淆。


visionOS提供了两种类型的应用:Windows(2D窗口)和Volume(同时会支持2D窗口和3D内容,更适合3D)


visionOS透视调节


同时,visionOS还有两种虚拟空间状态:共享空间(Shared Space),支持同时运行多个应用,可共存;全空间(Full Space),独立显示1款应用。


全空间模式并非一种默认状态,而是应用可选状态,可根据应用不同场景进行开启或退出,意味着一款应用可以在A场景是共享空间,而在B场景处于全空间,一旦进入全空间系统会隐藏其它所有应用的窗口和内容。


沉浸式三种类型


另外,visionOS还提供了另一个参数,也就是沉浸式类型,它有三种:


  • mixed:虚拟内容和现实环境融合显示。

  • full:全虚拟模式,类似于传统VR应用。

  • progressive:半沉浸,相当于上面两种模式的混合,既可以提供沉浸动态效果,也可以显示真实环境。


visionOS照片-全景照片


上图中苹果展示的开启全景照片场景时,就是progressive的类型,而在看其它照片或未进入全景照片预览界面时,则处于mixed模式。


苹果在文档中提到:visionOS中大多数应用启动都是一个窗口,根据需要打开不同的场景类型。要为应用的每个关键场景找到合适的、最低沉浸度环境(即同一App可在不同场景实现不同沉浸度),不要一味地追求全沉浸场景。由此也能看出,苹果Vision Pro追求的是AR和MR体验,也为今后OST的AR眼镜做好重要基础。


这里单独讲一下半沉浸模式,类似于发布会上讲到的浏览全景照片的效果,就是呈现一个180度半包围的沉浸,这时依然可以看到上下边的现实透视环境,而且你左右移动时这个半沉浸画框里的内容也对应的移动,整体上视觉沉浸感超级棒。


在App开启时默认进入共享空间(无论是窗口应用还是沉浸应用都是如此),共享空间中的App可以转到全空间,从而只运行1款应用。也就是说,Vision Pro无法像传统VR可以直接进入全沉浸模式,只能之后手动调整。


从虚拟切换到显示的过渡动画


从上述动画来看,从虚拟场景切换到现实场景中时,显示场景的拍摄的画面也会有一定程度的缩放(看白色背景墙的边缘缩放),这一点还不确定是否是渲染效果。考虑到苹果的宣传片通常会与实际场景相契合,因此猜测Vision Pro也具备这一功能,当然这一点也充分利用了VST的特性。


深度感知:用户依赖距离、遮挡和阴影等视觉提示来感知深度和理解周围。系统自动使用色温、反射光和阴影等视觉效果来帮助用户感知虚拟内容的深度。


为了保证虚拟对象的视觉舒适性,要放在至少距离头显1米远处,这一点和VR应用开发逻辑相同。


三、手势交互


手势分为直接手势、非直接手势。


直接手势:包括虚拟键盘输入,可以用手直接触碰虚拟物体进行交互;


非直接手势:融合眼球追踪,简单的捏合进行选中、拖拽等动作;


自定义手势:可以根据开发者需求,创建自定义手势交互,比如比心来触发关键操作等。




大部分情况建议非直接手势,这样的话手可以在头显下方就可以结合眼球追踪使用。否则,双手需要移到头显FOV视野内,比如虚拟键盘打字类就是直接手势,长时间使用直接手势易导致疲劳等。


自定义手势


自定义手势为开发者提供了更多可能性,尤其是触发一些关键交互场景时,会加分不少。不过也需要注意:自定义手势大部分需要手臂抬起,连续多次使用会带来肌肉或关节的疲劳感。


四、眼球交互


大部分情况,眼球注视提供高亮(或悬停效果)提示用户焦点位置,并结合非直接手势进行交互。少部分情况下,眼睛注视可以实现页面或菜单展开等交互。


要注意的是:避免在较大的范围内/多个深度之间,连续或多次让用户进行眼睛调整。


五、辅助模式


辅助模式下,visionOS还提供了多种交互类型:手部射线/指针、头部射线/指针、放大镜。


辅助功能-手势射线


苹果提到一点,开发者应该始终向用户提供多种方式来与你的App交互。其中,基于手部、头部的射线就是给眼球追踪不便的用户,进行辅助交互的方案。


放大镜功能,有点类似于现实中的放大镜,可以放大空间中的显示内容。


六、定位空间


visionOS目前默认以站姿、坐姿为交互方式,并没有主推大范围移动的内容和玩法。苹果建议:让用户通过极少量或无需身体活动来使用你的应用。


用户处于全沉浸式体验中时,避免鼓励其移动,并且有多种措施避免碰到现实中的物体。此时,系统会定义一个以头部为原点的圆形不可见区域:


  • 当用户头部移动超过原点1米时,内容自动变为半透明,帮助用户确认方向回到原点或重置原点;

  • 当用户头部移动超过原点1.5米时,应用自动暂停并开启全透视,避免撞到物体;

  • 当用户移动过快或靠近现实中的物体时(系统自动检测),应用也会自动暂停并开启全透视。


由此可见,苹果给全沉浸VR游戏还准备的空间只有直径为2米的圆形空间(以用户头部为中心),超出即半透明显示,再超出0.5米后应用会自动暂停。所以,给Vision Pro开发VR游戏得避免这一点。


七、多人体验


Vision Pro中最吸引人的还是“空间Persona”虚拟形象了。比如FaceTime通话时,可以显示出每个Vision Pro用户的虚拟形象。


而到了多人联机时,可以同时和非Vision Pro用户之间跨平台联机,系统内置共有三种Persona 模板:并排式、围绕式和会话式。


多人体验-三种模式


  • 并排式简单就是几个人并排在一起观看一块大屏、看板。每个人可以共享自己的屏幕或文件等;

  • 围绕式就像线下聚会围在一起讨论,适合多人查看3D模型;

  • 会话式像两种结合,几个人围绕在一起,不过中间没有3D模型,取而代之的是旁边的大屏/看板。


参考资料:

https://developer.apple.com/cn/design/human-interface-guidelines/designing-for-visionos

https://developer.apple.com/visionos/


本文来自微信公众号:青亭网(ID:qingtinwang),编辑:hi188

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP