Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

2020-02-19 14:41:15 来源:网络整理 作者:管理员

原标题:Unity分享:为MR设计,Project MARS头显配套应用的研发和设计

来源:映维网 作者 黄颜

Unity Labs中的空间设计团队目前正在为Unit扩展Project MARS开发一个头显配套应用,并旨在帮助创作者构建能够智能地与现实世界交互地混合现实/增强现实体验,充当Editor和现实世界之间的桥梁。

Editor是MARS的主要创作环境,但移动配套应用和头显配套应用程序提供了设备端解决方案,从而令创作范围不仅限于鼠标和键盘。对于头显配套应用,你可以快速捕获现实环境,然后再导入到Editor,并执行内容编辑和greyboxing等操作。它利用了Editor XR和XR Interaction Toolkit的工作,提供可重用的组件来支持你快速,轻松地构建交互式沉浸体验。日前,团队通过博文介绍了项目背后地思量考虑:如何在位和原子之间创建有意义的连接,从而为增强现实带来更好的界面。下面是映维网的具体整理:

Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

1. 空间设计原则

当为屏幕进行设计时,数字表示通常与设计工具紧密耦合。但在为AR设计时,数字表示和实际事物之间的差距可能具备欺骗性。我们生活在一个无法预测的世界中,我们的虚拟空间需要适应并响应所在的环境。所以,我们倾向于整个设计流程都以1:1的比例在3D中工作,并且希望是在设备端实现。在我们看来,这是真正理解用户如何体验完整应用程序的唯一方法。

诸如视场受限,靠近裁剪平面,以及亮度/对比度级别之类的约束会极大地影响决策过程。所以,快速获得反馈至关重要。AR头显的有限视场带来了我们必须直接解决的一系列设计挑战。例如在MARS中,当你针对环境中的特定条件进行创作时,匹配项可能会散布在用户周围,甚至是在另一个房间中。只有通过在具有大型空间映射的设备端制作原型,我们才能发现克服这等范围并拥有一个“迷你世界”版本的空间的重要性。能够通过迷你世界并从多个角度查看场景中的所有对象,这能够帮助你更好地感知空间,并减少遮挡的时间。

创作者指导着我们的空间计算设计,以及探索如何将空间构造为围绕人体的一系列数据数据层的最佳实践。我们的衣服,物品,以及内部/外部边界都影响着我们如何构思潜在的空间组织,以及如何感知空间。

理解设计过程中的规模比例是一个热点话题。空间UI元素如何响应并适应用户周围的不同层级?执行给定任务需要多少空间?在给定比例下正确的操纵方法是什么?头显配套应用将主要瞄准具有固有空间性的,并且需要3D操作或受益于真实世界情景信息的MARS功能。

2. 设计工作流程

无论是针对屏幕还是针对物理对象,传统的设计工作流程都无法满足当前XR开发的需求。与其他数字媒介相比,XR要求精确的可视化效果,更快的迭代速度,以及应对不断变化环境的某种方法。Unity空间设计团队希望通过自定义工作流程来填补传统流程的空白,以便能够更好地理解创建XR体验的复杂性。下面是我们尝试过的一些工作流程,以及我们从中学到的经验教训。

3. 纸模

为了避免疲劳,空间设计不仅需要理解对象和空间的比例,同时需要了解身体的比例。一比一的纸模可以作为测试运动和人体工学的一种方式。

Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

例如,我们设计并测试了一个会根据用户头部倾斜运动而下降或上升的虚拟托盘。这个虚拟托盘的物理原型悬挂在下巴正下方。在正常工作期间,我们将常用工具放在托盘中,如电话和眼镜等等。佩戴纸质原型一小时后,与召唤交互相关的颈部运动非常累人,访问位于脖子区域的工具的频繁手臂运动同样是这样。所以,我们选择放弃这种设计建议。在为混合现实设计时,构建快速纸质原型可以节省时间并帮助你进行空间思考。

4. 在VR中模拟AR

使用PPT或动画模型等传统2D工具难以有效地评估用于混合现实的用户流程。我们没有创建2D故事板,而是使用Tvori在VR中构建了原型。在编辑和设置交互动画时Tvori允许我们实现快速迭代。我们将时间轴功能用于关键帧camera,潜在UI元素,虚拟对象和输入设备。

Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

利用VR,我们能够不断改变世界比例。我们可以以人类尺度感受世界,同时将场景缩小到最小以便于编辑。当我们向团队中的其他人展示流程时,他们可以简单地穿戴VR头显,将比例设置为1:1,并且清理时间线。

为了更好地了解虚拟元素的适当规模和比例,我们引入了典型的AR头显视场“安全区域”,并将其作为在VR中快速模拟AR的有效方法。遮挡人类视角的矩形非常实用:作为空间设计师,这种限制不仅会影响我们的视觉体验,而且会影响我们的运动方式(即手势),从而影响体验的沉浸感。

5. 用户流程和输入映射

Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

我们在设计过程中保留了两个活动文档,一个用于输入映射,另一个用于用户流程。用户流程文档一直在不断更新,并作为事实的来源。在这里,我们确定了用户完成某项任务的方式和位置。任务是在特定的工作空间中完成还是在现实世界中完成,或者说同时在两者中执行?

我们同时进行了输入映射练习,以便能够更好地了解应用正在执行的动作及其相应的频率。我们可以将其简单地描述为以下步骤:

列出所有已知操作,并按优先级对它们进行排名。写下每个动作执行的频率。确定交互的类型。

随着复杂性的增加,我们不得不提高原型保真度。通过使用“思维导图”视图,我们可以更好地了解重叠的输入,以及如何进行相应的调整。对于诸如Magic LeapOne控制器之类的输入设备(输入数量可能受到限制),这种理解变得越来越重要。通过要求将悬停状态用于特定操作,我们能够分配输入,同时避免冲突。对于一般动作,我们决定将保险杠用于情景菜单,同时使用主键轻触来调用主调色板菜单。另外,为了解决疲劳问题,我们避免了任何需要与扳机键结合使用扳机或保险杠的输入。

6. 设备端的快速迭代

我们利用Unity组合3D模型,UI设计和控制器脚本,从而快速将设计带到Magic Leap。目标是从交互原型的快速迭代中获得反馈,而不必担心在过程的早期编写完美的代码。除了构建自己的原型外,我们同时受到XR社区开发的众多应用程序的启发,并且我们经常将它们用作传达特定交互行为的参考。

大多数交互依赖于“魔法”数字,如时间,阈值和距离。构建原型后的第一步是调整相关数值以匹配我们为交互所构思的感觉。对于Unity Editor,我们可以在Play Mode中调整数值,但我们同时希望能够在运行时版本中调整数值。为了解决这个问题,我们在应用中构建了一个简单的可重用设置菜单。任何原型脚本都可以使用一行代码来添加值滑块或复选框,并调整这种魔法数字。

下一步是获取反馈并进行迭代。以下是我们发现在测试交互时有用的提示:

一开始的时候尽量少说明。如果确实有必要,你可以告诉用户他们应该尝试做什么,并且可以简要地解释如何做。请记住,你并未提供软件,所以你需要观察用户在没有你的影响下的交互。寻找诸如迷失或沮丧之类的危险信号,然后询问用户期望看到的事情(相对于实际发生的事情)。如果用户在解释反馈时遇到问题,你可以提供头显视图,以便他们可以进行说明并指向虚拟对象。

7. UI缩放

虚拟对象的比例在现实世界中很难测量,并且应该响应于用户的观看距离。我们不能将现实世界的比例用作唯一参考,这是由于立体视觉和其他深度提示而导致用户会感觉到UI更大。如果用户在没有其他情景提示的情况下闭上眼睛或看着用户界面,他们将无法分辨出大小或距离。

我们将由谷歌Daydream团队创建的distance-independent millimeter (DMM) 系统用于VR设计:按比例缩放距离和大小。例如,1 dmm表示1米远的1*1毫米按钮大小。它同时可以表示在3米远的3*3毫米按钮尺寸。谷歌通过DMM系统提供了一组建议字体和基于射线的最小点击大小,例如最小字体为20 dmm。

当我们使用Magic Leap测试建议尺寸时,我们觉得它们太大,所以最终缩小了一点尺寸。与Daydream较高的视场和三自由度控制器相比,这可能是因为Magic Leap的视场更小及六自由度控制器影响。当UI与距离成比例缩放时,它会以相同的像素大小进行渲染,并为光线投射覆盖相同的角度区域,但我们注意到它的感觉非常不同。如果社区有类似的发现,我们希望想听听你的意见。

Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

8. 视觉设计

对于配套应用的空间UI,我们主要是围绕着以光作为材质的概念进行设计。光线和阴影的分层有助于创建更具触感的体验,并且旨在增强用户对AR的深度感知。光线都是相对而言,因为我们只能通过其他材质和表面的形状来感知光线。配套应用中的所有空间UI元素都视为物理结构,并仔细考量了光源和光平面之间的关系。

通过使用Negative Shadow技术可以创建这种效果。AR头显使用基于光的附加色彩空间。黑色渲染透明,因为它代表光的缺乏。如果黑色对象位于其他虚拟对象的前面,则它将充当遮罩。为了产生阴影的错觉,我们必须用光围绕较暗的阴影区域。人类的感知系统严重依赖于阴影提供的线索来推断3D对象的运动和深度。如果AR应用程序忽略了合并阴影,我们将剥夺用户重要的深度提示。

Unity分享:为MR设计,ProjectMARS头显配套应用的研发和设计

除阴影外,纹理的使用同时为用户提供了提示,从而了解比例和对象的相对位置。在基于光的头显中处理颜色时,条带化是一个问题。当使用高对比度渐变时,条带化经常会出现。以此为约束,我们决定将纹理的使用纳入空间UI元素的设计中。这不仅是为了扩展我们可以用于渐变的颜色范围,而且是为了提高对深度感知的另一种方法。

空间UI元素和光源之间的关系旨在突出显示界面的潜在行为。这种视觉形式有助于传达功能或向用户提供输入反馈。就像在我们的日常空间中一样,浅色点缀可以营造视觉吸引力并突出显示空间中的对象或特定特征。借用现实世界中的这些能力,我们在光源和空间UI元素之间创建了各种关系。

9. 接下来的计划

我们一直在寻找可以帮助我们建立更好体验的新工作流程。希望这篇博文能够对你自己的空间设计有所帮助,并鼓励你积极地向社区分享。作为创作者社区,分享知识对于塑造这种新媒介,以及帮助我们创造出前所未有之事至关重要。

显示全文
为您推荐
宋伊人、丁泽仁主演的《花青歌》过审,人设有趣,口碑却让人担忧
宋伊人、丁泽仁主演的《花青歌》过审,人设有趣,口碑却让人担忧

2021年由楼健执导,苏晓彤、王子奇领衔主演的《御赐小仵作》可以说取得了不错的口碑与成绩,使这部小成本剧集达到了S+级的热度与播放量,成了近两年来当之无愧的古代仵作题材的古装甜爽探案喜剧。如今距离这部.........

发布时间:2023-06-01 18:03:12

鹅蛋能蒸蛋羹吗
鹅蛋能蒸蛋羹吗

【导读】 鹅蛋能蒸蛋羹吗,下面是小编为你收集整理的,希望对你有帮助!能。鹅蛋是家禽鹅生下的卵,表面较光滑,白色,呈椭圆形,个体很大,其重量是一般鸡蛋的四、五倍,味道有些油,但质地较粗糙,草腥味较重,食味不及鸡鸭蛋,新鲜的鹅蛋必须烹饪后食用。此外,鹅蛋中还含有丰富的营养......

发布时间:2023-06-01 18:01:06

江疏影与王传君同框叙旧
江疏影与王传君同框叙旧

江疏影和王传君,两个看似完全没有交集的名字,在5月28日有了神奇的新反应因为一起参加《五十公里桃花坞3》,老同学很少在镜头前同框。除了花旦 江疏影说,他想和王传君在一起,因为这会让他更有安全感。这也让.........

发布时间:2023-06-01 17:03:17

向日葵传播种子的方法 这些方法可以传播种子
向日葵传播种子的方法 这些方法可以传播种子

【导读】 向日葵传播种子的方法 这些方法可以传播种子,下面是小编为你收集整理的,希望对你有帮助!向日葵不仅可以观赏食用,另外在工业方面也有一定作用,向日葵有很多种不同传播种子的方法,分别是自体传播、风体传播、水体传播、鸟类传播、哺乳类动物传播等,传播范围也是相当广泛。向日葵传播种子的方法1.自体......

发布时间:2023-06-01 17:01:05

《奥本海默》新预告泄露 展示更多新角色
《奥本海默》新预告泄露 展示更多新角色

在很早之前发布首支官方预告后,人们关于克里斯托弗·诺兰自编自导的新片《奥本海默》愈加等待。而近日网上走漏出了一段长达 3 分钟的最新预告,其中展示了更多新角色,包含马特·达蒙、佛罗伦斯·皮尤和小罗伯特.........

发布时间:2023-06-01 16:03:25

纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿)
纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿)

【导读】 纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿),下面是小编为你收集整理的,希望对你有帮助!纳摩盖吐龙是一种蜥脚类恐龙,诞生于7500万年前-7000万年前的白垩纪末期,体长最多可达21米,属于超巨型恐龙的一种,因为出土的四颗钉子状牙齿而被命名,第一批化石发现于蒙古国,因此也叫做蒙古纳摩盖吐......

发布时间:2023-06-01 16:01:04

日内瓦是哪个国家的首都:瑞士的一个城市(并不是首都)
日内瓦是哪个国家的首都:瑞士的一个城市(并不是首都)

【导读】 日内瓦是哪个国家的首都:瑞士的一个城市(并不是首都),下面是小编为你收集整理的,希望对你有帮助!我们知道地球对于人类来说是一个非常大的星球,因此地球上还有许多我们人类没能发掘的地方,而地球上的国家也是非常多的,日内瓦这个城市也是一个比较有名的城市,那么日内瓦是哪个国家的首都呢?它具体又在哪个地方......

发布时间:2023-06-01 15:01:04

《欢迎光临》播出近半,口碑稳中有升
《欢迎光临》播出近半,口碑稳中有升

本报记者 李夏至由正午阳光出品制作的都市生活轻喜剧《欢迎光临》在北京卫视播出接近一半,口碑稳中有升。该剧讲述一个酒店门童和空姐的恋爱故事,看似多少有点悬浮的设定需要大量的生活细节与戏剧手段来弥补。对《.........

发布时间:2023-06-01 14:03:12

月球背面为什么去不了,月球背面到底有什么?
月球背面为什么去不了,月球背面到底有什么?

【导读】 月球背面为什么去不了,月球背面到底有什么?,下面是小编为你收集整理的,希望对你有帮助!作为太阳系中最为特殊的天体,月亮总是以一面面向地球,从来没见过它的背面长什么样,这主要是由于月球的自转和公转周期相同。然而自人类登月成功以来,如今已经成功发射探测器到火星了,但却根本没有月球背面的消息......

发布时间:2023-06-01 14:01:04

朱一龙爆发式的哭戏,刷新演艺圈新水平,拭目以待
朱一龙爆发式的哭戏,刷新演艺圈新水平,拭目以待

朱一龙主演的电影《峰爆》9月17日即将在各大电影院上映,这部属于灾难型的电影,里面没有过多装饰的场景和华丽的服饰。在灾难面前,个人是多么的渺小,他们帮助困难群众,为了保护家园逆行而上,在这期间产生的父.........

发布时间:2023-06-01 13:03:11

鸡胗怎么炒
鸡胗怎么炒

【导读】 鸡胗怎么炒,下面是小编为你收集整理的,希望对你有帮助!用料:小米椒,鸡胗,大蒜,盐,生抽,黄酒。步骤:1、鸡胗冷水下锅,煮变色了捞起切片。鸡胗要切花,一来好看,二来容易熟又保持了爽口感。2、切好的鸡胗加盐加黄酒加生抽腌制半小时以上。3、大蒜切成蒜蓉,小米......

发布时间:2023-06-01 13:01:03

周迅觉得何炅黄磊太像空巢老人
周迅觉得何炅黄磊太像空巢老人

今日何炅晒出与黄磊的《向往的生活7》海报,何炅黄磊两人牵着小h小o画面很温馨夸姣的呢。可是有的网友却戏弄:“如同两个假笑空巢白叟”“孩子们都离开了,就剩俩老人了,能开心吗?”“这笑脸是p的吧?”这一季.........

发布时间:2023-06-01 12:03:13