近日,谷歌宣布推出 AR 室内导航功能,在机场、中转站和购物中心等场景下为用户提供路线指引,帮助用户找到最近的电梯和自动扶梯、登机口、站台、行李认领、登机柜台、售票处、洗手间、自动取款机等。
这一 AR 室内导航技术突破了传统室内导航平面化、易读性低的局限性,增强了图像精确性、数据广泛性,不仅为用户带去室内导航的新奇、个性化体验,也为线下零售等行业带来潜在应用价值。
本文将从 AR 对室内导航地图易读性的突破、AR 导航从室外到室内的转变、AR 室内导航的发展前景三方面对 AR 室内导航进行解析。
基于 AR 室内导航,用户自己的位置、所在楼层能够被识别,进而通过箭头和信息标记等 AR 叠层指引,到达目的地。
这些指示虽看起来简单,但却是以往室内地图、蓝牙信标定位、Wi-Fi 信号定位、GPS 定位等室内导航方法无法做到的。
室内地图,是最为传统的一种,例如图书馆书架的检索地图。该方法通过大量数据采集,制作索引图,读者通过每本书籍的专属编号进行导航查找。然而,大型室内环境的地图制作与表达耗费巨大,普适性并不高。
蓝牙信标定位法较受欢迎。依托蓝牙,智能手机软件能大致得到用户在地图上的位置,从而进行路线规划和导航。但由于蓝牙传输距离较短,从而导致其在商场、写字楼等大型室内环境中会产生极高的部署和维护成本。
另外一种解决方案是基于 Wi-Fi 信号进行定位和导航。但由于室内环境的复杂性,Wi-Fi 信号很容易受环境的变化而改变,因此维护成本依然很高,精度也受到 Wi-Fi 路由器部署密度、环境稳定性、训练时长等因素的制约。
GPS 定位法虽被广泛使用,但信号穿透力差、定位精度低,只适用于二维平面,确定用户的大致位置但无法确定方向,在大型建筑群内部无法发挥作用。
▲GPS 信号从建筑物立面弹落
谷歌本次推出的 AR 室内导航,配备全新视觉定位系统(Visual Positioning System;VPS),可弥补以上方法的不足。
谷歌 AR 室内导航功能(Indoor Live View)依托 VPS 技术来确定用户室内所在方位,并通过可视化处理手段将虚拟路线与实际室内场景相结合。
视觉定位系统 VPS 不同于 GPS,不依靠信号来定位,而是依靠图像。
首先,工程师通过 VPS 可以创建本地化地图,这种方式被称为即时定位与地图构建(simultaneous localization and mApping;SLAM)。通过拍摄一系列具有已知位置的图像并分析视觉特征,VPS 可以创建地图并建立快速搜索索引,例如建筑物、桥梁等。
其次,当用户需要室内导航定位时,VPS 会将相机镜头视图与 VPS 索引视图相匹配,通过摄像头、陀螺仪、加速器、重力感应器等手机内置惯性传感器(Inertial Measurement Unit;IMU)数据,借助运动追踪、环境感知等人工智能算法进行比较分析,从而确定手机用户相对于现实世界的位置和方向。
最终,在方位呈现上,VPS 可以将指引箭头、字幕信息等标签特效叠加到摄像头实时采集的现实图像中,并依托光线估计技术让虚拟内容更好地融入真实世界。光线估计技术能让手机摄像头感知当前环境的照明条件,对虚拟图像进行颜色矫正,从而在虚拟和真实图像结合时增强真实感。
自 2019 年起,谷歌便开始上线 AR 导航功能(Live View)。依托 VPS 视觉定位系统和谷歌街景图库,帮助用户在户外获取精确的导航路线。在后续的更新中,用户还可以通过 AR 导航识别周边地标,让用户更清楚自己在城市中的位置。
从室外导航到室内导航,到底有多难?
展览馆、博物馆、商场、交通枢纽等大型室内场景环境复杂,规模巨大,并存在很多无纹理空间区域和视觉歧义区域,地图数据的采集、制作及表达是一大难点。同时,伴随光照、视点变化,用户如何精准快速地实现重定位也是一项挑战。谷歌有着不少技术突破。
第一个技术突破是图像精度提升。10 多年前,谷歌开始推出街景地图,用户可以拥有“人眼视角”的地图浏览体验,但起初这些街景数据并未实现本地化。图像数据本地化能够为物体、地点等图片添加更多注释性标签信息,帮助用户进行快速理解。
为了使用 VPS 实现全球本地化,谷歌使用从全球超过 93 个国家收集和测试的信息将其与街景数据连接起来。这个丰富的数据集通过三角测量提供了数万亿个强大的参考点,帮助人们更精确地确定设备位置,并引导人们前往目的地。
▲谷歌三角测量法精确定位建筑
虽然该方法在理论上效果很好,但在实践中仍存在挑战,问题在于:本地化时,手机实时图像可能与收集街景时的场景不同。例如树木细节会随着季节变化,甚至随着风力大小变化,无法获得良好的匹配。
为突破该技术,谷歌利用机器学习来过滤场景中的临时、易变的事物图像,聚焦于场景中的固定结构图像。这项技术进步,也让如今的 AR 室内导航更为精确。
另一个技术突破,是数据的快速获取。
机场、商场、医院…… 众多建筑物群意味着谷歌需要拍摄大量公共场景的室内图像。在此前的室外街景数据库建构中,谷歌从早期的街景车、街景三轮车、街景手推车,再到便捷轻便的街景背包(Trekker),逐渐完善图像采集方式。
▲左边为旧款街景背包,右为新款
街景背包下方是背包主体,顶部是球形装置,装备了 15 个 500 万像素的摄像头。通过这种背包,图像采集员可以拍到汽车也进不去的犄角旮旯之地。
由此,在室内公共场景的图像采集中,谷歌可以通过自己的街景背包,派遣大批承包商通过某地的机场、车站或商场,快速拍摄获取 VPS 数据。
谷歌表示,AR 室内导航将首先在芝加哥、长岛、纽约、洛杉矶、纽瓦克、新泽西、旧金山、圣何塞、加州和西雅图的一些购物中心推出。未来几个月,它还将在东京和苏黎世的机场、商场和中转站推出。
不过,AR 室内导航的发展目前还存在一些薄弱环节,如重视产品的开发与落地却对用户与功能需求了解不足、地图信息表达追求可视化逼真效果却缺少目的性和合理性、相关呈现应用的硬件开发较为滞后等。
当前,AR 室内导航技术正在加速发展,除谷歌外,国内百度、高德等也在技术研发、应用场景的探索中。
以百度为例:
2016 年 11 月,百度上线 AR 步行导航功能,导航界面包含了罗盘、路线、转向标、途径点和终点气泡、滚轴诱导提升、路线全览等元素,配合语音提醒提升用户步行导航体验。2017 年 4 月,百度新增 AR 导航卡通人物“图图”,通过大眼萌物提升 AR 引导趣味性。2020 年 12 月,百度地图联合百度大脑 DuMix AR - 视觉定位服务平台推出 AR 室内导航功能 ——AI 室内通。
AI 室内通通过视觉定位与增强服务(visual positioning and augmenting service;VPAS),为用户提供高精度 6DoF 定位能力。VPAS 技术通过基于图像的三维重建技术构建商场的高精几何地图,然后利用场景理解算法、3D 视觉定位算法实时计算用户的准确位置。在实际复杂环境的实测定位精度可达 1 米,目前已上线北京清河万象汇、北京双安商场、上海 2049 翡翠公园商场等场景。同时,该技术还可用于工业巡检、物流分拣等场景。
高德、搜狗虽在室外步行 AR 导航和车载导航技术上相对成熟,但暂未发现涉足 AR 室内导航领域。
地图大厂之外,商汤科技也在 AR 室内导航方面进行探索。由浙江大学 - 商汤科技三维视觉联合实验室与商汤产品团队联合打造的商汤科技 SenseMARS 火星混合现实平台采用稀疏点云地图技术重建高精度 3D 地图,通过 IMU 传感器计算当前设备的 6DoF 位姿,结合 SLAM 技术实现室内精准定位和 AR 导航。
未来,依托 AI 和 IoT 技术的发展,AR 室内导航可以让用户看到物理空间的数字属性,如店铺虚拟标牌、促销信息、商场人数、店铺人流量等实时信息。用户透过手机便可实时感知餐厅是否需要排队,潮流店铺有哪些商品促销。同时,结合用户画像,AR 室内导航将为用户带去个性化的线下场景体验。在 AR 呈现上,室内导航设备也将从手机拓展到 AR 眼镜、AR 头显等硬件,解决手机显示 AR 地图为用户带来的眩晕和眼部疲劳。
值得一提的是,中国信通院的报告《虚拟(增强)现实白皮书 2021》中表示,AR 依托 Inside-out 技术日趋成熟,追踪定位将呈现集视觉相机、IMU 惯性器件、深度相机、事件相机等多传感融合的发展趋势。AR 室内导航将在业界、学界等的共同参与下向好发展。
在地图的表现形式上,AR 技术在人、地图、环境方面的融合有着无可比拟的优势。因此,在谷歌推出 AR 室内导航之际,一定程度上或能掀起国内外 AR 室内导航发展的新潮流。
从百度、高德、搜狗等地图大厂的布局可以看出,百度先人一步,在北京、上海、贵州、廊坊等地的部分购物中心推出 AR 室内导航功能,后续将持续在该领域发力。高德地图紧随其后,已于今年起升级 AR 步行导航功能,或许不久后将进入室内场景的探索。
在当下工业互联网时代,AR 室内导航将在 AI、IoT 技术的支撑下,激活大型室内场景的空间利用率,拓宽行业边界,为众多智慧产业带来更多可能性。我们期待未来 AR 导航对全球所有室内公共场景的全覆盖。