学习 · 幕后原理

AR 图像追踪是如何运作的?

增强现实(AR)图像追踪会把你的作品本身变成标记。系统先研究这件作品的一张照片,从中提取由独特点位构成的“指纹”——角点、边缘、纹理。当观众举起相机对准作品时,每一帧实时画面都会经过同样的分析,两份指纹相互匹配,再由数学算出作品在三维空间中的确切位置——每秒多次,全程在观众自己的设备上完成。

一步一步,讲清原理

  1. 1

    记住作品

    发布时,系统会分析参考照片中的特征点——也就是计算机能够稳定地再次找到的清晰、独特的位置:图形的转角、纹理的边缘、明暗对比的分界。

  2. 2

    在画面中找到它

    观众的浏览器会对实时相机画面做同样的分析,并判断:这些点和参考照片对得上吗?只要有足够多的可靠匹配,作品就找到了。

  3. 3

    求解姿态

    根据匹配点在画面中的落点,几何计算还原出作品的位置、旋转角度和透视——正因如此,视频才能贴合在作品“之上”,而不是飘在它附近。

  4. 4

    跟随移动

    一旦锁定,追踪器会在手机和作品移动时逐帧跟随作品,并持续自我校验,让叠加的内容始终牢牢贴住。

Interart 查看器的启动画面:一幅原创手绘作品,旁边是打开它的二维码
查看器首先显示的:它即将追踪的作品,以及打开它的那个二维码。

这也解释了其他一切

为什么细节越多越好追踪

纹理越丰富、对比越强 = 特征点越多 = 可供锁定的匹配越多。一片平涂的淡彩几乎没给匹配器留下任何线索。

为什么反光会碍事

反光会用室内的光盖住作品的一部分——追踪器学到的那些点,在画面中是真真切切地看不见了。

为什么不需要标记

指纹“就是”标记。在作品上印二维码或标记图形,只会多添一些特征——而作品本身的特征已经足够多了。

为什么能在浏览器里运行

特征匹配说到底是算术,而手机算得很快。现代网页运行环境能以相机的帧率完成这些运算——无需原生 App。

关于隐私

在 Interart 上,这一切都在观众的设备上运行。相机画面在浏览器中分析,从不上传——在网络上传输的,是下载到手机上的作品参考数据,而不是上传出去的观众身边的世界。这并非偶然:陌生人在展览上扫一扫就能打开的相机体验,不应该把他们周围的环境回传给服务器。

有疑问,就有答案

AR 图像追踪会上传我的相机画面吗?在 Interart 上不会。相机画面在观众的设备上、在浏览器中处理,从不上传。下载的是正在扫描的作品的参考数据;相机看到的内容始终留在手机上。

作品上需要印特殊的标记吗?不需要。现代图像追踪把作品本身当作标记——它自身的边缘、纹理和对比度就是指纹。二维码只是打开查看器的入口,通常印在作品旁边——除非这个码由作品本身构成,那样的话,一张纸就能身兼两职。

为什么光线好的时候 AR 锁定得更快?追踪是把相机看到的画面与它学到的参考进行匹配。光线昏暗时,画面噪点多、细节弱;反光则会用倒影盖住作品的一部分。两者都会让匹配器能锁定的真实特征变少,所以识别需要更长时间。

深入了解

让你的参考照片配得上追踪器:如何为 AR 拍摄作品。搞不清二维码在其中扮演什么角色?请看二维码与图像追踪。或者直接开始创作:给艺术家的 WebAR。