學習 · 背後原理

AR 影像追蹤是如何運作的?

影像追蹤讓你的作品本身就成為標記。系統會分析作品的照片,從中擷取由獨特特徵點構成的指紋——角點、邊緣、紋理。當觀眾把相機對準作品,系統會對每一個即時影格執行同樣的分析、比對指紋,再由數學精確算出作品在 3D 空間中的位置——每秒多次,而且完全在觀眾自己的裝置上完成。

一步一步,用白話說明

  1. 1

    認識作品

    發佈時,系統會分析參考照片中的特徵點——那些清晰、獨特、電腦能可靠地再次找到的位置:形狀的角、紋理的邊緣、明暗對比的交界。

  2. 2

    在畫面中找到它

    觀眾的瀏覽器會對即時相機影像執行同樣的分析,然後判斷:這些點和參考照片對得上嗎?只要有足夠多可信的配對,作品就找到了。

  3. 3

    求解姿態

    根據配對點落在畫面中的位置,幾何運算會還原出作品的位置、旋轉與透視——正因如此,影片才能貼「在」作品上,而不是飄在它附近。

  4. 4

    跟隨移動

    一旦鎖定,追蹤器會隨著手機與作品的移動逐格跟住作品,並持續自我校驗,讓疊加層始終牢牢固定。

Interart 檢視器的開始畫面:一件原創手繪作品,旁邊是開啟它的 QR code
檢視器開啟後的第一個畫面:它即將追蹤的作品,以及開啟它的那個 QR code。

為什麼這能解釋其他一切

為什麼細節越多越好追蹤

紋理與對比越多 = 特徵點越多 = 可供鎖定的配對越多。一片平塗的淡彩,幾乎沒有東西能讓比對器抓住。

為什麼反光會礙事

反光會用室內的光線蓋掉作品的一部分——追蹤器記住的那些點,在畫面中真的看不見了。

為什麼不需要標記

指紋「就是」標記。在作品上印 QR code 或圖形符號只會多添一些特徵——而作品本身的特徵早就夠多了。

為什麼能在瀏覽器中執行

特徵比對就是算術,而手機很快。現代的網頁執行環境能以相機的影格率完成它——不需要原生 App。

關於隱私

在 Interart 上,這一切都在觀眾的裝置上執行。相機畫面在瀏覽器中分析,從不上傳——在網路上傳輸的,是下載下來的作品參考資料,而不是把觀眾周遭的世界傳上去。這並非偶然;陌生人在展覽中掃描的相機體驗,不該把他們周遭的環境回傳出去。

有疑問,就有答案

AR 影像追蹤會上傳我的相機畫面嗎?在 Interart 上不會。相機影格在觀眾的裝置上、於瀏覽器中處理,從不上傳。下載的是被掃描作品的參考資料;相機看到的內容則留在手機上。

作品上需要印特殊的標記嗎?不需要。現代的影像追蹤把作品本身當成標記——它自己的邊緣、紋理與對比就是指紋。QR code 只是開啟檢視器的入口,通常印在作品旁邊——除非碼是用作品本身做成的,那樣的話,一張紙就能身兼兩職。

為什麼光線好的時候,AR 鎖定得比較快?追蹤是把相機看到的畫面,與它學到的參考資料互相比對。光線昏暗時畫面雜訊多、細節弱;反光則會用倒影蓋掉作品的某些部分。兩者都會讓比對器可以鎖定的真實特徵變少,所以找到作品需要更久。

深入了解

讓你的參考照片配得上追蹤器:如何為 AR 拍攝作品。搞不清楚 QR code 扮演什麼角色?請看 QR code 與影像追蹤。或者直接開始創作:給藝術家的 WebAR。