学ぶ · 仕組みの裏側

AR(拡張現実)画像トラッキングの仕組みとは?

画像トラッキングは、あなたの作品そのものをマーカーに変えます。システムは作品の写真を解析し、角・輪郭・質感といった特徴的な点から「指紋」を取り出します。観る人がカメラを向けると、ライブ映像の1フレームごとに同じ解析が行われて指紋どうしが照合され、計算によって作品が3D空間のどこにあるかが正確に求められます — 毎秒何度も、すべて観る人の端末の中で。

ひとつずつ、やさしく解説

  1. 1

    作品を覚える

    公開すると、参照写真から特徴点が抽出されます。特徴点とは、コンピューターが何度でも確実に見つけ直せる、くっきりとした特徴的な箇所のこと — 形の角、質感の縁、明暗の境目などです。

  2. 2

    映像の中から見つける

    観る人のブラウザがライブのカメラ映像に同じ解析をかけ、「これらの点は基準と一致するか?」を確かめます。確かな一致が十分に集まれば、作品が見つかります。

  3. 3

    姿勢を求める

    一致した点がフレームのどこに現れたかをもとに、幾何計算で作品の位置・回転・遠近を復元します — だからこそ、動画が作品の近くに浮かぶのではなく、作品の「上」にぴたりと乗るのです。

  4. 4

    動きに追従する

    一度捉えると、スマホや作品が動いても、トラッカーはフレームごとに作品を追い続けます。絶えず自分自身を確かめ直すので、重ねたレイヤーは貼りついたままです。

Interart のビューアの開始画面。オリジナルの絵画作品と、このビューアを開いたQRコードが並んでいる
ビューアが最初に表示するもの:これからトラッキングする作品と、ビューアを開いたコード。

この仕組みで、ほかのすべてが説明できる

細部が多いほど追いやすい理由

質感とコントラストが多い=特徴点が多い=捉えるための一致が多い。平坦なパステルの塗りでは、照合の手がかりがほとんどありません。

反射が邪魔になる理由

反射は、作品の一部を部屋の光で上書きしてしまいます — トラッカーが覚えた点が、文字どおりフレームに写っていないのです。

マーカーが要らない理由

指紋こそがマーカーです。作品にQRコードや記号を印刷しても特徴点が増えるだけ — 作品にはもう十分にあります。

ブラウザで動く理由

特徴点の照合はただの計算で、スマホは高速です。最新のウェブ実行環境なら、カメラのフレームレートで処理できます — ネイティブアプリは不要です。

プライバシーについて

Interart では、これらすべてが観る人の端末で動きます。カメラ映像はブラウザ内で解析され、アップロードされることはありません — ネットワークを通るのは、ダウンロードされる作品の基準データであって、観る人の周りの世界がアップロードされるわけではないのです。これはたまたまではありません。展示会で見知らぬ人たちがスキャンするカメラ体験が、その人の周囲の様子をどこかへ送るべきではないからです。

疑問に、お答えします

ARの画像トラッキングは、カメラ映像をアップロードしますか? Interart ではしません。カメラのフレームは観る人の端末のブラウザ内で処理され、アップロードされることはありません。ダウンロードされるのはスキャン中の作品の基準データで、カメラに映るものはスマホの中にとどまります。

作品に専用のマーカーを印刷する必要はありますか? いいえ。現在の画像トラッキングは、作品そのものをマーカーとして扱います — 作品自身の輪郭・質感・コントラストが指紋です。QRコードはビューアを開く入口として使うだけで、ふつうは作品の横に印刷します — ただし、コードを作品そのものから作った場合は、一枚で両方をこなせます。

明るい場所だとARが早く認識されるのはなぜですか? トラッキングは、カメラに映るものを、覚えた基準と照合しています。暗いとフレームにノイズが乗って細部が弱くなり、反射は作品の一部を映り込みで上書きします。どちらも照合に使える確かな特徴点が減るため、捉えるまでに時間がかかります。

さらに詳しく

トラッカーに見合う参照写真を撮るには:AR用の作品の撮り方。QRコードの役割がよくわからない方は:QRコードと画像トラッキング。さっそく作りはじめるなら:アーティストのためのWebAR。