「画像の認識・理解シンポジウム (MIRU2009)」 2009 年 7 月

複数視点画像からのテクスチャマッピングにおける模様の整合性の保存飯山 将晃† 坂口 尚樹†† 豊浦 正広††† 舩冨 卓哉†††† 角所 考†††††

美濃 導彦††††

† 京都大学大学院経済学研究科 〒 606–8501 京都市左京区吉田本町†† 京都大学工学部 〒 606–8501 京都市左京区吉田本町

††† 山梨大学大学院 医学工学総合研究部 〒 400–8511 山梨県甲府市武田 4–3–11††††† 関西学院大学理工学部 〒 669-1337 兵庫県三田市学園 2丁目 1番地

†††† 京都大学学術情報メディアセンター 〒 606–8501 京都市左京区吉田二本松町E-mail: †iiyama@econ.kyoto-u.ac.jp, ††{sakaguchi,toyo,funatomi,kakusho,minoh}@mm.media.kyoto-u.ac.jp

あらまし 複数視点から得られた画像を３次元パッチモデルにマッピングする手法を提案する．３次元パッチモデルの各パッチに対して複数視点画像の中の一つを対応づける際，隣接するパッチ間で異なるテクスチャ画像を対応づけるとパッチの境界部分で不自然な模様が生成されてしまう．提案手法では，不自然な模様を生じさせ得るパッチ間では同一の画像を対応付け，不自然な模様を生じさせないパッチ間では異なる画像の対応付けを許容するようなエネルギー関数を定義し，それを最小化することによって不自然な模様を発生させないテクスチャマッピングを実現する．キーワード テクスチャマッピング，グラフカット，多視点画像

Ensuring the Consistency of Structural Patterns on Texture Mapping

from Multi-Viewpoint ImagesMasaaki IIYAMA†, Naoki SAKAGUCHI††, Masahiro TOYOURA†††, Takuya FUNATOMI††††,

Koh KAKUSHO†††††, and Michihiko MINOH††††

† Graduate School of Economics, Kyoto University Yoshida-honmachi, Sakyo-ku, Kyoto, 606–8501 Japan†† Faculty of Engineering, Kyoto University Yoshida-honmachi, Sakyo-ku, Kyoto, 606–8501 Japan

††† Interdisciplinary Graduate School of Medical and Engineering, University of YamanashiTakeda 4–3–11, Kofu, Yamanashi, 400–8511 Japan

††††† School of Science and Technology, Kwansei Gakuin University2-1 Gakuen, Sanda , Hyogo, 669-1337 Japan

†††† Academic Center for Computing and Media Studies, Kyoto University Yoshida-nihonmatsu-cho,Sakyo-ku, Kyoto, 606–8501 Japan

E-mail: †iiyama@econ.kyoto-u.ac.jp, ††{sakaguchi,toyo,funatomi,kakusho,minoh}@mm.media.kyoto-u.ac.jp

Abstract This paper presents an artifact-free texture mapping from multiview images. Mapping multiple imagesonto a 3D mesh model is not an easy task, because artifacts may appear when two more images are mapped intoneighboring meshes. We define a cost function that becomes large when artifacts appear on neighboring meshes.The cost function helps to search the assignment between images and meshes. Experimental results with real imagesdemonstrate the effectiveness of our method.Key words Texture mapping, Graph cut, Multiview images.

1. は じ め に実物体を観測することで写実性の高い 3次元モデルを

獲得する技術に対する需要は CGコンテンツ作成を目的として以前からもあったが，近年デジタルカメラで得られた画像から 3次元パッチモデルを獲得するソフトウェ

ア（例えば [1]）の普及により，その需要がさらに増大しつつある．レンジセンサやステレオ視，視体積交差法などによっ

て計測された 3次元パッチモデルに対し，対象を多視点から撮影して得られた画像列をテクスチャとしてマッピングする処理は 3次元モデルの写実性を高めるために有

効な処理である．この処理は各パッチに対応する画像を複数視点画像の中から選択することによって行われる．しかしながら，物体形状の計測誤差，物体形状を三角

形パッチモデルで表現する際に生じる誤差，カメラ位置の推定誤差，画像撮影時の照明環境の変化などの理由により，テクスチャマッピングの結果三次元パッチモデルの表面上で本来存在しない不自然な模様（artifacts）が生じてしまう問題が発生する．このような不自然な模様は 2つの隣接するパッチ間で異なる視点からの画像がテクスチャとしてマッピングされる際にパッチ間の境界で生じる模様の不整合によるものである．この問題に関して CGの分野で，3次元パッチモデル

に対してシームレスにテクスチャマッピングを行う手法がいくつか提案されている [2], [3]．しかしながらこれらの手法は比較的小さい単純なテクスチャパターンを 3次元パッチモデルの表面上にタイリングすることを目的とした手法であり，実写画像をマッピングする場合には適さない．また，テクスチャマッピング時の不自然な模様を回避

するため，各パッチに明示的に画像をマッピングするのではなくレンダリングを行う視点に応じてマッピングする画像を切り替える方法 [4], [5]が提案されている．しかしながら，視点移動時にテクスチャが急激に変化したり，テクスチャがぼけてしまうなどの問題がある．他にも不自然な模様に対処する方法として，複数の画像をアルファブレンディングによって合成したものをパッチ間の境界付近のテクスチャとして利用することによりパッチ境界付近で生じる不自然な模様を解消する方法 [6]～[9]も提案されているが，パッチ間の境界付近のテクスチャがぼやけてしまうという欠点がある．これら従来手法に対して我々は，2つの隣接するパッ

チ間で異なる画像がテクスチャとしてマッピングされたとしても必ずしも模様の不整合が生じるとは限らないという仮定の下，三次元パッチモデルの表面で模様の不整合が生じさせないようなパッチと画像との対応関係を決定することでテクスチャをぼやけさせることなく不自然な模様の発生を軽減する手法を提案する．このような仮定が成り立つ物体として，例えば図 1に示されるようなテクスチャに乏しい表面と少数のテクスチャのある表面とで構成されるような物体が挙げられる．従来手法ではテクスチャがある箇所（図 1のポットの柄など）がぼやけてしまうが，提案手法を用いればその問題が解決できると期待できる．提案手法ではまず，模様の整合性を定量化し，隣接す

るパッチ間で異なる画像をテクスチャとしてマッピングすることのコストを模様の不整合の度合いに応じて設定する．次に，このコストの総和が最小となるような各パッチと画像との対応関係を獲得することによって，模様の整合性を保ったテクスチャマッピングを実現する．コストの総和を最小化するために，画像の領域分割 [10]

図 1 少数のテクスチャのある表面からなる物体

等で用いられているグラフカットのアルゴリズムを用いる．各パッチとカメラをノード，パッチとカメラ間および隣接するパッチ間を枝とした枝重み付き有向グラフを構築し，コストの総和の最小化問題をグラフの最大フロー・最小カット問題に帰着させることによってテクスチャマッピングを実現する．以下，2.では多視点画像からのテクスチャマッピングの従来研究について述べ，隣接するパッチの境界部分で模様の不整合が発生することについての説明を行う．3.で，提案手法である模様の整合性を考慮したテクスチャマッピング手法について述べ，4.で実画像を用いた実験結果とその考察を行う．5.はまとめである．

2. 多視点画像からのテクスチャマッピング2. 1 問 題 設 定対象物体の形状が N 枚の三角形パッチによる多面体として与えられているものとする．このパッチをTi(i = 1, . . . , N) と表記し，N 枚のパッチの集合をT = {T1, T2, . . . , TN}と表記する．対象物体は C 台のカメラ Caml(l = 1, . . . , C)で撮影されており，各カメラで撮影された画像 Il(l = 1, . . . , C)および各カメラの射影行列 Pl(l = 1, . . . , C)が事前に与えられているものとする．　本稿で述べるテクスチャマッピングとは，各パッチ Ti

が C 枚の画像 Il 中のどの画像に対応づけるかのラベルLi ∈ {1, 2, . . . , C}を決定し，かつパッチの 3頂点が画像 ILi

中のどの位置に対応するかを決定する処理である．特に本稿では前者のラベル Li を決定する処理について述べる．ラベル Liが与えられれば，パッチ Tiの 3頂点の画像 ILi 上での座標は射影行列 PLi を用いて一意に得ることができる．ラベル Li を決定する際，パッチの可観測性を考慮する必要がある．パッチ Ti をあるカメラ Caml で撮影する際，このパッチが別のパッチによって隠蔽される場合がある．この場合，画像 Il上にはパッチ Tiのテクスチャ情報は観測されておらず，Ilを Tiのテクスチャマッピングに用いることは適切ではない．よって，ラベル Liが l

であるための必要条件として，カメラ Caml から Ti が

Tex t u r ee

t u

図 2 Naive手法によるマッピングFig. 2 Naive Texture Mapping

観測可能であることを用いる．なお，パッチ TiがカメラCamlから観測可能であるかどうかは，予めN 枚のパッチと射影行列 Pl から作成された Zバッファを用いることによって判定することができる．ただし，どのカメラからも観測不可能なパッチが存在

する場合があり，この場合そのパッチにはラベルを割り当てることができない．この問題を解決する方法として，ラベルが割り当てられた周囲のパッチのテクスチャに基づいてテクスチャを補間する方法 [11]があるが本稿ではこの問題は取り扱わないこととする．

2. 2 Naive手法あるパッチを複数のカメラで観測できる場合，つまり

先に述べた必要条件を満たすカメラが複数ある場合がある．この場合によく用いられる方法として，複数のカメラの中から最もそのパッチを「よく」観測しているものを選択する方法がある．　具体的には，パッチ Tiのラベル Li を以下の条件に基づいて決定する．

• カメラ Caml から Ti が観測可能である．• 画像 Il上での Tiの投影像の面積が Tiを観測可能

なカメラの中で最大となる．以降，本稿ではこの手法を Naive手法と呼ぶ．

2. 3 模様の不整合の発生Naive手法を用いた場合，図 2左に示すレンダリング

結果のような不自然な模様が発生する場合がある．このような模様の不整合は，隣接する 2つのパッチ間で異なるラベルが与えられた時に 2つのパッチ間の境界部分で発生する．例えば，図 2において，アルファベットの “x”や “u”の箇所にまたがる 2つのパッチにおいて異なるカメラからのテクスチャが割り当てられており，その結果模様の不整合が生じている．このような模様の不整合が生じる原因として，画像

間でのカラーキャリブレーションの誤差，画像撮影時の照明の変化，物体形状計測時の誤差，メッシュ単純化を行った際に生じる形状誤差，射影行列に含まれる誤差等が挙げられる．従来，それぞれの問題に対してその誤差

Tex t u r ee

t u

図 3 提案手法によるマッピングFig. 3 Our Texture Mapping

を軽減させる手法が提案されているが，誤差を完全に取り除くことはできず，また，これらの問題は複合的に起こるため，各要因に対処したとしても残った誤差が蓄積し，結果として模様の不整合を引き起こすことになる．模様の不整合に対処する方法として，2つの画像をアルファブレンディングによって合成したものをパッチ間の境界周辺のテクスチャとして用いることにより，パッチ境界付近で生じる模様の不整合を目立たなくする方法 [6], [7]や，さらにこのブレンディングを多重解像度画像上 [12] や画像の勾配空間 [13]で行うことによって模様の不整合を解消する方法 [8] [9]などが提案されているが，パッチ間の境界付近のテクスチャがぼやけてしまうという欠点がある．また，ブレンディング以外の対処法として，Zhouらの手法 [11]では，模様の不整合を引き起こすパッチ間の境界付近の頂点の (u, v)座標を模様の不整合を引き起こさないよう調整しているが，境界付近のテクスチャが歪んでしまうという問題がある．

3. 模様の整合性を考慮したテクスチャマッピング

前節で述べたように，隣接するパッチ間で異なるラベルが割り当てられた場合，その境界付近で模様の不整合が発生する場合がある．しかしながら，異なるラベルを割り当てられたパッチの境界付近で必ずしも模様の不整合が生じるとは限らない．例えば，あるパッチが複数の画像において占める領域を見比べてみると，その画像的な特徴が必ずしも整合していないわけではなく，いくつかの画像において同じ画像的特徴を有し不整合が生じていないことが十分に考えられる．そのように同じ画像的特徴を有している複数の画像においては，隣接するパッチに異なるラベルを割り当てたとしても必ずしも不整合が起こるわけではない．ゆえに，不整合を引き起こさないように隣接パッチに異なるラベル割り当てることも不可能ではない．例えば，図 2で発生していた模様の不整合も，図 3のようにラベルの割り当てを調整することに

Ti T

j

Va

Vb

Is

It

va(s)

vb(s)

vd(s)

va(t)

vb(t)

vd(t)

S(Ti,s)

S(Ti,t)S(T

j,s)

S(Tj,t)

Cams Cam

t

図 4 模様の不整合の定量化Fig. 4 Alignment Evaluation

よって模様の不整合を発生させないようにすることが可能である．そこで，提案手法では隣接するパッチに異なるラベル

を割り当てても模様に不整合が起こらないようなラベルの割り当て方を決定することで，全体として模様の不整合が少なくなるようにテクスチャマッピングのラベル決定を行う．隣接するパッチで模様の不整合が起こらないようにす

るためには，模様の整合性を考慮したラベルの選択基準が必要となる．提案手法では 2. 2節で述べた Naive手法の選択基準に加え，パッチ間の模様の整合性を反映したエネルギー関数を定義し，これを最小化するようなラベルの割り当てを決定する．以降，3. 1節，3. 2節，3. 3節ではカメラ台数Cが 2台

である場合について述べる．C が 2以上の場合については 3. 4節で述べる．

3. 1 模様の不整合の定量化今，隣り合う 2つのパッチの集合を E ⊂ T × T とし，

E に含まれる 2つのパッチ (Ti, Tj) ∈ E に対してラベルLi,Lj を割り当てることを考える．Li = Lj であるときには，隣接するパッチに対して同じ画像からテクスチャが与えられていることになり，模様の不整合は生じない．一方，Li |= Lj であるときには模様の不整合が生じる可能性がある．

Li |= Lj の時に生じる模様の不整合は，Ti と Tj が共有する 2頂点を結んだ線分上で発生する．そこで，隣り合うパッチに異なるラベルを割り当てることが模様の整合性に与える影響を 2つのパッチが共有する 2つの頂点Va と Vb を用いて定量化する (図 4)．

2 台のカメラの片方を Cams，もう片方を Camt と表記する．Va と Vb を画像 Is 上に投影した点を v

(s)a ，

v(s)b とし，画像 It 上に投影した点を v

(t)a ，v

(t)b とする．

Li = Lj = sとしたときに線分 VaVb上にマッピングされるテクスチャは，線分 v

(s)a v

(s)b 上の画素値から得られる．

同様に，Li = Lj = tとしたときのテクスチャは，線分v(t)a v

(t)b 上の画素値から得られる．ここで，Li |= Lj とし

たときの模様の不整合は，線分 v(s)a v

(s)b 上の画素値と線

分 v(t)a v

(t)b 上の画素値との差によって表される．そこで，

線分 v(s)a v

(s)b を D + 1等分した点 v

(s)d = (1 − d/D)v(s)

a

　 + d/Dv(s)b （ただし d = 0, . . . , D）における画素値

Is(v(s)d )，同様に画像 Itに対して得られた画像値 It(v

(t)d )

として，ラベルを sとしたときの線分 VaVb 上のテクスチャとラベルを tとしたときの線分 VaVb上のテクスチャとの差 Etex(i,j) を次式によって与える．

Etex(i,j) =D∑

d=0

∣∣∣Is(v(s)d ) − It(v

(t)d )

∣∣∣ (1)

なお，2つの画素値の差は RGB各チャンネルにおける輝度値の差の絶対値の和によって計算される．

Etex(i,j) が大きければ大きいほど Ti と Tj の境界上で発生する模様の不整合が顕著であると見なすことができる．

3. 2 パッチ・カメラ間の関係Naive手法で用いられている判断基準を利用して，あるパッチ Ti のラベルを lとすることの適合度 Earea(i,l)

を以下のようにして決定する．（ 1） カメラ Caml から Ti が観測不可能であれば

Earea(i,l) = 0．（ 2） そうでない場合，画像 Il 上での Ti の投影像の面積 S(Ti, l)を用いて，Earea(i,l) = S(Ti, l)．適合度 Earea(i,l) が高ければ高いほど Ti のラベルを l

とすることの妥当性が高いと見なすことができる．

3. 3 グラフカットによるラベルの決定模様の不整合と Naive手法に基づくラベルの適合度との両方を用いてラベルの決定を行うために，2台のカメラおよび N 枚のパッチをノードとし，パッチとカメラとの間および隣接するパッチ間に枝を持つ枝重み付き有向グラフ（図 5）を考える．各パッチに相当するN 個のノード（パッチノード）は，おのおの隣接する 3個のパッチと連結されている．また，片方のカメラ Cams（ソースノード）は，ソースノードからN 個のパッチノードへ向かう枝を持つ．また，もう片方のカメラ Camt（シンクノード）は，N 個のパッチノードそれぞれからシンクノードへ向かう枝を持つ．ここで，Cams からパッチ Ti へ向かう枝は Ti に対応するテクスチャが画像 Is から得られていること，つまり，TiのラベルLiが sであることを表すものとし，その枝の重みを 3. 2節で述べた適合度 Earea(i,s) とする．同様に，Ti から Camt へ向かう枝は Ti に対応するテクスチャが画像 Itから得られていること，つまり，Tiのラベル Li が tであることを表すものとし，その枝の重みをEarea(i,t) とする．

Ti T

j

Cams Cam

t

図 5 パッチとカメラのグラフ表現Fig. 5 Patch-Camera Graph

Cams

Camt

T1

T2

Cams

Camt

T1

T2

L1=t,L

2=tL

1=s,L

2=t

図 6 グラフによるラベル割り当てFig. 6 Label Assignment on Graph

また，パッチ Ti とパッチ Tj を結ぶ双方向の枝は，2つのパッチに割り当てられたラベルが等しい (Li = Lj)であることを表すものとする．(Li = s, Lj = t)もしくは (Li = t, Lj = s)としたときに生じる模様の不整合の度合いは 3. 1節での議論より Etex(i,j)で与えられる．これを枝の重みとして与える．パッチに割り当てたラベル Li に応じてグラフの枝を

カットすることを考える．例えば，図 6左に示すグラフの場合，Camsから T2 へ向かう枝，T1 から Camtへ向かう枝，T1 と T2 を結ぶ枝をカットすることによって，L1 = s,L2 = tを表すグラフを構築することができる．また，図 6右のようにCamsから T1へ向かう枝，Camsから T2へ向かう枝をカットすることによって L1 = L2 = t

を表すグラフを構築することができる．このように，グラフの枝をいくつかカットし，グラフを構成するノードをソースノードに属するノードとシンクノードに属するノードとに分割することによって任意の Li の組み合わせ（2N 通り）を表現することができる．今，2N 通りの枝のカットの中で最もカットする枝の重

みの総和を最小とするもの（最小カット）つまり，カットしなかった枝の重みの総和

E(L) =∑Ti∈T

Earea(i,Li) + λ∑

(Ti,Tj)∈E

Eint(Li, Lj)(2)

Eint(Li, Lj) =

{Etex(i,j), if Li = Lj

0, if Li |= Lj

を最大とするラベル集合 L = {L1, L2, . . . , LN}を得るこ

とを考える．式 2の右辺第 1項∑

Ti∈T Earea(i,Li)はデータ項と呼ばれ，3. 2節で述べたパッチとカメラとの関係から得られるラベル付けの適合度より計算される．データ項が大きいほど 3. 2節で述べた適合度が高いことを意味する．また，式 2の右辺第 2項

∑(Ti,Tj)∈E Eint(Li, Lj)

は平滑化項と呼ばれ，3. 1節で述べた隣接するパッチ間で異なるラベルを割り当てたときに生じる模様の不整合に対応する．平滑化項が大きいほど，ラベル割り当てによって回避することができた模様の不整合が多いことを意味する．また式 2の λは模様の整合性をどの程度重要視するかを調整する非負のパラメータである．λにはデータ項と平滑化項の単位の違い（データ項は面積，平滑化項は色の差）を吸収する働きもあるが，本稿の実験では単純に λ = 1としている．この E(L)を最小化することによって，模様の整合性をできるかぎり保ったラベル割り当てが可能となる．

E(L)の最小化は，最大フロー最小カット定理により，フローネットワークにおける最大フロー問題を解くことと等価となる．最大フロー問題を解くグラフカットのアルゴリズムはいくつか提案されており [14]，これらを利用することによってラベル集合 Lを得る．

3. 4 カメラ台数が 3台以上の場合3. 3節で述べたグラフカットの問題はグラフをソースとシンクの 2つに分割する問題であり，カメラ台数が 3台以上，つまりグラフを 3つ以上に分割する場合には適用できない．そこで，最初にC 枚中の 2枚の画像を用いてラベル付けを行い，次に新たな 1枚の画像と先ほどのラベル付けの結果を用いてラベル付けを再度行うというように，画像を 1枚ずつ追加しながらラベル付けを行う．今，C 枚中 k − 1枚の画像 I1, I2, . . . , Ik−1を用いたラベル付けが終了しているものとする．このとき，パッチに相当する各ノードには 1から k − 1までのラベルLi ∈ {1, . . . , k − 1} が割り振られている．このラベルを用いて，ソースノード・パッチノード間の枝の重みEarea(i,s)を Earea(i,Li)で与える．また，シンクノード・パッチノード間の枝の重み Earea(i,t) を Earea(i,k) で与える．隣り合う 2つのパッチ間の枝の重みを式 1に基づいて次のように与える．

Etex(i,j) =D∑

d=0

∣∣∣ILi(v(Li)d ) − Ik(v(k)

d )∣∣∣ (3)

カメラ台数が 2 台の場合は Etex(i,j) = Etex(j,i) であったが，カメラ台数が 3 台以上の場合は一般的にはEtex(i,j) |= Etex(j,i)となる．そこで，図 7に示すように，パッチ間の双方向の枝を一方向の枝 2つに分離し，パッチ Tiから Tj へ向かう枝の重みをEtex(i,j)，パッチ Tj から Tiへ向かう枝の重みをEtex(j,i)とする．また，パッチTi からパッチ Tj へ向かう枝は，

Cam1,...,k-1

Etex(1,2)

Etex(2,1)

Etex(2,1)

Etex(1,2)

Camk

T1

T2

Cam1,...k-1

Camk

T1

T2

図 7 グラフによるラベル割り当て（3台以上）Fig. 7 Label Assignment on Graph

• Ti のラベルが Li のままで，• かつ，Tj のラベルが Lj から kに変更される

ときにカットされるものとする．図 7の左の例のように，ソースから T2 へ向かう枝，T1 から Camk へ向かう枝，T1から T2へ向かう枝をカットすることによって，Tiのラベルは Li のままで，T2 のラベルを kとしたグラフを構築することができる．このようにして枝に重みづけられたグラフに対し，再

度最大フロー問題を解くことによりC枚中 k枚の画像を用いたラベル付けが可能となる．

4. 実験と考察本稿で提案する手法の有効性を検証するため，実物体

を用いた実験を行った．まず，物体を 8方向から撮影された画像 (画像サイズ

1920× 1200)を元に視体積交差法によって形状を獲得した．視体積交差法では形状がボクセルデータとして得られるため，これを Extended Marchine Cube法 [15]を用いてパッチデータに変換したものを実験に用いた．8枚の入力画像のうちの 1枚を図 8(a)に，得られたパッチデータを図 8(b)に示す．なおパッチの総数N は 344,361である．次に，提案手法と Naive手法を用いてテクスチャマッ

ピングを行った．最大フロー・最小カットを求める手法として Boykovらが実装した手法 [14]を用いた．Naive手法によるマッピング結果を図 8(c)(e)に，提案手法によるマッピング結果を図 8(d)(f)に示す．なお，ラベルの決定に要した処理時間は Core2Duo 2.13GHzの CPUを使って 665秒であった．図 8(e)と (f)を比較すると，Naive手法では目やヒゲ

の部分で不自然な模様が発生しているのに対し，提案手法ではそれが解消されていることが確認できる．図8(g)(h)は，各パッチに割り当てられたラベルを可視化するために画像毎に異なるパターンを重畳したものを用いてレンダリングした結果である．Naive手法では目の輪郭付近で隣り合うパッチに対して異なるラベルを割り当てているのに対し，提案手法では目の輪郭付近では同じラベルを割り当て，テクスチャがない箇所では異なるラベルを割り当てていることが確認できる．一方で，図 8(d)に示すようにティポットの蓋部分につ

いては提案手法を用いても依然模様の不整合が若干発生していることが確認できる．これは，どのようにラベルを割り当てても模様の不整合を解消できない状況がありうることを示しており，このような箇所に対しては従来手法のようなブレンディングによる模様の不整合解消が必要となる．しかしながら，Naive手法と比較して模様の不整合の絶対量が減少していることが図 8(e)と (f)の比較より確認でき，従来手法単独でテクスチャマッピングを行うよりも提案手法と組み合わせた方がより高品質なテクスチャマッピングが実現できると予想できる．対象物体としてバスケットボールを用いた結果とミカンを用いた結果を図 9に示す．ボール表面の文字やミカンのヘタの部分において Naive手法で模様の不整合が発生しているのに対し，提案手法ではそれが軽減していることが確認できる．また，図 9(c)でカメラ間のカラーキャリブレーション誤差に起因すると思われる模様の不整合が広範囲で生じているのに対し，図 9(d)ではそれが軽減されているのが確認できる．提案手法が有効に働くための前提条件として，対象物体がテクスチャに乏しい表面と少数のテクスチャのある表面とで構成されるような物体であることを仮定していたが，その前提を一見満たさないような物体に対してもある程度の有効性が存在することがこの結果から示唆される．

5. お わ り に複数画像からのテクスチャマッピングで生じる模様の不整合の問題を軽減する手法を提案した．提案手法では，隣接するパッチ間で模様の不整合が発生しうる箇所では同一の画像を用いてテクスチャマッピングを行い，隣接するパッチ間で模様の不整合が発生しない箇所では異なる画像を用いてテクスチャマッピングを行うようパッチと画像との対応付けをとるアプローチを採った．各パッチと画像との対応付けをグラフカットを用いて決定し，できる限り模様の不整合が発生しない画像の対応付けを実現した．提案手法の問題として，3枚以上の画像を用いる際，画像を与える順番によって対応付けの結果が変化しうることが挙げられる．C 枚の画像の順列 (C!通り)に対して提案手法を適用し最適な割り当てを得ることは可能ではあるが，C が大きい場合には計算量が膨大となるためあまり現実的ではなく，今後手法の改良が必要である．

文 献[1] “STRATA FOTO 3D”. http://www.strata.com/foto3d.asp[2] K. Zhou, X. Huang, X. Wang, Y. Tong, M. Desbrun,

B. Guo, and H.-Y. Shum, “Mesh quilting for geo-metric texture synthesis,” Proc. of SIGGRAPH 2006,pp.690–697, 2006.

[3] C. Soler, M. pauleCani, and A. Angelidis, “Hierar-chical pattern mapping,” ACM Trans. on Graphics,

(a) input image (b) patch model

(c) naive method (d) our method

(e) naive method (zoom) (f) our method (zoom)

(g) patch assignment (naive) (h) patch assignment (ours)

図 8 Naive手法と提案手法を用いたテクスチャマッピング結果Fig. 8 Texture Mapping with naive method and our method

pp.673–680, 2002.[4] D. Porquet, J.-M. Dischler, and D. Ghazanfarpour,

“Real-time high-quality view-dependent texture map-ping using per-pixel visibility,” Proc. of GRAPHITE’05, pp.213–220, 2005.

[5] 高井勇志，松山隆司，“3 次元ビデオ映像の高精細表示

アルゴリズムと編集システム，” 映像情報メディア学会論文誌，vol.58，no.4，pp.593–602，2002．

[6] 猪瀬健二，川崎 洋，古川 亮，“複数計測による全周 3 次元モデル生成のための複数テクスチャのシームレスな合成手法，” 情報処理学会論文誌，vol.49，no.4，pp.1234–1249，2008．

(a) naive method (b) our method

(c) naive method (d) our method

図 9 テクスチャマッピング結果Fig. 9 Results with other objects

[7] D. Piponi and G. Borshukov, “Seamless texture map-ping of subdivision surfaces by model pelting and tex-ture blending,” Proc. of SIGGRAPH 2000, pp.471–478, 2000.

[8] H. Yamauchi, H.P. Lensch, J. Haber, and H.-P. Seidel,“Textures revisited,” The Visual Computer, vol.21,no.4, pp.217–241, 2005.

[9] Z. Janko, G. Kos, and D. Chetverikov, “Creating en-tirely textured 3d models of real objects using sur-face flattening,” Machine Graphics and Vision Inter-national Journal, vol.14, no.4, pp.379–398, 2005.

[10] V. Kwatra, A. Schodl, I. Essa, G. Turk, and A. Bo-bick, “Graphcut textures: image and video synthe-sis using graph cuts,” ACM Trans. Graphics, vol.22,no.3, pp.277–286, 2003.

[11] K. Zhou, X. Wang, Y. Tong, M. Desbrun, B. Guo,and H.-Y. Shum, “Texturemontage: Seamless textur-ing of arbitrary surfaces from multiple images,” Proc.of SIGGRAPH 2005, pp.1148–1155, 2005.

[12] P.J. Burt and E.H. Adelson, “A multiresolution splinewith application to image mosaics,” ACM Trans. onGraphics, vol.2, no.4, pp.217–236, 1983.

[13] A. Zomet, A. Levin, S. Peleg, and Y. Weiss, “Seam-less image stitching by minimizing false edges,” IEEETrans. on Image Processing, vol.15, no.4, pp.969–977,2006.

[14] Y. Boykov and V. Kolmogorov, “An experimentalcomparison of min-cut/max-flow algorithms for en-ergy minimization in vision,” IEEE Trans. on PAMI,vol.26, no.9, pp.1124–1137, 2004.

[15] L.P. Kobbelt, M. Botsch, U. Schwanecke, and H.-P. Seidel, “Feature sensitive surface extraction fromvolume data,” Proc. of SIGGRAPH 2001, pp.57–66,2001.