パノラマ合成 - iwahashi lab – 長(zhǎng)岡技術(shù)科學(xué)大學(xué) 電気電子

1、パノラマ合成,富山商船高等専門學(xué)?！∏閳?bào)工學(xué)科４年　　　　　　　　　　　　　　　　　　富田　大志,長(zhǎng)岡技術(shù)科學(xué)大學(xué)オープンハウステーマ：ロボット実踐コース③－映像信號(hào)処理－ 研修期間　2009年8月17日～21日,目的,?MATLABを用いてパノラマ寫真を作る。?パノラマ合成が失敗する場(chǎng)合の原因と、それに対する対策を考える。?パノラマ合成の技術(shù)を用いてどんなことができるのか考察する。,パノラ

2、マ合成の手法,①パノラマ合成する畫像（もしくは動(dòng)畫）を取り込む②グレースケール変換③縦方向、橫方向の輝度の総和を用いて移動(dòng)量を調(diào)べる④判明した移動(dòng)量の分だけ畫像をずらして貼り付け　　以上のことを繰り返すとパノラマ寫真ができる,移動(dòng)量の測(cè)定 1,右の図は、橫方向の　 移動(dòng)量を測(cè)定するために縦に輝度の総和をとっている。,,,,,,,移動(dòng)量の測(cè)定 2,２つの畫像の輝度の総和の比較をする?！?畫像を水平方向（もしくは垂直方向）に

3、 ずらしていき、差の２乗の総和がもっとも 小さくなる値を移動(dòng)量とする。,,比較,,合成結(jié)果,求めた移動(dòng)量から２枚の畫像を合成した。,元畫像,,失敗例,車上から撮影した動(dòng)畫から合成した結(jié)果,,カメラ,,,,,,理想,,カメラ,,,,,,実際,畫像の真ん中の部分だけを使用すれば解決？,失敗原因,,後ろにある校舎はほとんど動(dòng)いていないのに　　　前方にある車は大きく動(dòng)いている。,100フレーム目,105フレーム目,パノラマ合成に対す

4、る考察,? 輝度の総和を用いてパノラマ合成をしているので、畫像に特徴となる點(diǎn)がなく、似たような光景が続く場(chǎng)合、きれいにパノラマ合成できないのではないか。　?直前の畫像からの移動(dòng)量が大きすぎると　 合成が失敗するのではないか?！?明るさが急激に変わるような場(chǎng)合は合成ができないのではないか。,検証1,似たような光景が連続する動(dòng)畫を、今回作成したプログラムを用いてパノラマ合成した。,動(dòng)畫,検証結(jié)果,,,合成に失敗した。動(dòng)畫のどの場(chǎng)面

5、においても輝度の総和が同じような値となるため、貼り付け位置が定まらなかったのではないかと考えられる。,検証結(jié)果　その２,手法を変えてPOCという手法でパノラマ合成した結(jié)果、合成はうまくいった?！∈址à驂浃à欷肖Δ蓼い瘓?chǎng)合が　あるということがわかった。,検証2,直前の畫像からの移動(dòng)量が大きすぎると失敗するのではないかということを検証するため、３枚の畫像を用いるところを2枚の畫像でパノラマ合成をした。,,この畫像を飛ばす,検証結(jié)

6、果,,中間を飛ばして合成した結(jié)果,3枚使って合成した結(jié)果,今回、畫像の橫幅（もしくは縦幅）の4分の3以上の距離を移動(dòng)した場(chǎng)合は比較回?cái)?shù)が減り、計(jì)算結(jié)果の信頼性が低くなると考えたため、その場(chǎng)合の計(jì)算結(jié)果を貼り付け位置の計(jì)算に用いなかった。よって4分の3以上の移動(dòng)量となる場(chǎng)合、合成に失敗する。今回失敗したのはそのせいであると考えられる。,検証2　その２,動(dòng)畫のフレーム読み込み間隔を大きくすることに　 よって移動(dòng)量を大きくし、パノラマ合

7、成をして検証する。,動(dòng)畫,検証結(jié)果,,フレーム読み込み間隔「70」の場(chǎng)合,フレーム読み込み間隔「1」の場(chǎng)合,検証3,明るさが急に変わるような場(chǎng)合、合成に失敗するのではないか、ということを検証するために合成する畫像の片方の輝度を変えて合成した。,,使用する元畫像,検証結(jié)果　その１,,片方の輝度を2倍したとき,片方の輝度を2分の1にしたとき,検証結(jié)果　その2,,片方の輝度を1.5倍したとき,他の畫像で1.5倍を試したとき,「○○倍までなら大

8、丈夫」とは一概には言えない,失敗しないようにする対策,検証１から合成する畫像が変化に乏しく、特徴量が少ないと、移動(dòng)量の推定がうまくいかないため、　 なるべく変化に富んだ畫像を用いる。,変化に乏しく、失敗しやすい,変化に富んでいる,失敗しないようにする対策,引き続き検証１から同じような光景が続くような畫像では　この手法ではパノラマ合成が失敗しやすい。,例,1枚目,2枚目,縦方向の輝度,橫方向の輝度,失敗しないようにする対策,

9、引き続き検証１から　 ある手法で失敗した場(chǎng)合は別の手法を用いて合成してみる。いくつかの手法を試してみることが必要である。,,手法を変えると???,失敗しないようにする対策,検証２から合成しようとしている畫像間の移動(dòng)量が大きすぎる場(chǎng)合、合成に失敗するので、撮影するときはカメラを動(dòng)かし過(guò)ぎないようにする。また、動(dòng)畫の場(chǎng)合はフレーム読み込み間隔をなるべく小さな値にする。,,少しずつ動(dòng)かす,失敗しないようにする対策,検証３から合成

10、しようとする畫像にもよるが、２つの畫像で明るさが違いすぎると合成に失敗するので、なるべく明るさを均一にして撮影、合成する。,,,,1枚目,2枚目,パノラマ合成の応用,パノラマ合成の技術(shù)を用いて実現(xiàn)できそうなもの　?人の目線での地図の作成　?體內(nèi)の消化器官の立體図の作成　?常時(shí)360°監(jiān)視システム,まとめ,今回用いたパノラマ合成の手法には、うまく合成するためにさまざまな制約があり、きれいなパノラマ寫真を合成するには、