被写体の手前にあるフェンスやガラスの反射などを消し去る技術 40
ストーリー by nagazou
モザイクには使えません 部門より
モザイクには使えません 部門より
台湾大学や米Googleらによる研究チームは、移動するカメラで撮影されたごく短時間の画像のキャプチャから、画像の手前に映りこんだ水滴やガラスの反射、フェンスといった障害物を除去する「Learning to See Through Obstructions」という技術を開発したそうだ。この技術では同じ被写体の角度の違う写真が複数枚あれば、機械学習を生かして障害物を取り除けるようだ（コーネル大学 arXiv、ITmedia）。
理屈としてはフレームごとに視点がずれるよう複数枚撮影。対象物と障害物では異なる深度に位置しているこため、映り込み箇所にズレが生じる。これを利用して背景と障害物の動きの違いから両方のレイヤーを再構築するよう学習させるらしい。こうした反射面や障害物を除去する技術は、ロボットの認識技術にも応用できる模様。
理屈としてはフレームごとに視点がずれるよう複数枚撮影。対象物と障害物では異なる深度に位置しているこため、映り込み箇所にズレが生じる。これを利用して背景と障害物の動きの違いから両方のレイヤーを再構築するよう学習させるらしい。こうした反射面や障害物を除去する技術は、ロボットの認識技術にも応用できる模様。
巨大な暗幕が要らなくなる (スコア:2)
銀座で夜中に巨大な黒い幕を持ってる連中がいて、なんだこいつらと思ってよく見たら
デパートのショウウインドウを撮影する人たち（おそらくショウウインドウを作る業者が自分たちの仕事を記録するため）で、ガラスへの映り込みを排除するために暗幕で反射光を抑えてたというのが実態だったのでした。
今後はそういう「反射を抑えるための暗幕」なんてのは要らなくなるんですねえ
Re:巨大な暗幕が要らなくなる (スコア:1)
今はCGモデルでやっちゃうらしいですが・・・
Re: (スコア:0)
安直に考えると偏光フィルタを付けたら暗幕いらなくね？とか思ったり。
今回の技術って、ステレオ音源の歌を左右ミックスするとセンターのボーカルが消える（小さくなる）のと反対の技術≒ボーカルだけ取り出すみたいなものですかね。
Re: (スコア:0)
安直に考えると偏光フィルタを付けたら暗幕いらなくね？とか思ったり。
光源側が偏光してないとフィルタじゃ反射成分をキャンセルできないとおもう
googleアプリのフォトスキャン (スコア:1)
というのがまんまそれじゃないですか
複数の写真を重ねて反射を除去してくれます
Re:googleアプリのフォトスキャン (スコア:1)
2015年の線形代数的に解決したものがあって、https://sites.google.com/site/obstructionfreephotography/
今回の2020年のはCNNで解決するようにしたのでは。
Re: (スコア:0)
確かに、同じ画像を使ったデモビデオがあるが、6年前より今回の方がより自然な出力になってる。
広く反射がかぶっていて、視差を利用しても元の色がどうなのか計算できないところは、
学習したAIに「それっぽくいい感じに」塗らせましょうというという話なのか。
Re: (スコア:0)
人間が自然に感じるよう「それっぽくいい感じに」仕上げてしまうとしたら、監視カメラとかそういうレアケース探す用途には向かなそう。
Re: (スコア:0)
今回は反射だけじゃなく障害物も除去できるのが新しい？
従来は人間が画像編集アプリをつかってやってた手法の一つですが、
それを自動化できるというのは素人も手を出しやすくなりますね
日本では使用禁止ですね (スコア:1)
謎の光を守る会が発足されるのであった
Re: (スコア:0)
差分の有無を両方見て楽しむわけですな
アリバイ消去 (スコア:0)
写真中の瞳とかスプーンとかに人が写り込んで、様々なことが明るみに出てしまう事例が増えているけど、
そのうちカメラが「一歩右によってもう一枚撮影してくだだい」とか指示して自動で消してくれるようになるんだろうか
瞳の反射でディープフェイクを見破る (スコア:2)
逆に「瞳の反射でディープフェイクを見破る」という技術があるらしい。
https://gigazine.net/news/20210315-deepfakes-eyes-light-reflections/ [gigazine.net]
Re:アリバイ消去 (スコア:1)
今回のは対象物の距離で判別してるので、瞳とかスプーンとかに写りこんだものを除去するのとは違いますね。
厳密には映り込んだ反射映像の内容は視差によって変化するけど、反射映像が現れる場所自体は瞳やスプーンと一緒に移動してしまうので難しいでしょう。
スマホにも距離センサを搭載するのが流行りなので、今回のと同じ距離でのノイズ除去はもっと精度よく実現できそうではあります。
Re: (スコア:0)
> スマホにも距離センサを搭載するのが流行りなので、今回のと同じ距離でのノイズ除去はもっと精度よく実現できそうではあります。
「手前のガラスに像が反射して邪魔になっている」というような場合、ToFセンサーなどを使うと、
投射した光の一部がガラスに映った反射物の方へ行き、残りが本来写したい被写体の方に行き、となって
2種類の反応が返ってくることになると思うのだが、それを「そのまま(反射などで)距離が異なる像が重なっている」
と処理できるのだろうか？それともどちらか一つを正しいデータとして取り込み、他方はエラーとして処理されるのだろうか？
あるいは処理不能として全破棄？
よしんば正しく2つの像が重なっていると認識できたとしても、撮像素子が取り込んだ1枚絵からは、反射像と
その向こうに透けて見える本来の撮影対象とを切り分ける手掛かりが得られないので、
反射像の除去は不可能なのではないか？
Re: (スコア:0)
距離センサー単体で何とかできると言ってるわけではなく、距離センサーがあれば物体の距離が直接分かるので、同じ原理で処理する場合でももっとノイズ除去の精度が上がると言ってるわけです。
Re: (スコア:0)
理解していない。
撮像素子とは別に測距センサーがあっても、それがどんなに高解像度で高精度でも、
ガラスに反射した像が重なるようなケースでは反射を取り除く処理の助けにはならない。
重なった像を分離するのに有用な情報がそこからは得られないからだ。
一方、手前に金網のような障害物がある場合は、使えるだろう。
Re: (スコア:0)
はぁなるほど。
一部の条件ではうまくいかないから、ダメだと。
「手前のガラスに像が反射して邪魔になっている」というような場合を持ち出したのはあなたですが、勝手に条件限定して批判するのはどうなんでしょうね？
元々は写真中の瞳とかスプーンとかに人が写り込んだ反射像の話なのに、中間のガラスでの反射の話を出されても困惑してしまいます。
Re: (スコア:0)
いやいやｗｗｗ
「手前のガラスに像が反射して邪魔になっている」ってのは、
このストーリーで紹介しているデモにあるもので、私か持ち出してきたものではないがｗ
> スマホにも距離センサを搭載するのが流行りなので、今回のと同じ距離でのノイズ除去はもっと精度よく実現できそうではあります。
ってんで、「今回のと同じ距離でのノイズ除去」について話してたんじゃないの？
Re: (スコア:0)
「スマホに標準搭載のツインカメラで、映り込みを自動消去」と言うのもありじゃね。
それで付加価値になるなら、映像素子くらい安いもの。
Re: (スコア:0)
今のレンズレイアウトだと、さすがに視差が小さすぎるだろ。横位置で構えたときの左右にレンズがつくような設計が主流になるかも。3Dもいけるし。
Re: (スコア:0)
近くのものほど視差は大きいから十分だと思うよ。
レンズ距離が近くて手前の物の不透明度が高いと残したい被写体が見えないとなるけど、そこはAIで補完、コンテンツに応じた塗り処理をどの程度ツカエルまで作りこめるかの勝負。
アリバイ工作言うから (スコア:0)
当然時計の針も消えるんだろうな
Re: (スコア:0)
デジタル時計に置き換わるんですね！
Photoshopにまだこの機能なかったの? (スコア:0)
次バージョンあたりでさっくり追加されてそうだが
天体観測 (スコア:0)
もう使ってるのかなぁ? 自動で出来るのが新しいのか。
オーロラ動画を撮るのに、雲を消すとか、
天体観測で雲を消すとか、邪魔な人工衛星消すとか、
逆に手前で動く、小惑星、彗星、(スペースガードか)
外惑星の衛星、太陽系外惑星を検出するとか。
Re:天体観測 (スコア:1)
雲を消すというか、大気の影響を消すのはやってます。原理は違いますが。
そのおかげでハッブル等の宇宙望遠鏡の重要度がちょっと下がった。
Re: (スコア:0)
鑑賞じゃなくて観測用のデータを改ざんするのはちょっと
まだ誰も書いていないようなので (スコア:0)
Re: (スコア:0)
技術的には可能ですよ、
フェンスみたいな網状の服とか
ガラスみたいに透明だけど周囲の光の反射で視線が遮られるような服なら
Re: (スコア:0)
網タイツが素足になってしまう技術だと！？許しがたいな！
（実際はカメラからの距離も移動もほぼ一体だから補正されないだろうが）
魔法の鏡号がスケスケ号になってしまう可能性は・・・
Re: (スコア:0)
この技術を使うとバリアとかATフィールドとかを貫通してレーザー攻撃を当てられますか?
Re: (スコア:0)
コントラストを強調したら透ける
Re: (スコア:0)
着衣のマハ「時代が追いついた！」
Re: (スコア:0)
着衣状態から服だけ取り除くと結構グロテスクだとおもう。
StreetViewとかに (スコア:0)
手前の邪魔なものをどけるボタンとかどうですか？画像はいっぱいあると思うんで。
Re: (スコア:0)
StreetView だと、自動車とか歩行者とかは消して良いな。
写ってて役に立つものではないし(自分が行くときにそこにいるわけじゃない)、
プライバシー問題もあるし。
Re: (スコア:0)
「オンライン撮り鉄!」ができなくなるじゃないですか。
タモリ倶楽部、6月26日は「ストリートビューでオンライン撮り鉄!」 [raillab.jp]
程々に娯楽残してやらないと、奴らまた列車止めるよ。
Re: (スコア:0)
「真っ暗だぞ？」
「手前のものは全部どけたので、宇宙背景放射しか見えないんですよ」
「やりすぎだ、ちゃんと直せ」
「地平線しかないぞ？」
「ええ、ここの地形は平野ですから」
「直せよ」
「なんで通行人の顔が分かるんだ？」
「モザイクって邪魔なものですよね？」
「もうええわ」
心霊まで消すなよ！ (スコア:0)
商売あがったりだ！