パスワードを忘れた? アカウント作成
15242213 story
グラフィック

被写体の手前にあるフェンスやガラスの反射などを消し去る技術 40

ストーリー by nagazou
モザイクには使えません 部門より
台湾大学や米Googleらによる研究チームは、移動するカメラで撮影されたごく短時間の画像のキャプチャから、画像の手前に映りこんだ水滴やガラスの反射、フェンスといった障害物を除去する「Learning to See Through Obstructions」という技術を開発したそうだ。この技術では同じ被写体の角度の違う写真が複数枚あれば、機械学習を生かして障害物を取り除けるようだ(コーネル大学 arXivITmedia)。

理屈としてはフレームごとに視点がずれるよう複数枚撮影。対象物と障害物では異なる深度に位置しているこため、映り込み箇所にズレが生じる。これを利用して背景と障害物の動きの違いから両方のレイヤーを再構築するよう学習させるらしい。こうした反射面や障害物を除去する技術は、ロボットの認識技術にも応用できる模様。
  • 銀座で夜中に巨大な黒い幕を持ってる連中がいて、なんだこいつらと思ってよく見たら
    デパートのショウウインドウを撮影する人たち(おそらくショウウインドウを作る業者が自分たちの仕事を記録するため)で、ガラスへの映り込みを排除するために暗幕で反射光を抑えてたというのが実態だったのでした。

    今後はそういう「反射を抑えるための暗幕」なんてのは要らなくなるんですねえ

    ここに返信
    • 昔は車の商品写真の映り込み用の謎のパネルとかあったりしましたね。
      今はCGモデルでやっちゃうらしいですが・・・
    • by Anonymous Coward

      安直に考えると偏光フィルタを付けたら暗幕いらなくね?とか思ったり。

      今回の技術って、ステレオ音源の歌を左右ミックスするとセンターのボーカルが消える(小さくなる)のと反対の技術≒ボーカルだけ取り出すみたいなものですかね。

      • by Anonymous Coward

        安直に考えると偏光フィルタを付けたら暗幕いらなくね?とか思ったり。

        光源側が偏光してないとフィルタじゃ反射成分をキャンセルできないとおもう

  • by Anonymous Coward on 2021年03月27日 9時32分 (#4001933)

    というのがまんまそれじゃないですか
    複数の写真を重ねて反射を除去してくれます

    ここに返信
    • by Anonymous Coward on 2021年03月27日 9時52分 (#4001944)

      2015年の線形代数的に解決したものがあって、https://sites.google.com/site/obstructionfreephotography/
      今回の2020年のはCNNで解決するようにしたのでは。

      • by Anonymous Coward

        確かに、同じ画像を使ったデモビデオがあるが、6年前より今回の方がより自然な出力になってる。

        広く反射がかぶっていて、視差を利用しても元の色がどうなのか計算できないところは、
        学習したAIに「それっぽくいい感じに」塗らせましょうというという話なのか。

        • by Anonymous Coward

          人間が自然に感じるよう「それっぽくいい感じに」仕上げてしまうとしたら、監視カメラとかそういうレアケース探す用途には向かなそう。

    • by Anonymous Coward

      今回は反射だけじゃなく障害物も除去できるのが新しい?

      従来は人間が画像編集アプリをつかってやってた手法の一つですが、
      それを自動化できるというのは素人も手を出しやすくなりますね

  • by Anonymous Coward on 2021年03月27日 12時17分 (#4002016)

    謎の光を守る会が発足されるのであった

    ここに返信
    • by Anonymous Coward

      差分の有無を両方見て楽しむわけですな

  • by Anonymous Coward on 2021年03月27日 8時18分 (#4001909)

    写真中の瞳とかスプーンとかに人が写り込んで、様々なことが明るみに出てしまう事例が増えているけど、
    そのうちカメラが「一歩右によってもう一枚撮影してくだだい」とか指示して自動で消してくれるようになるんだろうか

    ここに返信
    • 逆に「瞳の反射でディープフェイクを見破る」という技術があるらしい。
      https://gigazine.net/news/20210315-deepfakes-eyes-light-reflections/ [gigazine.net]

    • by Anonymous Coward on 2021年03月27日 11時15分 (#4001982)

      今回のは対象物の距離で判別してるので、瞳とかスプーンとかに写りこんだものを除去するのとは違いますね。
      厳密には映り込んだ反射映像の内容は視差によって変化するけど、反射映像が現れる場所自体は瞳やスプーンと一緒に移動してしまうので難しいでしょう。

      スマホにも距離センサを搭載するのが流行りなので、今回のと同じ距離でのノイズ除去はもっと精度よく実現できそうではあります。

      • by Anonymous Coward

        > スマホにも距離センサを搭載するのが流行りなので、今回のと同じ距離でのノイズ除去はもっと精度よく実現できそうではあります。

        「手前のガラスに像が反射して邪魔になっている」というような場合、ToFセンサーなどを使うと、
        投射した光の一部がガラスに映った反射物の方へ行き、残りが本来写したい被写体の方に行き、となって
        2種類の反応が返ってくることになると思うのだが、それを「そのまま(反射などで)距離が異なる像が重なっている」
        と処理できるのだろうか?それともどちらか一つを正しいデータとして取り込み、他方はエラーとして処理されるのだろうか?
        あるいは処理不能として全破棄?

        よしんば正しく2つの像が重なっていると認識できたとしても、撮像素子が取り込んだ1枚絵からは、反射像と
        その向こうに透けて見える本来の撮影対象とを切り分ける手掛かりが得られないので、
        反射像の除去は不可能なのではないか?

        • by Anonymous Coward

          距離センサー単体で何とかできると言ってるわけではなく、距離センサーがあれば物体の距離が直接分かるので、同じ原理で処理する場合でももっとノイズ除去の精度が上がると言ってるわけです。

          • by Anonymous Coward

            理解していない。
            撮像素子とは別に測距センサーがあっても、それがどんなに高解像度で高精度でも、
            ガラスに反射した像が重なるようなケースでは反射を取り除く処理の助けにはならない。
            重なった像を分離するのに有用な情報がそこからは得られないからだ。

            一方、手前に金網のような障害物がある場合は、使えるだろう。

            • by Anonymous Coward

              はぁなるほど。
              一部の条件ではうまくいかないから、ダメだと。
              「手前のガラスに像が反射して邪魔になっている」というような場合を持ち出したのはあなたですが、勝手に条件限定して批判するのはどうなんでしょうね?
              元々は写真中の瞳とかスプーンとかに人が写り込んだ反射像の話なのに、中間のガラスでの反射の話を出されても困惑してしまいます。

              • by Anonymous Coward

                いやいやwww
                「手前のガラスに像が反射して邪魔になっている」ってのは、
                このストーリーで紹介しているデモにあるもので、私か持ち出してきたものではないがw

                > スマホにも距離センサを搭載するのが流行りなので、今回のと同じ距離でのノイズ除去はもっと精度よく実現できそうではあります。

                ってんで、「今回のと同じ距離でのノイズ除去」について話してたんじゃないの?

    • by Anonymous Coward

      「スマホに標準搭載のツインカメラで、映り込みを自動消去」と言うのもありじゃね。
      それで付加価値になるなら、映像素子くらい安いもの。

      • by Anonymous Coward

        今のレンズレイアウトだと、さすがに視差が小さすぎるだろ。横位置で構えたときの左右にレンズがつくような設計が主流になるかも。3Dもいけるし。

        • by Anonymous Coward

          近くのものほど視差は大きいから十分だと思うよ。
          レンズ距離が近くて手前の物の不透明度が高いと残したい被写体が見えないとなるけど、そこはAIで補完、コンテンツに応じた塗り処理をどの程度ツカエルまで作りこめるかの勝負。

    • 当然時計の針も消えるんだろうな

      • by Anonymous Coward

        デジタル時計に置き換わるんですね!

  • by Anonymous Coward on 2021年03月27日 9時43分 (#4001941)

    次バージョンあたりでさっくり追加されてそうだが

    ここに返信
  • by Anonymous Coward on 2021年03月27日 10時48分 (#4001972)

    もう使ってるのかなぁ? 自動で出来るのが新しいのか。

    オーロラ動画を撮るのに、雲を消すとか、
    天体観測で雲を消すとか、邪魔な人工衛星消すとか、

    逆に手前で動く、小惑星、彗星、(スペースガードか)
    外惑星の衛星、太陽系外惑星を検出するとか。

    ここに返信
    • by Anonymous Coward on 2021年03月27日 11時20分 (#4001984)

      雲を消すというか、大気の影響を消すのはやってます。原理は違いますが。
      そのおかげでハッブル等の宇宙望遠鏡の重要度がちょっと下がった。

    • by Anonymous Coward

      鑑賞じゃなくて観測用のデータを改ざんするのはちょっと

  • by Anonymous Coward on 2021年03月27日 12時15分 (#4002013)
    この技術を使えば服を消すことは可能ですか?
    ここに返信
    • by Anonymous Coward

      技術的には可能ですよ、
      フェンスみたいな網状の服とか
      ガラスみたいに透明だけど周囲の光の反射で視線が遮られるような服なら

      • by Anonymous Coward

        網タイツが素足になってしまう技術だと!?許しがたいな!
        (実際はカメラからの距離も移動もほぼ一体だから補正されないだろうが)

        魔法の鏡号がスケスケ号になってしまう可能性は・・・

    • by Anonymous Coward

      この技術を使うとバリアとかATフィールドとかを貫通してレーザー攻撃を当てられますか?

    • by Anonymous Coward

      コントラストを強調したら透ける

    • by Anonymous Coward

      着衣のマハ「時代が追いついた!」

    • by Anonymous Coward

      着衣状態から服だけ取り除くと結構グロテスクだとおもう。

  • by Anonymous Coward on 2021年03月27日 13時13分 (#4002041)

    手前の邪魔なものをどけるボタンとかどうですか?画像はいっぱいあると思うんで。

    ここに返信
    • by Anonymous Coward

      StreetView だと、自動車とか歩行者とかは消して良いな。
      写ってて役に立つものではないし(自分が行くときにそこにいるわけじゃない)、
      プライバシー問題もあるし。

    • by Anonymous Coward

      「真っ暗だぞ?」
      「手前のものは全部どけたので、宇宙背景放射しか見えないんですよ」
      「やりすぎだ、ちゃんと直せ」

      「地平線しかないぞ?」
      「ええ、ここの地形は平野ですから」
      「直せよ」

      「なんで通行人の顔が分かるんだ?」
      「モザイクって邪魔なものですよね?」
      「もうええわ」

  • by Anonymous Coward on 2021年03月28日 15時40分 (#4002479)

    商売あがったりだ!

    ここに返信
typodupeerror

Stableって古いって意味だっけ? -- Debian初級

読み込み中...