機械学習を用いてリュミエール兄弟の「ラ・シオタ駅への列車の到着」を4K化する試み 26
ストーリー by headless
到着 部門より
到着 部門より
リュミエール兄弟によるサイレント映画「ラ・シオタ駅への列車の到着 (1896)」を機械学習を用いたツールでアップスケールし、さらに音声を付加した動画がYouTubeで公開された(Mashableの記事、 Ars Technicaの記事、 The Next Webの記事、 動画)。
新たに公開された動画はYouTubeで公開されている中で比較的高画質な「ラ・シオタ駅への列車の到着」の動画を元に、Topaz Gigapixel AIで4K化、DAINで60FPS化したもの。音声は列車の音や人の声が聞こえるが、手法については特に説明がない。また、この動画にDeOldifyで着色した動画も公開されている。
アップスケールした動画は元の動画でフレーム落ちしている部分など、処理がうまくできていない部分もみられるが、比較的良好な仕上がりだ。逆に着色した動画はオブジェクトの動きに伴って色が不自然に変化する。個人的には着色版の方が逆に古びた印象を受けるが、スラドの皆さんのご感想はいかがだろうか。
新たに公開された動画はYouTubeで公開されている中で比較的高画質な「ラ・シオタ駅への列車の到着」の動画を元に、Topaz Gigapixel AIで4K化、DAINで60FPS化したもの。音声は列車の音や人の声が聞こえるが、手法については特に説明がない。また、この動画にDeOldifyで着色した動画も公開されている。
アップスケールした動画は元の動画でフレーム落ちしている部分など、処理がうまくできていない部分もみられるが、比較的良好な仕上がりだ。逆に着色した動画はオブジェクトの動きに伴って色が不自然に変化する。個人的には着色版の方が逆に古びた印象を受けるが、スラドの皆さんのご感想はいかがだろうか。
処理前の動画
4K化+60FPS化+音声追加
さらに着色
自分で試せます (スコア:4, 興味深い)
「Topaz Gigapixel AI for Video Windows application beta [topazlabs.com]」をインストールして、topazlabsアカウント作成すると自分のパソコン上で動作させることができます。
GPU補助はnvidiaのみで、うちの環境はradeonのためCPU処理で実施しました。
Ryzen3 2200Gの場合、VHS3倍録画データのMPEGで30秒程度のものを変換かけたところ、１時間ちょっとぐらいの時間がかかりました。
この際、映像のみの処理で、音声は無音で変換されました。
映像自体は、まぁ、綺麗になったところはあるけれど、そもそもがVHS3倍録画なせいによるノイズによって全体的には微妙な感じでした。
うおぅ汽車が飛び込んできた (スコア:2)
Re:うおぅ汽車が飛び込んできた (スコア:3)
当時はそういう反応だったらしいですよね（笑）
しかしびっくりしました。想像をはるかに越える高画質っぽい感じぶり
古い名画をリニューアルして、さらに人間による細かな補正を加えれば
十分、再発商品として通用するんじゃないでしょうか
Re:うおぅ汽車が飛び込んできた (スコア:1)
その場合著作権的にはどういう扱いになるんだろう。
Re:うおぅ汽車が飛び込んできた (スコア:1)
ローマの休日をデジタルリマスターしたのが新たに著作権発生するくらいですからこれも発生するでしょう。
彼らは生きていた (スコア:1)
2018年のこちらの映画も忘れないで
http://kareraha.com/ [kareraha.com]
4Kフィルムスキャンした方が良さそう (スコア:1)
過去の色々な映像が高画質化しています。
それはフィルムスキャン技術が向上した為です。
そっちの方が作られた映像では無いので綺麗そう
Re: (スコア:0)
しかし音声は当時の一般人が録画したVHSの方が高音質って事例もあるとか。
アニメの納品物としてはフィルムの脇に光学で入れた音声が正式だが、
同時に収めてたテープのほうが高音質で放送時はそっち使ってたものの、
無茶苦茶嵩張る規格のテープだったもので後に破棄してしまった例が多々あるそうな。
超解像と超フレーム補間 (スコア:0)
体験会では一般人に一番評判が良い技術でアドバンテージもあったのに
日本のテレビ製造メーカは結局捨てちゃったからなぁ、本当に残念・・・
記憶色・セピア色・懐古映像。。。 (スコア:0)
こうやって補完すると、味わいも何もないね。またエフェクトかけないと。
せめて、UFOを撮影したという映像を超解像補完してみるとか。
Re:記憶色・セピア色・懐古映像。。。 (スコア:1)
大河ドラマの衣装に文句付ける人みたい
Re: (スコア:0)
オリジナルのフィルムを8kで再スキャンしたならまだしも、機械学習で引き伸ばしたのはなあ。
AI着色もそうだけど、所詮作り物でしょ
Re:記憶色・セピア色・懐古映像。。。 (スコア:1)
資料性ならともかく、「当時の感動を！」的な意味合いなら色付けやエフェクトの追加は間違ってないでしょ。
セピア色的な色付けにすることも間違ってないと思うよ。加工はあくまで編集者の意思だ。
しみ、そばかす (スコア:0)
当時のご婦人がたか、あるいはお若き女性の人も日差しの紫外線対策に、お顔にカーテン見たいな小物をつけていたのが、
印象深かった。
その素顔が気になるけど、当時の殿様はそれに対してどう行動を取っていたのだろうか?
Re:しみ、そばかす (スコア:1)
殿様？
Re: (スコア:0)
千石？
Re: (スコア:0)
上の方がた、失礼した。
「殿様」は、殿方と書いたつもりが漢字変換を気楽に使ってしまいそうなってしまっただけ。
文明の向上は、ミスを誘発させるね。
それにしても、当時の女性たちはガタイが良いね。それでいて使う文がその方面で豊かだったら、感服ものと思いたい。
#3758746より
すごい (スコア:0)
フィルムを手で回して撮影してたことによる
不安定で不規則なフレームレートを補正したってことかな？
ソフトは何を基準にして判定したんだろう
Re: (スコア:0)
フレームレートの補正はDAIN使っただけじゃないの？
明らかにコマ落ちしてる部分は保管されてないし
DAINがどういう方法でフレーム補完してるかは「DAIN frame interpolation」で
ググれば、論文もGITHUBも出てくるよ
あまり違いがわからんかった (スコア:0)
ややくっきりしてるな、ぐらい…
ソースの状態がいいから (スコア:3, すばらしい洞察)
アップスケールした動画を単体で見たら、100年前の動画をここまで綺麗にできるならすごいと思った。
でも、アップスケール前のソースを見たら、これが100年前の撮影なのかという驚きの方が大きかった。
Re: (スコア:0)
1080pでしか見てないですけど、同じ感想
Re: (スコア:0)
アニメになったりして
Re:AI使ったら (スコア:1)
いや、ここのストーリーにも、「DeOldifyで着色した動画も公開されている。」ってずばりリンクされてるじゃないですか。DeOldifyは、機械学習による、いわゆるAI色つけプログラム