スケッチ1枚からイラストやアニメーション、3Dモデルをリアルタイムに自動生成する実験 30
ストーリー by nagazou
3Dアバターに自分のテイストを付け加えられる感じかな 部門より
3Dアバターに自分のテイストを付け加えられる感じかな 部門より
AIによる画像生成がいろいろと話題となっているが、そんな中、pixiv/VRoidチームでソフトウェアエンジニアをしている高坂氏が、スケッチ1枚からイラストやアニメーション、3Dモデルをリアルタイムに自動生成する実験のデモを公開している。デモは簡単な手書きイラストを元に完全なアニメ調のイラストを生成するというもの(高坂さんのツイート[動画あり])。
ほかのAIによる画像生成の場合、基本一枚絵のみで、全く同一のキャラクター画像を生成することは難しいのに対して、同氏のソフトウェアでは髪の毛や表情などのパターンはある程度指定した上で、顔の輪郭や目や鼻の位置やサイズなどのニュアンス部分だけイラストから拾う仕組みのようだ。同一キャラクターの再現が比較的しやすくなっている。
tamaco 曰く、
ほかのAIによる画像生成の場合、基本一枚絵のみで、全く同一のキャラクター画像を生成することは難しいのに対して、同氏のソフトウェアでは髪の毛や表情などのパターンはある程度指定した上で、顔の輪郭や目や鼻の位置やサイズなどのニュアンス部分だけイラストから拾う仕組みのようだ。同一キャラクターの再現が比較的しやすくなっている。
tamaco 曰く、
絵柄もいろいろ使えるようになりそうでこれは期待
これは良さげ (スコア:1)
俺が学漫でバリバリ(?)描いてた時代にこれがあったら絶対使ってたなー
情報系のガッコだったし受け入れられてそうだ。
それ以上に、こんなリアルタイムにお手本というか添削してもらいながら絵を描けたら、上達スピードが全然違っただろうな。
今の若い子は良いなーこんなツールが最初からある状態で絵を学べるなんて
Re: (スコア:0)
はたしてそうだろうか?
現在のライブラリが充実したプログラミング環境しか知らないプログラマと一緒で、
大半の人はツールアシストありきでしか絵が描けなくなるような気がする。
Re:これは良さげ (スコア:2, すばらしい洞察)
それで早く、安定した品質で物を出力できるのならそれでよいのでは?
コンパイラやらアセンブラやらを使わないでソフトウェアを作るなんて現実的でないし、
ツールアシストでなるべく省力化して、別のところにリソースを割り振れるでしょ。
Re: (スコア:0)
社会的には生産性が上がるのでそれで全く問題は無いのだが、当事者にとっては面倒なことが2つある。
一つ目は総需要が生産性の向上に見合う程度に増えなければプロでやっている人が失業すること
例えばツールを使ってこれまでの100人分の成果を一人で出せるようになれば最悪99人が失業する。
(プログラマなんかの場合は生産性の向上よりプログラムの高度化など需要が増えたからあまり問題ではなかった)
二つ目は人材の育成が難しくなること
アニメ業界などで見られたが、付加価値の低い動画の仕事がAIや外注がやるようになると
付加価値の高い原画などを担当できる人が育ちにくくなる。
これまで仕事の中でスキルアップしていた内容を学校で教えるようにすればある程度解決できるが
学費が上がったり、稼げるようになるまで時間がかかったりする
Re:これは良さげ (スコア:2)
プロというよりも、同じような美少女絵を描いてFANBOX, Fantia, Patreon辺りで稼いでいたのが埋もれていきそうな予感。
Re: (スコア:0)
そう言ってるうちに、中国企業が1人でやるようになって、100人居れば100人とも失業するから問題無い。
Re: (スコア:0)
一つ目はわかるが
二つ目はそうでもないやろ
寧ろ動画やってた人がツールのアシストで原画できるようになるんじゃね?
動画見た感じ (スコア:1)
キャラメイクインタフェースのパラメーター指定の代替っぽいと思った。
Re: (スコア:0)
実態としては、まさにそれなんじゃないかな。
キャラメイクだと通常、顔の幅とか目の位置とかをパーセントで事細かく調整する。
でも、いくら繰り返してもなかなか思ったように作れない。
そこら辺のパラメータを、ポンチ絵から拾ってくれるシステムなんじゃないかと。
敷居が高すぎる (スコア:0)
この手書きイラストのレベルで絵が描けない俺には無理そうだ。
仕方ないからstable diffusionでクリック猿になってるorz
Re:敷居が高すぎる (スコア:1)
いやー、これ使いながら絵を描いたら上達するでしょ。
目の前に自分の描いた絵がちょっと修正された添削結果が出て、
それを参考に描いたらもっといい感じの絵が目の前に現れるんだから。
そして自分なりの味をある程度残すこともできるわけだ。
Re: (スコア:0)
自分なりの味を潰すだけの作業になってるじゃんそれ。
Re: (スコア:0)
元コメはそれ以前に自分の味すらないレベルのようだから問題ないような
Re: (スコア:0)
小林ゆう画伯みたいな作風がどう変換されるか興味がある。
Re: (スコア:0)
動画見ると3歳児みたいなレベルの手書きからもいい感じに作れてしまってて、
そのインプットでなぜそのアウトプットになる?ぐらいにギャップがあると添削になりそうにない。
ぶっちゃけstable diffusionのトークン選びと変わらんレベルでは。
Re: (スコア:0)
元絵にどの程度寄せるかはパラメーターで調整できるんじゃないですかね
Re: (スコア:0)
これでも不満なら二度と敷居をまたぐんじゃねえ! (敷居警察)
Re: (スコア:0)
敷居を潜るくらい大胆な間違えが流行ってほしい。
Re: (スコア:0)
間違い警察だ!
Re: (スコア:0)
「間違え」「話し」「見たいな」を用いて例文を作成せよ
Re: (スコア:0)
地上が地底人に支配されればあるいは・・・?
これはおもしろいな (スコア:0)
顔グラフィックが大量に必要なゲームに向いてそう。
これ (スコア:0)
1枚絵から作った3Dモデルをバ美肉にしてアレな動きをスクリプト化すれば、、、
虚しくなってきた。。。orz
個人的な必要姓 (スコア:0)
人物の画像ではなく、街の画像を生成するものが欲しいんだよなあ
海岸線や川、主要な街路を簡単に描画すると、
https://watabou.itch.io/medieval-fantasy-city-generator [watabou.itch.io]
こんな雰囲気の画像を生成してくれると嬉しい
広域地図もそうだけど、全てを無から作るタイプと全てのパーツを1つ1つ配置するタイプは、
既に素材がある人間には使いづらい
Re: (スコア:0)
人物の画像ではなく、街の画像を生成するものが欲しいんだよなあ
国産なら擬人化で対応できるはず(マテ
Re: (スコア:0)
学習さえさせればできそうやね
需要は少なそうだけど…趣味人以外ならゲームとかで使うぐらいか?
やってるところもありそうだけど一般に出てくるかっていうともうちょっと時間かかりそう
Re: (スコア:0)
簡単な線からではなく、写真からですが、画像を生成してくれるものはありますね。
https://www.preferred.jp/ja/news/pr20210312/ [preferred.jp]
Re: (スコア:0)
テーブルトークRPGにどっぷり浸かってた頃に
方眼紙に部屋と通路は位置すれば済むようなダンジョンはともかく
街中やフィールドの地図を手軽に作る方法がないか頭を悩ませてたのを思い出した
Re: (スコア:0)
旧街道の宿場町とかをGoogleマップで見て参考にしてたな。
平面ではなく地形を元に町ができるってのがイメージできていい訓練になった。
地形を与えると街を生成してくれるみたいなのは割とAI得意そうだから作れるかもしれんね。
オットセイと (スコア:0)
ハマグリの絵からエロ動画が生成される日も近そうですな。