NTT、デジタル分身を低コストで生成するための技術開発 17
ストーリー by nagazou
仮想人間 部門より
仮想人間 部門より
NTTは17日、少量のデータから個人の発話を再現する「個人性再現対話技術」と、個人の声色を反映した音声を合成できる「Zero/Few-shot音声合成技術」を開発したと発表した。これらの技術は、多様性を理解する情報処理技術の研究開発を進める中で生まれたもので、2024年3月に商用提供される予定の独自の大規模言語モデル（LLM）「tsuzumi」にも活用されるという（ASCII.jp）。
今回、新たに発表された技術は、「万人がデジタル分身を持てる世界」の実現に向けたもので、少量の学習データで本人らしい発話内容と音声を生成する技術を特徴としている。個人性再現対話技術では、ベースモデルのパラメータを変えずに新たなデータで追加学習を行う「アダプター技術」と、指定したペルソナに合った発話を生成する「ペルソナ対話技術」を組み合わせて実現。Zero/Few-shot音声合成技術では、数分~10分程度の音声から、再現度の高い声（声色・話し方）を合成する技術になるという。
数分~10分程度の音声から、再現度の高い声 (スコア:1)
数分~10分程度の音声から、再現度の高い声
これをコナン君で例えると、毛利小五郎の声をあらかじめ10分程度録音しておけば、蝶ネクタイで滑らかに喋れるって話ね。
ただ、MicrosoftがやってるVALL-Eや、そこからフォークしたVALL-E Xだと、ゼロショット学習で必要な（毛利小五郎の）声は5秒と謳われている。
デモページがあるんだけど、
https://plachtaa.github.io/#japanese-cross-lingual [github.io]
一番下の（おそらく）日本のギャルゲから抜き出したの3～4秒の音声から合成音を作ってるデモが特に衝撃的だった。
Re:数分~10分程度の音声から、再現度の高い声 (スコア:2)
だいたいこういうの、下地のモデルがどれだけ自然かが出てる面が強くて、その数秒で似せられる範囲までしか似ないですよ。当たり前だけど。
Re: (スコア:0)
デモを聞いた上での感想がそれ？
Re:数分~10分程度の音声から、再現度の高い声 (スコア:2)
その返し、もちろん聞いた上でRVCとかと比べて切り捨ててますよって言われたらどう返すつもりなんです?
Re: (スコア:0)
質問に質問で返すなとしか。
Re:数分~10分程度の音声から、再現度の高い声 (スコア:2)
よかったですね。
Re: (スコア:0)
どこかで聞きかじった人が理解せずに再流通させているようだけど、それを言っていいのは目上の人だけだから。
そもそも質問をするのが失礼なんだって理解すべき。
最初に質問をした時点で他人の時間を自分のために使う失礼な人になったわけだから、たいていのことは我慢しなきゃならん。
回答の仕方(回答のための再質問を含む)が気に入らんとか怒り出してはいけない。
Re: (スコア:0)
無許可で使っているであろうエロゲの抽出音声（キャラ名言ってるので作品もわかる）は日常シーンだけど、濡れ場でどうなるか気になる
Re: (スコア:0)
無許可で使っているであろうエロゲの抽出音声（キャラ名言ってるので作品もわかる）は日常シーンだけど、濡れ場でどうなるか気になる
別に一発作成しなくちゃいけないわけでなし
濡れ場音声学習させてから好みの音声化してやればいいだけなんじゃないかな
# まぁ濡れ場のシーンや盛り上がり度を動的に1フレ遅延以内で合わせるにはまだスペック足りんのだろうけれど
そりゃ、いずれ誰かが実現するだろうが (スコア:0)
悪用のしがいのありそうな技術だなあ。
本人の声でオレオレ詐欺が起きるのも時間の問題ってことか?
Re: (スコア:0)
必要性や目指す先の利点がピンとこないな
ドッペルゲンガー欲しいか？
Re: (スコア:0)
花粉症なのでアバター使いますとか、声帯取ったのでとか
Re: (スコア:0)
本人じゃなくても、コピーでもいいから来て欲しいってケースは結構無くない？
Re: (スコア:0)
100文字の音声メッセージを300バイトくらいで表現出来るとか？
なんとかtuberの音声部分を高圧縮出来るだけでも、土管屋側は有り難いのではないだろうか。
Re: (スコア:0)
そりゃ、自分の代わりに会合に出て議事を要約して報告してくれるAIが出来れば便利だとは思うよ。
すぐに言いくるめられて安請け合いする今の生成AIだと恐ろしくてとてもできないけどね。
Re: (スコア:0)
予算も時間も人も足りない仕事を営業が契約してくるのがAIになっただけで何も変わってないような
Re: (スコア:0)
分身に嫁を寝取られるサービスをNTRがリリースさするのですね