パスワードを忘れた? アカウント作成
21575636 story
仮想化

NTT、デジタル分身を低コストで生成するための技術開発 17

ストーリー by nagazou
仮想人間 部門より

NTTは17日、少量のデータから個人の発話を再現する「個人性再現対話技術」と、個人の声色を反映した音声を合成できる「Zero/Few-shot音声合成技術」を開発したと発表した。これらの技術は、多様性を理解する情報処理技術の研究開発を進める中で生まれたもので、2024年3月に商用提供される予定の独自の大規模言語モデル(LLM)「tsuzumi」にも活用されるという(ASCII.jp)。

今回、新たに発表された技術は、「万人がデジタル分身を持てる世界」の実現に向けたもので、少量の学習データで本人らしい発話内容と音声を生成する技術を特徴としている。個人性再現対話技術では、ベースモデルのパラメータを変えずに新たなデータで追加学習を行う「アダプター技術」と、指定したペルソナに合った発話を生成する「ペルソナ対話技術」を組み合わせて実現。Zero/Few-shot音声合成技術では、数分~10分程度の音声から、再現度の高い声(声色・話し方)を合成する技術になるという。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2024年01月20日 7時25分 (#4596329)

    数分~10分程度の音声から、再現度の高い声

    これをコナン君で例えると、毛利小五郎の声をあらかじめ10分程度録音しておけば、蝶ネクタイで滑らかに喋れるって話ね。

    ただ、MicrosoftがやってるVALL-Eや、そこからフォークしたVALL-E Xだと、ゼロショット学習で必要な(毛利小五郎の)声は5秒と謳われている。
    デモページがあるんだけど、
    https://plachtaa.github.io/#japanese-cross-lingual [github.io]

    一番下の(おそらく)日本のギャルゲから抜き出したの3~4秒の音声から合成音を作ってるデモが特に衝撃的だった。

    • だいたいこういうの、下地のモデルがどれだけ自然かが出てる面が強くて、その数秒で似せられる範囲までしか似ないですよ。当たり前だけど。

      親コメント
    • by Anonymous Coward

      無許可で使っているであろうエロゲの抽出音声(キャラ名言ってるので作品もわかる)は日常シーンだけど、濡れ場でどうなるか気になる

      • by Anonymous Coward

        無許可で使っているであろうエロゲの抽出音声(キャラ名言ってるので作品もわかる)は日常シーンだけど、濡れ場でどうなるか気になる

        別に一発作成しなくちゃいけないわけでなし
        濡れ場音声学習させてから好みの音声化してやればいいだけなんじゃないかな

        # まぁ濡れ場のシーンや盛り上がり度を動的に1フレ遅延以内で合わせるにはまだスペック足りんのだろうけれど

  • by Anonymous Coward on 2024年01月20日 7時25分 (#4596328)

    悪用のしがいのありそうな技術だなあ。
    本人の声でオレオレ詐欺が起きるのも時間の問題ってことか?

    • by Anonymous Coward

      必要性や目指す先の利点がピンとこないな
      ドッペルゲンガー欲しいか?

      • by Anonymous Coward

        花粉症なのでアバター使いますとか、声帯取ったのでとか

      • by Anonymous Coward

        本人じゃなくても、コピーでもいいから来て欲しいってケースは結構無くない?

      • by Anonymous Coward

        100文字の音声メッセージを300バイトくらいで表現出来るとか?
        なんとかtuberの音声部分を高圧縮出来るだけでも、土管屋側は有り難いのではないだろうか。

      • by Anonymous Coward

        そりゃ、自分の代わりに会合に出て議事を要約して報告してくれるAIが出来れば便利だとは思うよ。
        すぐに言いくるめられて安請け合いする今の生成AIだと恐ろしくてとてもできないけどね。

        • by Anonymous Coward

          予算も時間も人も足りない仕事を営業が契約してくるのがAIになっただけで何も変わってないような

    • by Anonymous Coward

      分身に嫁を寝取られるサービスをNTRがリリースさするのですね

typodupeerror

クラックを法規制強化で止められると思ってる奴は頭がおかしい -- あるアレゲ人

読み込み中...