パスワードを忘れた? アカウント作成
16673341 story
YouTube

YouTube、AIによる吹替サービス提供計画 29

ストーリー by headless
吹替 部門より
YouTube では Google の実験的プロジェクト Area 120 の Aloud によるサービスを用い、クリエイターに AI 吹替機能を提供する計画を進めているそうだ (The Verge の記事Ghacks の記事)。

Aloud の AI 吹替はクリエイターがアップロードした動画をAloudが文字起こしし、クリエイターによる文字起こしの確認・修正の後、翻訳した音声による吹替が行われるというものだ。文字起こし確認作業が入るので、YouTubeの自動字幕生成で時々みられるようなまったく意味不明な内容になることは避けられそうだ。

現在のところ英語の音声をスペイン語またはポルトガル語にのみ翻訳可能とのことだが、1 年以上前に Aloud が YouTube で公開したプロモーション動画ではインドネシア語やヒンディー語の吹替音声も含まれている。YouTube では既に数百人のクリエイターと AI 吹替のテストを行っており、2024 年にはクリエイターと似た声による吹替やリップシンク機能も追加する計画とのことだ。


サービスを利用してスペイン語音声を追加した動画

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 吹き替えをほしがるのは視聴者であってクリエイターではないと思うんだ。

    AI翻訳吹き替え機能を視聴者に提供するためには、文字起こしの精度が必要だけどそれが難しいからクリエイター自身に修正させる、という内容に見える。

    実際には修正した内容自体もフィードバックして自動翻訳機能を高めるのに使われるだろうし、むしろクリエイターは無償で協力させられる立場なんじゃないか。

    --
    しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
    • by Anonymous Coward

      意図しない翻訳されるよりかは幾分自分でコントロールできる分だけマシかな。

    • by Anonymous Coward

      吹き替えにより視聴者が増えればクリエーター側も喜ぶのでは?

      #ま、一番喜ぶのはプラットフォーム側だろうけど(笑)

  • by Anonymous Coward on 2023年06月25日 15時43分 (#4484061)

    そっちを先に解決するべきでは

    • by hinatan (24342) on 2023年06月25日 16時47分 (#4484077) 日記

      災害動画中で interesting が 面白いと訳されてて、コメで怒ってた人が何人もいた。

      その点 すらどは、 funny と interesting を分けてて偉いね。

      親コメント
    • by Anonymous Coward on 2023年06月25日 16時49分 (#4484080)

      そもそも手動の字幕も適当だった。

      NHKがウクライナ避難民の声を「勝利を願う」→「平和を願う」に改変
      https://yro.srad.jp/story/22/04/18/1841249/ [yro.srad.jp]
      > 女性は直訳では「私たちの勝利を願います。勝利を。ウクライナに栄光あれ」と話していたのに対し、NHKの字幕は「今は大変だけど平和になるように祈っている」といったものに改変されていたという。

      親コメント
    • by Anonymous Coward

      8割くらいの字幕精度を向上させるよりも、0を3割にする仕事の方が面白いんだよ。

      • by Anonymous Coward

        8割ねぇ。
        もともと字幕が付いてる動画の自動翻訳ならそのぐらいあるかもだが、文字起こし&自動翻訳だと5割以下な感触。

    • by Anonymous Coward

      日本語だと翻訳も自動文字起こしも適当の極みだが、英語字幕は信用できる。精度高い。
      聞きとれなかったり知らなくて綴りも分からない単語を調べるのには便利。
      コピペできないという欠点はあるけど。

      日本語でダメなのは同音多義語が多く文脈依存性が高い上辞書に載ってない言葉まで出て来るってあたりの理由なのかしらね。
      AIが出てきたところでそうすぐには何とかなる気がしない。

      • そうですか。空耳アワーの字幕と同じで、見ると何言ってるのかわからなくなるので字幕を消すぐらいのときもありますよ。あと、動画は既に非公開になっていますが、過去記事 [idle.srad.jp]にあるToyota Miraiのキャンペーン動画ではマイケル・J・フォックスとクリストファー・ロイドの会話がオランダ語と誤認識 [srad.jp]されてでたらめな字幕が表示されていました。
        親コメント
      • by Anonymous Coward

        適当なら問題ないですね

        • by Anonymous Coward

          [スーパー大辞林 (三省堂)]
          てきとう―たう 0 【適当】
          (名形動)スル文 ナリ
          ②  その場を何とかつくろう程度であること。いい加減なこと。また,そのさま。「―にはぐらかす」「―なことを言う」

          • by Anonymous Coward
            それを分かった上で、「同音多義語が多く文脈依存性が高い」という例が、当のコメントのタイトルに使われているという示唆
            もちろんこの場合、どちらの意味でも表記は変わらないので字幕にする分には問題ないが、意味を取ろうとすると前後の文脈を考慮する必要がある
            ということを踏まえた単なる軽口なんじゃないかな
      • by Anonymous Coward

        glaspでyoutubeの文字起こしして貰ってますけど、日本語だとなんとか実用に耐えるレベル。
        事前知識のない分野だと脳ミソで補正出来ないかも。
        とりあえず英語でも日本語でもコピペは出来る。

      • by Anonymous Coward

        構文的な問題が大きいと思う。
        英文だと動詞が先に出てくるけど、日本語は最後。
        会話でイメージさせる物の順番が違うから日本語に変換するのがとにかく難しい。

    • by Anonymous Coward

      そうはいっても音声がまっとうな公用語しかないわけじゃないからねぇ

      あちょんぶりけ
      これを各国語で意味が通るように訳せるか
      みたいな

      • by Anonymous Coward

        あちょんぶりけ
        これを各国語で意味が通るように訳せるか
        みたいな

        日本語訳は「アッチョンブリケ」ですね。

    • by Anonymous Coward

      今のYouTube動画程度なら「ヤバいw」と「マジ?」を適当に入れただけで成立しそう。

    • by Anonymous Coward

      基本字幕しか見てないマン(字幕XMLだけ取り寄せて読む)としては、こっちを優先してほしい

  • by Anonymous Coward on 2023年06月25日 16時33分 (#4484070)

    Aloud の AI 吹替はクリエイターがアップロードした動画をAloudが文字起こしし、クリエイターによる文字起こしの確認・修正の後、翻訳した音声による吹替が行われるというものだ。

    吹き替え音声もAIがやるようになるに10ペリカ。
    吹き替え音声には声優の学習データが使われ、声優はその使用料を貰う形になる。
    やがて声優の学習データすら不要になる未来。

    • by headless (41064) on 2023年06月25日 16時40分 (#4484073)
      吹替音声は当然AIのつもりで書きましたが、そう読めませんか。
      親コメント
      • by Anonymous Coward

        横からだけど最初に元を読んだときにはなぜかゆくゆくはAI音声で吹き替えるっていう印象を受けた。
        読みなおしたら最初からAIっていう意味だね、なんでか妙にそう見えない。

  • by Anonymous Coward on 2023年06月25日 19時37分 (#4484117)

    できらぁ!!(※個人の願望です)

  • by Anonymous Coward on 2023年06月26日 2時54分 (#4484185)

    AI吹き替えって
    Windowsについてるような
    テキスト読み上げ機能よりも自然なの?

    • by Anonymous Coward

      Windowsについてるようなテキスト読み上げ機能は知らないけど、
      早朝のニュース番組とか見ると時々AI読み上げニュースとかに遭遇しますよ

      自然かどうかは人それぞれの感じ方だから、ここから先は自分で確かめてみてくれ!

    • by Anonymous Coward

      今回のがどこまでやるかわかりませんが、話者の特徴を学習して本人そっくりな吹替も可能になりつつあります。

typodupeerror

ハッカーとクラッカーの違い。大してないと思います -- あるアレゲ

読み込み中...