パスワードを忘れた? アカウント作成
257541 story
ソフトウェア

初音ミクとおしゃべりできる音声インタラクション構築ツールキット 19

ストーリー by kazekiri
ますます三次元から... 部門より

akiraani 曰く

まずはこの動画を見て欲しい:【MMDAgent】初音ミクとおしゃべりできるソフトをつくってみた(はてなブックマーク)。コイツが何かと言いますと、名古屋工業大学開発による音声認識ソフトで音声入力した命令に従って、3DモデリングされたCGのキャラクターがアクションをとる音声対話システムのソフトウェアツールキットです。

メインになるのは名工大の独自研究である音声認識システムだが、どうやらこの部分も含めてオープンソースで公開されるらしい。音声合成の方はしゃべりがメインなのでVOCALOIDではなくオープンソースの音声合成システムOpen JTalkを使っているとのこと。これも音響データを入れ替えることでいろんな声でしゃべれる模様。

そして特筆すべきなのは、3DモデリングされたCGのキャラクターにMikuMikuDanceのモデルを使えると言うこと。どうも説明を聞く限り、リアクションにMMDのモーションデータも組み込めるようだ。動画内で使用されている初音ミクのモデルは、実はMikuMikuDance同梱のモデルではなく、ユーザーが作成して一般公開しているモデルだったりします。リップシンク(音声に合わせた口パク)もできるようなので、これもおそらくMikuMikuDanceにVOCALOID用のスクリプト(vsq)を使ったリップシンクシステムを応用してるんだと思われます。MMDはユーザーモデルが山ほど公開されているので、現時点で相当なバリエーションが期待できます。

CEATEC JAPAN 2010(名工大ブースはこちら)で正式発表されるとのことなので、これはちょっと面白いことになりそうだ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 補足情報とか (スコア:5, 参考になる)

    by akiraani (24305) on 2010年09月23日 17時38分 (#1829445) 日記

    たれ込み文を書いた段階では共同通信むけのリリースとニコニコ動画にしか記事がありませんでしたが、ITmediaが素早く反応して記事にしてます。

    初音ミク、エージェントになる?――名工大「MMDAgent」がもたらす未来 [itmedia.co.jp]

    たれ込み文は動画を数回見返しただけの状態で書いたので(編集者の方にある程度直してもらってますが)はけっこういい加減なこと書いてます。ITmediaさんはちゃんと取材した上で記事にしてるので、詳しくはこの記事を参照してください。

  • MikuMikuDanceに詳しくない/知らない人にはよくわからないと思うので、MMDを使って出来ることを簡単に解説します。

    MikuMikuDanceはストーリーリンク先の動画にあるように、初音ミクを躍らせることが出来るツールですが、厳密には3DモデリングされたCGオブジェクトを自在に動かすことの出来るツールで、躍る以外の行動もモーションに起こすことが出来ます。
    また、表情もかなり自在に変えることが出来ます。この動画 [hatena.ne.jp]を見てもらえれば、どのくらいの精度で動かせるのかがわかると思います。

    ユーザーモデルを作成するツールもあるので、モデルも数多く作られて、また公開されてます。ニコニコ動画中心なのでどうしても萌えキャラに偏りますが、中には上様 [hatena.ne.jp]や髭のドワーフ [hatena.ne.jp]、邪神 [hatena.ne.jp]なんてのもあります。

    ちなみに、動かせるのは人間の形をしたモデルだけではなく、 [hatena.ne.jp]や飛行機 [hatena.ne.jp]を動かしたりもできますし、その気になれば変形させることも可能 [hatena.ne.jp]です。

    重要なのは、これらの多彩なモデルの多くが無償公開されているということです。ダンスのモーションデータも数多く公開されていて、素材として利用可能です。

    MMDAgentでこれらのMMDのモデルとモーションデータが流用できるということは、音声対話システムのアバターとしてはむしろオーバースペックなくらいですね。

  • by Anonymous Coward on 2010年09月23日 16時08分 (#1829396)
    タレコミでは、

    音声認識システムは名工大の独自開発

    となっていますが、それは正しくありません。動画中でも触れられていますが、音声認識システムモジュールはJuliusというもので、詳しくはホームページ [osdn.jp]をご覧いただければわかりますが、現在の開発主体が名工大ということです。

    また、音声合成エンジンはOpen JTalk [nitech.ac.jp]によるもので、自由に合成結果を出力できるデモページ [nitech.ac.jp]があります。動画を見ると、合成音声にこれに人間らしい「表情」をつけるために、HMM-based Speech Synthesis System; HTS [nitech.ac.jp]を仕様しているようです。

    ですので、今回のポイントは、MikuMikuDanceの3Dモデルが音声を認識し、自在にしゃべることができるという点だと、思います。

  • MikuMikuEffectといい、外部ツールもすごいですねぇ
    極北Pのboxelでのスクリプティングもすごかった...

    機能的にplugin/hookとか難しいでしょうけど、Python バインディングとかあるといいのになー(無茶振り

    --
    M-FalconSky (暑いか寒い)
    • Re:MME (スコア:2, 興味深い)

      by akiraani (24305) on 2010年09月23日 0時02分 (#1829072) 日記

      東方カス子モデルの大量追加、物理演算値固定研究、MME、パーティクルクリエイターバージョンアップときてこれですよ。
      MMD杯終わって落ち着いたかと思ったらここにきてなにやらブレイクスルー連発で言葉もないです。
      いったいどこまで進んでいくんだろう……。

      親コメント
  • by ksiroi (24990) on 2010年09月23日 16時05分 (#1829394) 日記

    音声認識が肝のはずなのに何ゆえ初音ミクなのか、と最初に疑問に浮かんだw
    MMDを使うことで汎用性を持たせようとしたのだろうなぁ。

    何か新しいものを作った、というより既知の技術の集大成としてこんなことできますよ、
    ってアピールと受け取っていいんかしら。
    そうでないなら音声認識をもっと前面に出してもらいたいものだけどもw

    // そんなことより何故鏡音リンじゃないのかと!!!(:>^

    • 一般(?)へのアピールとして「この技術使ったらこんなことできるんだぜ!すげーだろ!インパクトあるだろ!」って言ってるのでしょう。
      純粋に音声認識機能だけを出しても、音声認識の専門家以外には「すごいけど、それで?」って反応しか得られないでしょうから、そういう意味ではこういったアピールも重要です。

      けれど、じゃあなんでその題材を選んだかというと(MMDの使いやすさ、コミュニティの活発さなどの要因もあるでしょうが)一番の理由はやはり「やりたかったから」でしょう。

      --
      1を聞いて0を知れ!
      親コメント
    • by Anonymous Coward

      ミク使うのは権利の壁だな。

    • by Anonymous Coward

      うすうす気づいているでしょ?
      メイちゃんだけじゃダメなんです
      ミクを堂々と動かしたかっただけなんです!
      音声認識なんて飾りなんですよw

  • by Anonymous Coward on 2010年09月23日 15時36分 (#1829369)
    で、PSP or 3DS 用ソフトが出るのはいつですか?

    #売れそうな気がするー
  • by Anonymous Coward on 2010年09月23日 23時38分 (#1829547)
    これとオリエント工業製品と「俺の嫁にマッサージ」あたりを組み合わせると、今までにない高度なインタラクションを用いた性的関係を含むゲームが作れるってことですね。

    この場合、何次元?2.9くらい?
  • by Anonymous Coward on 2010年09月24日 8時06分 (#1829596)

    「耳元でささやくヘッドホン」http://www.gizmodo.jp/2010/09/post_7676.html
    「揉めるディスプレイ」http://www.gizmodo.jp/2010/09/post_7622.html
    と何やら3次元電脳嫁の開発にいそしんでいると。まあなんなんだろもっとやれ

  • by Anonymous Coward on 2010年09月25日 4時35分 (#1830098)

    日本のやつ、おじいさんと遊びにくることに、あなた中国おじいさんです、あなた達の女の人を、娘はすべて私にきれいに洗って、持って来てあなたのおじいさん私を譲って楽しいです、私はあなた達の日本のやつの花の女の子が好きで、特に年齢の少し小さい20歳以内の、大きい要らないこと、おじいさんは好きでありません.20歳以内の小さい花の女の子だけが必要です.おじいさんに遊び終わらせて、おじいさんはあめに食べます.

typodupeerror

普通のやつらの下を行け -- バッドノウハウ専門家

読み込み中...