和音を分解、いじれちゃう Direct Note Access 44
ストーリー by mhatta
うーむこれはすごい 部門より
うーむこれはすごい 部門より
YOUsuke 曰く、
マイコミジャーナル、独Celemony、和音を自由に編集できる新技術「Direct Note Access」を発表より。独Celemonyが新技術「Direct Note Access」を発表した。言葉で説明するよりもリンク先のムービーを見ていただく方が早いだろう。和音を含む音源を単音に分解し、音ごとにピッチ・タイミングなどを編集できる。また一括してコードを変更するような編集も可能なようだ。タレコみ人はDTMは門外漢だが和音を分解できるというのは高度な技術であると思う。DTM界隈の反応を見るとループ音源の使い道、録音後の編集の幅が大きく広がるといったことに感嘆の声が挙がっている。分解できる音源の条件はまだわからないがこの技術、DTMに大きなインパクトを与えそうである。あと開発者がひげもじゃでプリチーだ。
和音解析の方が和音分解よりも高度ではないか (スコア:1, 興味深い)
スペクトルの複数のピークをまとめて和音として認識する方が技術的に高度だと思う。
今までのソフトの方が高度なことをしていて、その認識する一歩前の段階まで戻しただけではないのだろうか？
だけ？？ (スコア:5, 参考になる)
あのね、いままで単音で録音された歌とか、バイオリンとかベースとかのピッチを修正するソフトはあったんだけど、
（ここ10年くらいでものすごく一般的になって、音楽の作り方を変えた。最初はAUTOTUNEていうソフト。）
和音になってるものの内声をバラバラに分解して、好きなようにいじれるソフトっていうのはこれが最初で、
ものすごく画期的なのね。いままでのソフトの方が全く高度、の正反対ですよ。
単音で録音された音の基音を探すのはそんなに難しいことではないけれども、
2つの音が混じってるとして、音Ａと音Ｂの倍音が混じり合ってたら、各倍音がどちらの基音に属するかっていうのを
判断しなきゃいけないからはるかに難しいよ。もう無くなってる情報を再現するんだから。
作者がメッセでデモしてるビデオだが、最初に和音が分解された瞬間に拍手喝采が起きるんだけども、
コンピューターを使って音楽を作ることを知ってる人なら誰でも、拍手喝采しちゃうと思う。
http://www.sonicstate.com/news/shownews.cfm?newsid=6281
Re:だけ？？ (スコア:3, 興味深い)
音色の分析がちゃんと出来ていないと、違和感なくピッチを変えたり、部分的に取り除いて消したり時間をずらしたりなんて、出来る訳がないんですから。
音程を和音込みで解析するだけなら採譜の達人 [dti.ne.jp]というソフト等がありましたが、それともそれともまた違う凄すぎる技術です。
ここまで不可能が可能になると、いつか既にミキシングが終わったソースすらバラせる様になるのかも。
今でもフィルターなどである程度分離できますし、すでに使われている技法ですが、
単音では微妙でもミキシングして全く違和感が無い程度にまでバラせる様になったら、もっと世界が変わるだろうし。
=-=-= The Inelegance（無粋な人） =-=-=
Re:だけ？？ (スコア:2, 興味深い)
ね、ほんと。けど、新しいメロダイン、デモ見てるとひげもじゃのおっさん、ミュートもできるって
言ってますよ、、ひょっとするとピッチが拾えるサンプルなら単音にバラせるかもよ。
（実際全部の基音が拾えてバラバラにピッチ変えられるんだったら、バラせるってことな気がする。）
しかしデモはどう見ても、うまく選んだサンプルに対してやってる気がするので、
はやく自分でいろんなもんいれてみたいです。秋出荷のようですが。
>今でもフィルターなどである程度分離できますし、すでに使われている技法ですが、
それは、とある特定の周波数を抜くっていうだけですから、やっぱり圧倒的に違いますよね。
>単音では微妙でもミキシングして全く違和感が無い程度にまでバラせる様になったら、もっと世界が変わるだろうし。
ほんと。サンプリングの概念が変わるね。昔の曲の再利用がもっともっと簡単になる。
#そしてまた著作権どうしよう問題が・・。
Re:だけ？？ (スコア:1)
和音の分解だけならば、こういうのはあります。使ったことないのですが。
http://www.forest.impress.co.jp/article/2007/02/23/wavetone.html [impress.co.jp]
これは単純に、FFTをかけて、基音を探しているように見えますね。（もちろんノウハウはいろいろありそう）
おっしゃるように、混合している倍音を分離するのは難しそうですから、そこは画期的ですね。
Re:だけ？？ (スコア:4, 興味深い)
でもこれ、単純にＦＦＴ(スペクトログラム）の周波数表示をノートにしてるっていうだけのものですね。
そのソフトを使っても実際にノートを探して分解するは人間で、その探すアルゴリズムが難しいのです。
（そもそもそんなソフトがあるくらいですから、人間がやっても難しいのです。）
どうもＦＦＴで和音を周波数成分に分解することと、和音を一つ一つの楽音に分解することを混同してらっしゃる
方が多いようですが、この２つは全く別物です。
たとえば、440ｈｚ (ピアノの真ん中のラ)をギターの一番上の弦で弾いたとするでしょう、
まず音のアタックは440hz整数倍じゃないやつがいっぱい入ります。これは後ろの形から類推するか、多分無視します。
そしてピッチの間隔を生む持続音部分＝サスティンには440hzの整数倍がいっぱい入ります。
一本だけならまだ事は簡単です。440hzと880hzと1760hzと、多分1120hzと2240hzと、それらの全部の倍音が
周辺で揺れてるのを見れば、基音が440hz付近だ、っていうのはわりと簡単に見つけることができるでしょうよ。
じゃあ、一番上の弦がラで、一番下の弦がその2オクターブ上のラ、1760hz、の2本の場合を
考えてみて下さい。上に書いた周波数と、さらに1760hzからもう一度整数倍音がたくさんですよ。
さらにギターという楽器は基音よりもオクターブ上の倍音のほうが強いとか、いろんなパラメーターがあります。
各倍音の並びとそれぞれの音量がどうなっているのか判断しないことには、この2本でさえ分離できないのです。
ましてやこれが普通5、6本有るわけですよ、全部ああいうふうに分離するのは並大抵のもんじゃないのです。
ひげもじゃで英語がなまってないとできない芸当です。
（ところで倍音については、ピッチの感覚に影響のあまりない、ある程度の周波数から上（8Khz以上とか)は
無視していると予想します。そのへんから上はほとんどノイズですし、
各成分の位相の関係でどういじってもものすぐ機械的になります。たぶん触らないほうがきれいな音になります。
発売されて試せば分かると思いますが、暗いコードで弾いたギターを明るくしても、きっと少し暗さが残ると予想しますです。
とにかく面白そう、期待してます。）
Re:だけ？？ (スコア:1)
でも実際の話、例にあるように、ギターをオクターブで鳴らした場合、2音に分解することって可能なのでしょうか？
「ギターの音はこういうものだ」と知っていないと、不可能な気がするのですが。
単音で鳴っている（であろう）部分の波形から外挿・類推するのかな。それならありえるか… 誤認識もしそうですが。
Re:だけ？？ (スコア:1)
もしアコースティックギターだと指定しされていれば、よほどひどい録音でないかぎり
倍音の並びと音量がだいたい分かるので検出するのが比較的楽になるでしょう。
単音のピッチ修整ソフト（ひげもじゃおっちゃんのMelodyne,先駆者のAutotune,個人的に一番お勧めのWaves Tune,
お手軽なAKAI PitchRight, 音はいちばん良いかもYAMAHA PitchFix.)なんかも、
声の音域（バリトン、テナー、ソプラノ、）とか楽器(Bass, Violin, etc.)、とか、
場合によって音色を指定しないとうまくいかないことがあります。（指定できないやつもあります。）
まあ、プロの歌手ならたいていの場合はデフォルトで検出しますし、デフォルトで検出できないような歌を直すのは
ちょー面倒でやな仕事なんですが、今後へたくそなギターのコードをたたき直すとか、そういうことしなきゃいけない
場合が出ると思うと恐ろしいです。
Re:だけ？？ (スコア:1)
>コンピューターを使って音楽を作ることを知ってる人なら誰でも、拍手喝采しちゃうと思う。
会社で思わず「おー、すげー」と声をあげてしまいました（恥
ギターフレーズとか、運指不可能なフレーズも簡単にできそうで
耳コピ泣かせなやつかも。
Re: (スコア:0)
単音源でしか使えないようなので用途はレコーディングスタジオでの
修正作業用という感じですかね。
Re:和音解析の方が和音分解よりも高度ではないか (スコア:2, 参考になる)
RolandのVP-9000から続いているフォルマント解析では、時間軸の移動や引き伸ばしについては同じか上ですが、音程に関しては一斉平行移動しか出来ませんでしたので。
どちらかというと制作寄りかと。
=-=-= The Inelegance（無粋な人） =-=-=
Re: (スコア:0)
Re: (スコア:0)
わからん人にはまるでわからんのだろうな、この手の技術は。
スラド的例え (スコア:0)
それをおもむろに重ねて見てください。おぞましい絵ができあがりました。
そして、レイヤを統合して1枚の絵に変換してしまいます。
さて、この統合画像から元々の画像を抜き出したり、あまつさえ手を加えたりすることはできるでしょうか？
# なんかビミョーじゃないくらいズレてる気もするのでもちろんAC
Re:スラド的例え (スコア:1)
プログラムだとコンパイル済みのバイナリからコメント込みでちゃんと構造的なソースが復元できます。
ただし複数の言語が混じっていたりDLLをたくさんリンクしていたら無理ですよと。
料理なら、出来上がった料理をスキャンするだけで材料と分量がわかります。
でも一食まるごと胃袋に入れてからは無理です。
＃なんかおかしくなってきた…
=-=-= The Inelegance（無粋な人） =-=-=
きっと (スコア:1)
タレコミ者はこれが言いたかっただけに違いない！！
DTMは門外漢(:>^
Re: (スコア:0)
※のでAC
Re: (スコア:0)
>タレコミ者はこれが言いたかっただけに違いない！！
つまりタレコミ者は、RMSとかDK(DanKogai)とかの事を考えるとｱｯー
Re: (スコア:0)
ユーザインタフェースが楽しそう。 (スコア:1)
# そんな需要が制作で必要かどうかはとりあえず投棄。
Re: (スコア:0)
私も同じ事を期待してしまいました。
これまでにも、音声周波数帯だけを省くとか、中央に定位する音だけを省くことでカラオケ化するソフトなどがありましたが、
どれも僅かに声が聞こえてしまったり、バスドラムなど音声と同様に中央定位な音まで霞んでしまったり…。
個人的に納得できるものが無かったので、今回のソフトにはちょっと期待しています。
> そんな需要が制作で必要かどうかはとりあえず投棄
考えようによっては、製作サイドでも需要はあると思います。
たとえば、音声を消すのではなく、逆に音声だけを残して他の音を消せると考えたらどうでしょうか。
それが可能であれば、既に亡くなられて新録できない大物歌手が残していった古いレコードから、
その歌声だけを抽出して、現在の演奏とミックスして、リバイバルブームを興すなんてことも有り得るんじゃないかと。
Re:ユーザインタフェースが楽しそう。 (スコア:1)
混ざった音楽のなかからひとつを抜く、っていうのはまた別問題です。
おっちゃんのアルゴリズムでも、混ざった音楽のなかからひとつを抜く、っていうのはまだできません。
いかにひげもじゃでもまだ無理です。
>既に亡くなられて新録できない大物歌手が残していった古いレコードから、
>その歌声だけを抽出して、現在の演奏とミックスして、リバイバルブームを興すなんてことも有り得るんじゃないかと。
これはこのソフト（Melodyne2）に関係なくすでに興っている現実だと思いますが。
Re: (スコア:0)
かなり難しく、また恐らくヒューリスティック入りまくりな
問題でしょうね。
人間は「習慣」として「ああこれは同一の楽器の音だ」と思うのだけど、
ギターの弦違いの音とか、
ピアノだって音域ごとに弦(の構造)が違うとか、
1つの楽器の中にも色々な音色変化があるので、
そのへんまで含めると、
はてどうやるんだろう？ボクにはわからないや…という感じです。
また、この問題があるせいで、
ユーザによる音色登録方式にはちょっと無理が有るんじゃないか？と想像してます。
というのは、もし登録した音色でマッチングさせるなんてことになったら、
使い物になるほどの登録「件数」をユーザにやらせるという、
すごい重労働を強いることになってしまうので、
商品として売りにくいものになってしまう。
(オープンソースで集合知だ！とかするつもりならニヤリとしますが)
Re:ユーザインタフェースが楽しそう。 (スコア:1)
>その歌声だけを抽出して、現在の演奏とミックスして、リバイバルブームを興すなんてことも有り得るんじゃないかと。
ナタリー・コールのアンフォゲッタブルとかありますね。父親（故人）のナット・キング・コールとのデュエットが話題になりました。
既存の技術でもそれなりに可能なのでしょう。
音程を分離する (スコア:1)
デモでチェットベイカーのソロをオーケストラから分離したのには驚いたけれど、他のパートに無い部分はうまく抽出されていますが、ストリングパートの音と重なった音は一緒にワンノートになっている様に見えます。
何だつまらんじゃないか、と思ったけれど、ユニゾンになったパートの音程を一まとめ（一まとめにしかならない）で編集できるので音楽的には十分有効だと思います。
Re:音程を分離する (スコア:1)
なるほどねぇ。
ミックス後のソースから抽出できるような － オーケストラの演奏からパート譜が出来るようなイメージがどうしても湧いてしまいますけど（笑）。
＃そりゃ、そんなことを心の底で期待しているから？
レコーディング時に1トラック（＝1楽器、1パート）毎に操作するって使い方なんでしょうね。
いや、でもすごいよなぁ。
目の前にあったら、まず始めにシンバルの音を突っ込んでみたい気がする;-p
Re: (スコア:0)
同時にAを弾いたとして、それを４つに分離できるって話ではないんですな。
Re: (スコア:0)
そのへんもちょっと不安要素です。
ユニゾンといっても、電子楽器(サンプラー含む)ならまだ音が物凄く整うからいいんですが、
生楽器、しかもピアノ以外の多くの「微妙にピッチがずれる」楽器においては、
ユニゾンは各楽器から出る音のデチューン(ずれ)かかりまくりの音の集合です。
そういうのも含めてきちんと期待通り取れるんだったら、もう「神」ですね。
＃Jazzっぽい曲は耳コピできないので、機械にやらせれるなら大喜びの AC
例えるなら (スコア:1)
逆（混ぜる）は簡単、てのも含めて。
----------科学は思考の柔軟剤
Re:例えるなら (スコア:1)
＃ええっ、再アニメ化するの！？
=-=-= The Inelegance（無粋な人） =-=-=
Re:例えるなら (スコア:1)
これって演奏の方だけじゃなく、 (スコア:1)
「失われた倍音成分を再生する」とか言って各社が出している奴。
ここは自由の殿堂だ。床につばを吐こうが猫を海賊呼ばわりしようが自由だ。- A.バートラム・チャンドラー 銀河辺境シリーズより
Re: (スコア:0)
Re:これって演奏の方だけじゃなく、 (スコア:1)
あっち(各社が出しているアダプタ)がオカルトかどうかは兎も角として、こっちの応用で「失われた高音域を復元」するならば、理論的裏付け付きでできるんじゃないって話なんだけど。
ここは自由の殿堂だ。床につばを吐こうが猫を海賊呼ばわりしようが自由だ。- A.バートラム・チャンドラー 銀河辺境シリーズより
きっと気のせいだよな… (スコア:0, 余計なもの)
ソニーがUSB出力付きレコードプレーヤーを発売 [srad.jp]と アナログシンセ「KORG MS-10」を再現したニンテンドーDS用ソフト発売 [srad.jp]が続いた時は単なる偶然かと思ったけど、今回のまで来るとねえ… 3/12 のところに集中してるのは謎だが。
まあ気にしない気にしない。単にむこうのサイトがアレげ化してるだけだろ(違)
# ミクブームになってから DTM マガジン買ってないので AC
Re: (スコア:0)
そんなん言ったら、impressやらIT mediaの追っかけにも見えるぜ？
DTMだって、テクノロジーの塊なんだ
/.Jerの琴線にも触れる話題があったって何もおかしかない
Re: (スコア:0)
というのは、もしリリースできないなんてなことになると、
スラドJはVaporWareの追っかけ、ということになってしまうので。
＃なんだってー？！
Re: (スコア:0)
コメントへの返信になってしまいますが、
・着メロ制作の話題で多くのページが使われるようになって購入をやめた
・映像（動画）編集の話題で盛り上がってた時期に購入をやめた
という人も多いようですね。
DTMというニッチな趣味の世界で新しい話題を探すのに、
編集部も苦労しているのでしょうなあ…。
ギターが下手な人には最強？ (スコア:0)
Re:ギターが下手な人には最強？ (スコア:1)
melodyne2でもびろろろべ～んではちょっと困ります。
沈黙の艦隊で例えると (スコア:0)
か、かずね……？ (スコア:0)
オルガンだと (スコア:0)
和音なのかレジストレーションによるものか、区別つかないかも。
オルガンのレジストレーションは倍音管の組み合わせなので（シンセも元々
この原理でしょうが）、楽譜上で単音、押しているキーもひとつという音が、
和音に聞こえる場合もあります。
逆に、名演奏家のレジストレーションのヒミツがわかるなら とてもいいかな。
フーリエではなくウェーブレットでは (スコア:0)
アイディア自体は、ウェーブレット解析を勉強した人が最初に思いつくような簡単なものだと思いますが、実際に作ろうとすると、オクターブ精度未満のウェーブレット解析の後の加工・再合成を、音楽制作に耐える品質で実現するのが難題で挫折します。今回はそこをどうにかして解決したんでしょうね。
AutoTuneとかV-Vocalで実現されているものは、解析した情報を元に音声全体のピッチを変更することで、上記の加工・再合成を回避しているものだと考えています。(よって単音しか使えない)