「 Microsoft、一般的なカメラにKinect的な機能を持たせる技術や映像加工技術を公開」記事へのコメント

つまり

[Anonymous Coward]

Kinectって要らない子？

Kinectと一般的なカメラは構造がずいぶん違う

[hirano (13505)]

Kinectの動作原理を「Kinect for Windowsで機器を作るヒント」 [kumikomi.net]で
見たかぎりでは、一般的なカメラとはずいぶん作りが違いますよね。（赤外線プロジェクタなど）
Kinect機能の、ごく一部だけを一般的なカメラに持たせたいという計画でしょう。

Re:

[Anonymous Coward]

リンク先は、旧Kinectの話のようですね。
タレコミ側のリンクにある動画では、相当カメラに接近しても深度を認識しているようなので、今回のは新Kinectで採用されている方式をベースにした研究だと思われます。

Re:Kinectと一般的なカメラは構造がずいぶん違う

[Anonymous Coward]

タレコミや他所の取り上げられ方を見ていると誤解があるようなので，KINECTとの比較も含めて大雑把に解説しておきます．

"Learning to Be a Depth Camera for Close-Range Human Capture and Interaction"
http://dl.acm.org/ft_gateway.cfm?id=2601223&ftid=1488894&dwn=1... [acm.org]

[KINECT]
　プロジェクタから投影されたパターンをカメラで見ると，奥行きによってパターンの位置が左右に動くので，それを使って３D計測する方式．原理としては三角測量．

[KINECT2]
　光源から投影された光が対象物体に当たってからカメラに返ってくるまでの時間（に相当する数値）を信号処理的に計算する．Time-of-Flight (ToF)と呼ばれる原理．

[今回のSIGGRAPH論文]
　光の入射方向に対して計測面が垂直に近いと明るく見えて，角度がつくと暗くなるので，それを使って表面の傾きを推定→うまいこと計算して3D形状を推定．原理としてはShape-from-Shading(SfS)という古典的手法に近い．ちなみに，一般的にSfS手法は撮影環境と対象（素材なども含めて）をかなり限定しないと全然うまくいかない．

今回の方法では「顔および手だけを対象にして，機械学習を使うことでSfS的な原理でも顔および手の奥行き情報をかなり良い精度で推定できた」というあたりがポイントで，根底の思想としては顔とか手の3Dモデルを画像にフィッティングすることに近い考え方です．ですから，この方式は汎用的な3Dカメラとして使えるわけではありません．また，ちゃんと顔や手を撮影してもかなり近い距離でしかうまくいかないはずです．しかし，問題設定としてPCなどのジェスチャ認識カメラとしては非常に現実的なアプローチだと思います．

Re:Kinectと一般的なカメラは構造がずいぶん違う

[Anonymous Coward]

ちょっと訂正．SfSではなくて，距離による光の減衰を使っているようです．
↓こちらに日本語で詳しく解説されています．

http://www.neo-tech-lab.co.uk/InfraredDepth/ [neo-tech-lab.co.uk]
（リンク先，埋め込み動画でBGMの音が出るので要注意）

Re:Kinectと一般的なカメラは構造がずいぶん違う

[junhirax.net (7556)]

　そうですね。論文にもShape-from-Shading(SfS)に関する記述はありますが、今回の光学系がカメラ部を中心にして対称系にIR照明が配置されていることから法線ベクトル推定するには不自然な系でしょう（端的に言えば、照明部とカメラ部が一致していたら、そして、対象物が完全なLambert面なら、そもそも法線ベクトルを輝度から推定できる？というわけで）。 http://research.microsoft.com/pubs/220845/depth4free_SIGGRAPH.pdf [microsoft.com]