MFT2018向けダーツスキル解析(2)

前回(数時間前)までのあらすじ

• ダーツスキル解析のために、どういうデータをどのように撮っているかについて説明。
• データをプロットしてみて、正規化が必要と確認。
• データの正規化を施して、データの特徴が見やすくなったことを確認
  • 初投稿時からちょこちょこ追記
• ラーメン食べてきました。

今回

• Deep Neural Networkへの入力にするため、各データの二次元の時空間マップに変換します。

時空間マップ

• その名の通り、１つの軸が時間で、もうひとつの軸が空間的なデータになっているもの。
  • 空間といっても、今回は指の曲げ度合、指圧、関節の位置など、ばらばらですが・・・。
• 前回までの進捗で、各データがすべて0〜１ないしは-1~1に揃えたので、すでにマップにしやすい状態になっています。
• 曲げ度合と指圧で１つのマップ、関節の位置で１つのマップという風にして、２つのマップを作りました。
  • そしてseabornを使って綺麗に描画します。

元データ

• 前回の投稿で扱ったデータと同じく、以下の動画の水準

指データの時空間マップ

関節データの時空間マップ

Deep Neural Networkにどう入力したいか

• イメージとしては、指と体の動きのデータから、ダーツスコアを推定する問題となる。 -いわゆるマルチモーダルっぽい雰囲気のネットワーク。
• まず指の動き・圧力だけからスコアを推定するDNN①を訓練する
• 次に体の関節位置だけからスコアを推定するDNN②を訓練する。
• DNN①と②を統合するDNN③を作る。

次のステップ

• DNNモデル設計して、データ突っ込んで訓練して結果を見る。

備考

• 説明がどんどん雑になっていきます。すみません。
• 時間がないので焦ってます。