spotによる人の検出と追跡

Boston Dynamics社が提供しているspotのライブラリの中に入っているspot_detect_and_followを実行しました。
公式のREADMEはこちら、プログラムはこちらになっています。

簡単にプログラムを説明すると
1. spotの魚眼カメラと深度カメラで撮影
2. tensorflowで人を見つける
3. 深度カメラをもとに人への距離を計測する
4. 目的地までspotを動かす
となっています。

実際に動いている動画はこちらになります！

実行環境

(PC,Spot環境)

• spotソフトウェア – v3.3.0
• Python – 3.7.5

(pythonモジュール環境)

• bosdyn-client – 3.3.0
• bosdyn-mission – 3.3.0
• bosdyn-choreography-client – 3.3.0

（記事を書いている現在は、spotソフトウェア、pythonモジュールを4.0.1にアップデートしています。）

今後

現在は、ビブスを着用した人間を追跡できるようにしています。spotに搭載しているカメラでは下を向いているので近くの人しか検出することができません。
そこで、spotの上にraspberry piを乗せそこから撮影した画像をもとにビブスを検出しその場所まで追跡しようと考えています！

また、更新いたしますのでぜひおまちください！