収集できる動作と方式
受託するのはテレオペ(遠隔操作)とモーションキャプチャの2方式です。作業と、学習させる機体に合わせて選びます。
動作の種類と、合う方式
下の表は最初の判断の目安です。実際は要件定義で、機体と作業を見て決めます。
| 動作 | 具体例 | まず検討する方式 | 要件で決めること |
|---|---|---|---|
| つかむ・置く | ピック&プレース、棚入れ、仕分け | テレオペ | 対象物の種類と置き場所のばらつき |
| 組み立て・道具 | はめ合わせ、ねじ締め、工具の持ち替え | テレオペ(力覚の取れる機体) | 力覚の要否、成功の判定方法 |
| 両手の協調 | 押さえて作業、袋を開ける、両手で運ぶ | テレオペ、またはモーションキャプチャ+グローブ | 指の自由度、両手の同期 |
| 全身の動き | 歩く、かがむ、持ち上げて運ぶ、段差 | モーションキャプチャ | 機体への写し替えを誰が行うか |
| 熟練者の手つき | 職人の手仕事、現場の熟練作業 | モーションキャプチャ+グローブ | 本人の同意、利用範囲、公開の可否 |
| 失敗とやり直し | 取り落とし、位置のずれからの復帰 | テレオペ | 失敗を録る割合、不合格との区別 |
2つの方式の違い
| テレオペ(遠隔操作) | モーションキャプチャ | |
|---|---|---|
| やり方 | オペレーターが実機を操作し、その操作と機体の状態を記録する | 人の動きを、スーツやマーカー、カメラで記録する(種類は下の表) |
| 取れるデータ | 関節角度、操作の指令、カメラ映像。機体が対応していれば力覚も | 身体や手先の位置と姿勢。力覚は別のセンサーが要る |
| 強いところ | 同じ型の機体の学習にそのまま使いやすい。力加減の要る作業に向く | 実機を動かさずに、自然な動きを集めやすい |
| 弱いところ | データが機体に強く結びつき、別の機体へ流用しにくい。実機の費用がかかる | ロボットへの写し替えが別に要る。使える場所は種類によって変わる(光学式はスタジオが要る) |
方式の整理の参考: フィジカルAIのデータ収集4方式の比較(Zenn)・LeRobot Dataset v3 の説明
モーションキャプチャの種類
| 種類 | 特徴 | 費用の傾向 |
|---|---|---|
| 光学式 | マーカーをつけてカメラで記録する。位置の精度と再現性が最も高い。専用のスタジオが要る | 高い |
| 慣性式(スーツ) | スーツを着て記録する。場所を選びにくく屋外にも向く。絶対位置の精度は光学式に劣る場合がある | 中くらい |
| カメラのみ(マーカーレス) | 何も身につけず、カメラ数台から始められる。精度は条件とAIの性能による | 比較的安い |
参考: モーションキャプチャーの方式と費用の比較(ヘルテック)
ほかの方式について
手持ちの器具で録る方式(UMI など)や、人の視点で撮る一人称動画は、安く大量に集めやすい方式として知られています。現在の受託は上の2方式ですが、目的によってはそちらのほうが合うこともあります。その場合は相談の段階でお伝えします。
機体・場所・人の用意
在庫も専用の収集施設も持たず、案件ごとに要件に合わせて組みます。
機体と機材
お客様の機体をお借りするか、こちらで調達できるかを確かめてご案内します。モーションキャプチャの機材も要件に合わせて手配します。
場所
再現したい環境に合わせて、お客様の現場か、手配した場所で行います。機密のある現場では持ち出しの条件を先に決めます。
オペレーター
運営会社のサービスフィジカルAIジョブを通じて、案件ごとに募集・選任し、作業の手順を覚えてもらってから収録します。
この動作は集められるか、聞いてみてください
仕様が固まっていなくても大丈夫です。作業の内容と機体が分かれば、方式と進め方を整理してメールでお返事します。