体操演技を3Dデータ化、「技の辞書」づくりに着手富士通、演技姿勢、関節位置を理想と照合

演技をセンサーで計測し体操選手の支援をする富士通(横浜市青葉区の日本体育大)
演技をセンサーで計測し体操選手の支援をする富士通(横浜市青葉区の日本体育大)

2020年の東京五輪・パラリンピックに向けて富士通が体操の技の「辞書」づくりに着手した。まずは「あん馬」種目について選手の演技を特殊なカメラで撮影。電子化した動きのデータを基に、どのような動作で選手の演技が構成されているかをコンピューターで把握できるようにする。選手の動きを3D(3次元)センサーでとらえて採点を支援する技術の開発の一環だ。

富士通は東京五輪での採用を目指し、体操競技の採点支援技術の開発に乗り出した。18年ごろの大会で利用できる水準にする。演技内容を把握するための技の辞書づくり、センサーと計測方法の改良、審判による採点に役立つ情報の算出手法の開発などを並行して進める。

日本体操協会の協力を得て、選手の演技の計測から始めた。7月上旬には4回目の撮影を実施。日本体育大学の横浜・健志台キャンパスで、体操部の選手の演技を「モーションキャプチャー」と呼ばれる技術を使って撮影した。

あん馬の周囲に、赤外線を発光して反射を撮影するカメラを8台配置。選手の体の主要な関節に貼り付けたシールが空間上のどこにあるのかを計測して、演技中の選手の動きを正確に把握する。このデータを技の辞書の作成に生かす。

「文字の並びから意味を解釈する技術に似ている」。富士通のスポーツ・文化イベントビジネス推進本部の伊藤健一シニアマネージャーは話す。取っ手を持った旋回、旋回しながらのあん馬上の移動、あん馬上での倒立、倒立状態での回転など、演技を構成する要素は多数ある。

文章を文節や単語に分解して前後の関係性から意味をとらえるように、動きの要素の組み合わせから技を認識できるようにする。そのために選手の演技を何度も計測し、人が個々の動きに意味をつけていく。

その関係を学習させて「要素Aを2回と要素Bを連続させた動作なので技X」といった判断ができるプログラムを開発する。あん馬に続いて「平行棒」や「鉄棒」「つり輪」などの種目でも同様に動きの計測と技の辞書作成を進める。

演技をセンサーで計測し体操選手の支援をする富士通(横浜市青葉区の日本体育大)

その技ではどんな姿勢が理想的なのかという情報も盛り込む。体操競技では「脚がまっすぐ伸びている」といった姿勢の美しさが出来栄えを左右する。技の辞書に、技のそれぞれの場面における各関節の理想的な角度の情報を持たせる。これを基に選手の実際の演技がどれだけ理想に近いかを把握できるようにする。

現在は一般的なモーションキャプチャー用のカメラを利用しているが、徐々に富士通が独自開発した3Dセンサーに切り替えていく。選手がシールを貼り付ける必要がなくなり、計測が手軽になる見通しだ。

富士通の広野充俊執行役員常務は「もともとはクルマの自動運転のためのセンサーとして開発してきた」と明かす。レーザーを発して反射光が戻ってくる時間を基に距離を測定するセンサーで、レーザーを走査させながら毎秒230万回も発光することで1秒間に30回の姿勢計測をする。

姿勢の計測結果に人の骨格モデルを当てはめて、手首や肘などの主要な関節の位置を推定する技術も開発した。8台のモーションキャプチャー用カメラで取得した情報と同水準の情報が1~2台の3Dセンサーで得られると見込んでいる。

■「リアルタイムの正確判定」東京大会で実現めざす

いかに公平に採点するか。体操やフィギュアスケートなどの採点競技に常につきまとう課題だ。しかも選手はどんどん技をレベルアップさせていく。一般の人では目で追えないほどの動きを漏らさず捉えながら、出来栄えを公平に判定するという審判の負担は大きくなるばかりだ。

選手がどんな演技をしたのかをリアルタイムで正確に可視化できれば、審判は公平に採点しやすくなる。演技が終わってから採点結果を出すまでの時間の短縮にもつながる。「国際体操連盟でこの構想を紹介したところ、出席者からの拍手喝采を浴びた」と日本体操協会の渡辺守成専務理事は話す。

富士通の田中達也社長は2015年12月にスポーツ関連事業を拡大する方針を打ち出した。東京五輪に向けてスポーツイベントの運営や競技支援などにIT(情報技術)を活用する需要が高まるとみて「15~21年度の累計売上高で2000億円を目指す」と表明した。

今夏のリオ五輪にも選手を派遣する女子バスケットボールチームでは、体育館に設置した複数台のカメラの映像を基にプレー中の選手のフォーメーションを自動的に解析・集計するシステムを利用。スポーツの競技や観戦をITが支援する場面が着実に増えている。

(竹居智久)