検索朝刊・夕刊LIVEMyニュース日経会社情報人事ウオッチ
NIKKEI Prime

朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。

検索朝刊・夕刊LIVEMyニュース日経会社情報人事ウオッチ
NIKKEI Prime

朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。

検索朝刊・夕刊LIVEMyニュース日経会社情報人事ウオッチ
NIKKEI Prime

朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。

NIKKEI Primeについて

朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。

/

映画の主人公、顔だけ僕と入れ替わり 高速でCG作成

早稲田大学 先進理工学部 森島繁生(3)

詳しくはこちら

NIKKEI STYLE

ナショナルジオグラフィック日本版
文筆家・川端裕人氏がナショナル ジオグラフィック日本版サイトで連載中の「『研究室』に行ってみた。」は、知の最先端をゆく人物を通して、世界の不思議や課題にふれる人気コラム。今回転載するシリーズは、生きた人間の動き、とくに「顔」をCGで再現する研究がテーマです。人工知能(AI)を使ってより実物に近いコピーを生み出そうとすると、かえってまねが難しい人間らしさの価値に気づく、そんな面白さがあるようです。表情豊かに顔と向き合う師弟の姿も伝わってきます。

◇  ◇  ◇

フューチャーキャストとは、映画を見に来たお客さん自身がその映画に登場し、「自分が活躍する映画」を楽しむことができるシステムだ。

2005年に愛・地球博のパビリオンのために作られた作品『グランオデッセイ』で、はじめて実現した。来場者は待ち時間のうちに顔を三次元スキャンしてもらい、そのデータを映画の中に反映させる。博覧会が終わった後も長崎のハウステンボスに移設され、12年近くにわたって人気コンテンツとして活躍した。

デモを見せてもらったが、宇宙を舞台にした活劇で、派手な戦闘シーンや宇宙船のオペレーターなど、さまざまな役割の登場人物が登場し、それらの一つ一つに「実在の」人の顔が使われているということだった。その中に「自分」の顔があるなら、まずどこにいるか探すところから始まって楽しめそうだ。

「実は、これは1998年にやった研究がもとになっているんです。『The Fugitive(逃亡者)』という映画で、主演のハリソン・フォードと助演のトミー・リー・ジョーンズの顔を、それぞれ別の人、というか、うちの学生の顔で置きかえる実験をやって、要は観客が主人公になったり、登場人物になったりすると、こんなに面白いよっていうのを実写の映像で再現するデモをつくりました。映画の中の顔の向きをトラッキングして、その向きに合わせた学生の顔のモデルをつくって、オリジナルで言ってるのと違うセリフに合わせて口の動きを合成して、自分のオリジナルの作品をつくりましょうみたいな。それで、SIGGRAPH(シーグラフ)に論文を出したんですが、リジェクトになって返ってきました。その理由は『ハリソン・フォードの肖像権はちゃんとクリアできてるんでしょうか』でした」

SIGGRAPH(シーグラフ)とは、アメリカコンピュータ学会(ACM)の中でコンピュータグラフィックスなどを扱う分科会のことで、毎年、ロスアンゼルスを中心に開催される。「分科会」とはいえ、規模は超巨大で、CGのみならず、コンピュータゲームやメディアアートといった関連ジャンル、VRなどの新興技術をカバーし、研究発表だけでなく数々のデモが展示される。研究者にとっても、関連業界の人々にとっても、祝祭的なイベントだ。森島さんの研究室のメンバーは、SIGGRAPHをひとつの大きな研究発表の場として位置づけている。1994年の初参加以来毎年欠かさず学術的な貢献を続けてきた。1998年の研究は、技術的には大いに見るべきものがあると多くの人が納得しつつも、「ハリソン・フォード」の肖像権問題ゆえに発表できずに終わってしまった。

事態が動いたのは、世紀の境目をこえた2002年のこと。

「2005年3月に愛知で万博があるんだけど、世界の度肝を抜くような技術で何か新しいことをできないかって、広告代理店の電通の人たちから相談を受けたんです。その時にこの技術のことを話したら、観客の顔をその場でスキャンして映画に反映させられないかというんですね。でも、当時は、まだ画像作成のための計算速度だって追いつかないし、顔の位置や向きをきちんと合わせ続けるのも難しいし。それでも、彼らはすごい魅力的なビデオをつくって、コンペを通しちゃったんですよ。それで、いつの間にか僕らもやらざるを得なくなって。でも、はたして間に合うんだろうかみたいな、そういう状況で始まったんですね」

具体的にどんなふうに解決したのか。愛・地球博やその後のハウステンボスで体験した人が、ぼくの身の回りにいたので、後で聞いてみたのだが、スピーディに顔の形状をスキャンして、あっというまに自分が映画の中にいたことに一様に感動を覚えていた。森島さんが、ひとつの夢と語った通り、なにかそこには特別なことが起きているという感覚が強くあったようだ。

「当時、実現したシステムでは、カメラを7つも設置した測定装置のくぼみに顔を突っ込んでもらって、ストライプの光線を当てて、だいたい2分かけて3次元計測するんです。それで、その場で顔のCGを作るわけですが、当然、コンピュータの計算速度が追いつかないですから、いろんな工夫があって、例えば顔以外のところは全部あらかじめつくっておいたものです。だから、体のサイズは変えられないので、赤ちゃんが来ても、体の細い女の人が来ても、みんな同じガタイで出てくるっていう。ちょっとそれはもう、どうしようもない妥協点でしたけどね」

また、この時点では、表情などはやはりそれぞれの個性が反映されず、共通したものだったそうだ。森島さんに言わせるとジェネリックな(類型的な)表情。

「本当は個々人の笑い方っていうのはそれぞれあるわけだから、表情なりしゃべり方には個性があるわけですけど、そこもやっぱり妥協せざるを得なくて、それこそステレオタイプというか。笑い方にしても、それっぽい笑い方を共通にさせるんですね。具体的にやっていることというと、計測した顔の画像からその人の特徴点というのを抽出して、このシーンではどういうふうに動かすかあらかじめシナリオとして決めてあるとおりに動かすんです。しゃべるのもそうやって口を動かしたところに声優さんの声をあてています。なので、個性は本当にないんですよ。でも、ふたを開けてみたら、もうバカ受けで、自分の顔が出てくるっていうこと自体だけで喜んでもらえたんです」

自分の顔を使いつつも、かなり類型的に落とし込まれたものを見た観客は、自分なのに自分ではないような、「自分版不気味の谷」に落ち込むこともなく単純に楽しんでくれたというのが森島さんたちの認識だ。

2005年の時点で、工夫を凝らして作り上げたシステムは、その後ほぼ12年間にもわたってハウステンボスの常設展示として運用され、好評を博した。2017年1月末に運用を終えた時点で、実に6万5000回以上も上映されたという。

こうやってフューチャーキャストの幕が下りたわけだが、開発時の2005年からもう13年たっており、技術的背景がいまではまったく変わってきた。つまり画像処理はあらゆる面で進歩した。ならば、「新しいフューチャーキャスト」が構想できるのではないだろうか。

そう聞くと、森島さんはニヤリというふうな笑顔を浮かべた。

「おっしゃるとおり、何とかやりたいなっていうのがあって、いろいろ画策しているところです。本当に顔モデリングの技術は劇的に向上したので。使っていた計測装置はカメラが7台も入っていて100万円ぐらいするものでした。今から考えると、正直、オーバースペックです。その後、わざわざ3次元計測しなくても、それこそスマホで撮ったような1枚画像から3次元の顔が復元できるようになりました。USC、南カリフォルニア大学のハオ・リーさんという研究者との共同研究です。1枚の写真があれば、大勢の人の顔から、この人に予測される質感なり形状なりを再構成できるんです。おまけにすごく高速で、1秒そこそこしかかかりません」

1枚の写真から3次元の顔を復元するというのは、ぼくたちもふだんから行っていることだ。ある人の写真を見ると、なんとなくその人の顔の立体形状を想像しているし、その人が斜めを向いた写真を次に見せられても、たいていは同じ人だと判別できる。それと同じことをコンピュータができるようになり、精度も人間を上回ったということだろうか。

気づいた方もいると思うが、こういった課題は、最近勃興著しいAIの技術、いわゆる深層学習(ディープラーニング)の得意分野だ。南カリフォルニア大学が持っていた実在の人物の顔データベースを使い、正面を向いた1枚の写真と実際の立体形状などをマッチングする学習をさせて、良い結果を得た。今年(2018年)のSIGGRAPHでも論文が通り、発表できることになった。

なお、ここで使った顔のデータベースは、映画製作と密接な関係にある南カリフォルニア大学(映画学科があり多くの人材を映画界に輩出。ジョージ・ルーカスも卒業生)だけに、本格的な映画製作にも使われるライト・ステージという装置を使って計測されたものだという。

「例えば爆発シーンなど、役者がそのままいたら危ないですね。ですから、役者は安全なスタジオで演技をして、そこに爆発が起こっているようなリアルなライティング環境を再現してやるわけです。顔に任意方向からLEDで光を照射し、任意の方向から複数台のカメラで同時撮影することができる装置です。この装置を使用して実際の人物の撮影を行い、その顔のデータを研究目的として使えるようにしているんです」

ここではちゃんと書面上の契約があるようで、「ハリソン・フォードの肖像権」問題は、20年越しの解決をみたことになる。

「というわけで、こういう技術を使って、フューチャーキャストをまたやれないかというわけです。今度は、来てくださったお客さんたちの写真をどこからでもバシャバシャ撮っていって、それだけですぐに顔のCGができます。ただ、今のところ、やはりこれも形状だけで、表情までいかないんです。最初、Sayaレベルのクオリティで自動生成と言いましたけど、それは当然、その人らしい表情というのも入ってくるのですが、そこまで行っていないんですね」

もしも、今後、その人らしい表情まで簡単に再現できるようになったとすると……ちょっと別次元の怖いくらいの可能性が見えてくるような気がする。

「デジタルダブル(デジタルの双子)っていう、あれですね。映画の撮影で、危険なシーンを本人のCGで作ったり、撮影途中で亡くなってしまった役者をCGで再現して足りないシーンを埋めたり、とっくに亡くなっている女優を画面の中で蘇らせることもできます。今のところそれはものすごい計算をして実現しているんですが、僕たちが目指しているものでは、短時間で簡単に自動生成できるようにするということです」

実在の人間の写真なり動画なりから、本人らしさを持ったリアルな3DのCGが自動生成できてしまう未来はどんなふうになるだろう。

ごくごく普通に想像すると、例えば死別したパートナーを再現して、VRの中でもいいから一緒に暮らしたいという人はかなりたくさんいるだろう。好みのアイドルを再現したいという人も多いかもしれない。革新的な技術が実現するたびに、ぼくたちはそれに適応していく。リアリティの境界が少しゆるぎ、現実と非現実の境界がこれまでとは少し違うところに引かれるようになるのではないかと思う。

「気をつけなければならないのは、フェイクで悪さをする人は出てくるだろうということです。今の技術でもすでにできることとして、ホットな話題なんですが、例えば、オバマ前大統領に何かしゃべらせたいと思ったら、だれか別の人が言った音声を入力することで、オバマのリアルなCGが、オバマの表情で、オバマの声で話すみたいな動画がすぐに作れるところまで来ています。悪用すればフェイクニュースです。こういうのは気をつける仕組みが必要かもしれません。僕たちのアプローチは、人を幸せにするということなので、フューチャーキャストをやったり、もうひとつ、コンテンツ制作支援という方向でも研究を進めているんですが」

ここで、はじめて「コンテンツ制作支援」という言葉が出てきた。

森島さんは2005年のフューチャーキャストを実現する際に、現場のクリエーターと交流を持つようになり、日本の動画ジャンルのコンテンツ力の高さを大いに実感した。だから、森島研として支援できることはないか、と考えた。

「特に念頭に置いて一つのターゲットにしているのはアニメです。アニメは日本の宝だと思っています。おそらく、スキルを持つアーティストが感性で描く独自の世界観が、世界中で支持されているんだと思います。でも、これまで現場は手作業が基本で、そこをなんとか僕たちの技術でサポートできないかという話なんです」

森島さんたちが、実際に開発した数々の支援ツールを次回紹介してもらおう。

=文 川端裕人、写真 内海裕之

(ナショナル ジオグラフィック日本版サイトで2018年8月に公開された記事を転載)

森島繁生(もりしま しげお)
1959年、和歌山県生まれ。早稲田大学先進理工学部応用物理学科教授。工学博士。1987年、東京大学大学院電子工学博士課程修了。同年、成蹊大学工学部電気工学科専任講師に。同助教授、教授を経て2004年、早稲田大学先進理工学部応用物理学科教授に就任、現在に至る。その間、1994~95年にトロント大学コンピューターサイエンス学部客員教授、1999~2014年に明治大学非常勤講師、1999~2010年に国際電気通信基礎技術研究所客員研究員、2010~2014に年NICT招聘研究員も務めた。1991年、知的通信の先駆的研究により電子情報通信学会業績賞を、2010年電気通信普及財団テレコムシステム技術賞を受賞。
川端裕人(かわばた ひろと)
1964年、兵庫県明石市生まれ。千葉県千葉市育ち。文筆家。小説作品に、『川の名前』(ハヤカワ文庫JA)、『青い海の宇宙港 春夏篇』『青い海の宇宙港 秋冬篇』(ハヤカワ文庫JA)、NHKでアニメ化された「銀河へキックオフ」の原作『銀河のワールドカップ』(集英社文庫)とその"サイドB"としてブラインドサッカーの世界を描いた『太陽ときみの声』(朝日学生新聞社)など。
本連載からのスピンアウトである、ホモ・サピエンス以前のアジアの人類史に関する最新の知見をまとめた近著『我々はなぜ我々だけなのか アジアから消えた多様な「人類」たち』(講談社ブルーバックス)で、第34回講談社科学出版賞と科学ジャーナリスト賞2018を受賞。ほかに「睡眠学」の回に書き下ろしと修正を加えてまとめた『8時間睡眠のウソ。 日本人の眠り、8つの新常識』(集英社文庫)、宇宙論研究の最前線で活躍する天文学者小松英一郎氏との共著『宇宙の始まり、そして終わり』(日経プレミアシリーズ)もある。近著は、ブラインドサッカーを舞台にした「もう一つの銀河のワールドカップ」である『風に乗って、跳べ 太陽ときみの声』(朝日学生新聞社)。
ブログ「カワバタヒロトのブログ」。ツイッターアカウント@Rsider。有料メルマガ「秘密基地からハッシン!」を配信中。

春割ですべての記事が読み放題
有料会員が2カ月無料

有料会員限定
キーワード登録であなたの
重要なニュースを
ハイライト
登録したキーワードに該当する記事が紙面ビューアー上で赤い線に囲まれて表示されている画面例
日経電子版 紙面ビューアー
詳しくはこちら

ワークスタイルや暮らし・家計管理に役立つノウハウなどをまとめています。
※ NIKKEI STYLE は2023年にリニューアルしました。これまでに公開したコンテンツのほとんどは日経電子版などで引き続きご覧いただけます。

セレクション

トレンドウオッチ

新着

注目

ビジネス

ライフスタイル

新着

注目

ビジネス

ライフスタイル

新着

注目

ビジネス

ライフスタイル

フォローする
有料会員の方のみご利用になれます。気になる連載・コラム・キーワードをフォローすると、「Myニュース」でまとめよみができます。
春割で無料体験するログイン
記事を保存する
有料会員の方のみご利用になれます。保存した記事はスマホやタブレットでもご覧いただけます。
春割で無料体験するログイン
Think! の投稿を読む
記事と併せて、エキスパート(専門家)のひとこと解説や分析を読むことができます。会員の方のみご利用になれます。
春割で無料体験するログイン
図表を保存する
有料会員の方のみご利用になれます。保存した図表はスマホやタブレットでもご覧いただけます。
春割で無料体験するログイン

権限不足のため、フォローできません

ニュースレターを登録すると続きが読めます(無料)

ご登録いただいたメールアドレス宛てにニュースレターの配信と日経電子版のキャンペーン情報などをお送りします(登録後の配信解除も可能です)。これらメール配信の目的に限りメールアドレスを利用します。日経IDなどその他のサービスに自動で登録されることはありません。

ご登録ありがとうございました。

入力いただいたメールアドレスにメールを送付しました。メールのリンクをクリックすると記事全文をお読みいただけます。

登録できませんでした。

エラーが発生し、登録できませんでした。

登録できませんでした。

ニュースレターの登録に失敗しました。ご覧頂いている記事は、対象外になっています。

登録済みです。

入力いただきましたメールアドレスは既に登録済みとなっております。ニュースレターの配信をお待ち下さい。

_

_

_