2020/4/29

「研究室」に行ってみた。

では、これらの研究を通じて、その人の「本人らしさ」はどこに出てくるということになったのだろう。

「その人ごとに、特徴になるポイントっていうのがきっとあるんですが、それを人ごとにやっていたら、ルールとしては一般性がなくなってしまいます。だから僕たちがやったのは、特定の人だけじゃなくて一般的に適用できるルールでして、一番の大きな要素は、目と鼻と口、です。これを見てください。ポール・マッカートニーの画像ですが──」

森島さんは、言葉の通り、ポール・マッカートニーの写真を画面に出して、指差した。

「これ、ポール・マッカートニーの目と鼻と口は変えてなくて、肌の質感だけ、前アメリカ大統領のバラク・オバマのテクスチャーを入れてるんです。皮膚を他人に入れかえても、目と鼻と口だけ維持すれば、個性って結構維持できるんじゃないかなっていう前提がここにあって、さっきのパッチタイリングの時も、そういった特徴を維持するような評価尺度で画像を選んできているんです」

目と鼻と口の形や位置関係などが一致すれば、その人らしさが維持できるというのは、聞かされれば当たり前かもしれない。ぼくとしては、もっと細かな「個性のキモ」を抽出できる方法があるのかと思っていたのだが、意外にも目・鼻・口でだいたいのカタがつくというのである。

「顔認証」はiPhoneXでも話題になった。

そこで、思ったのだが、最近、スマホで普及してきた顔認証も、こういった特徴を見ているのだろうか。

「基本的にそうですけど、一応3次元計測をしてるんですよ。画像1枚じゃなくて、レンズを2つ使って立体形状を撮っています。ただ、自分がその端末を使ってる分には、自分は常に通るから問題はないですけど、必ず他人をリジェクトしてくれるかはちょっと疑わしいとこもあって。それこそ、今、静的な特徴しか見てないから、例えば本人そっくりの石膏像を作って色付けすれば、多分通っちゃうと思うんですよね。もっと精度を上げたいなら、例えば、ニヤッとしたときの個性などをどうやって分離するかですね。それができると、双子でも真似できない、本人、その人しか絶対使えないものができると思うんですけど、そこはまた次の課題です。動的な、動きとしての個性をどう識別するのか」

やはり、静止している局面での「らしさ」と、動きの「らしさ」とは、別の話なのだという。そして、現時点では、静的な「らしさ」はともかく、動的な「らしさ」は抽出するのも難しい。その一方で、2次元と3次元の間の敷居は、意外と低いというのが印象的だった。スマホの顔認証は、すでに3Dなのである!

こういったことを考えると、SayaレベルのリアルなCGを自動生成するという時、やはり難関は、動きの中での本人らしさをどう抽出するかだと分かる。

また、それがうまく行けば、その動きを十分に再現できるほど精密で自然な描画を、高速に処理できるCGの技術が必要になってくる。これもまた、実は大きなチャレンジである。

よりよい顔CGのために、森島さんたちが開発してきたものの中で、実に応用物理学科的な例を、ひとつ教えていただいた。

早稲田大学先進理工学部応用物理学科でCG技術を研究する森島繁生さん。

「顔のCGでは、皮膚の質感というのが大事なんです。従来のゲーム等では、ランバートモデルという単純で高速な計算法が使われていました。でも、それだとちょっと皮膚っぽくなくなってしまうんです。実際の皮膚は、少し赤みが染み出したようなかんじになるんですが、それを出すには、いったん皮膚の内側にまで透過して入った光が、そこで散乱して別のところから出てくる、表面下散乱という現象を計算しなければなりません。忠実に計算するとものすごく時間かかるし、リアルタイムで実行できないので、それをどうやって高速に行うかという手法を開発しました」

よくゲームなどで表現される3Dのリアルな顔で、形とはしてリアルなのだけれど、なにか冷たい感じがする、まるで樹脂でできた人形のように感じる造作というのがなかっただろうか。原因の一つは陰影の付け方の問題で、森島さんたちは皮膚の下で散乱してからまた表に出てくる光を高速シミュレーションする方法を開発して解決した。

「高速で動かせればゲームエンジンに組み込めるので、ゲーム会社のゲームタイトルにも採用されています。例えば、コーエーさんの『真・三國無双6』という作品では、出てくるキャラすべて、すぐやられちゃうような雑魚キャラまで含めて、ぜんぶ、この方法で顔の陰影を計算しているんです。最後までプレイするとエンドクレジットに僕と当時学生だった久保尋之さん(その後奈良先端大学院大学助教、20年4月から東海大学准教授)の名前が出てきます」

さきほどのパッチタイリングが警察との共同研究で実用化を目指したように、こちらはゲームでの実用を目指した。現実に活かせる応用が前提の「応用物理学」の中の研究室であって、また「人々に感動や幸福をもたらす技術を世に送り出す」というモチベーションを忠実になぞった結果だ。