【彼のhow to】Metaが韓国klleonと秘密実験プロジェクト（NPE）をした理由

Meta（メタ）には、新規サービス企画と実験に焦点を当てた組織「NPE（New Product Experimentation）」があります。NPE(https://npe.fb.com/our-experiments/)は様々なスタートアップと秘密裏にプロジェクトを進めたり、製品をリリースしては突然「ジャ―ン」と公開しています。

5日夕方klleon（クレオン）のジン・スンヒョク代表から電話が来ました。「これまでMetaと面白いプロジェクトをしていた」と。やっと、公式的に明かせるようになったのだと言います。klleonは、仮想人間、デジタルヒューマンを作る技術をもとに様々なサービスを開発しています。VRとAR、メタバースを掌握する、といって社名までMetaに変えてしまったMetaとしては当然必要となる技術です。

https://event.stibee.com/v2/click/MTU4NjU2LzEzNTEyODQvMjEyNC9QQUlE/aHR0cHM6Ly95b3V0dS5iZS9LeXFST2Z3bnRWdw

「有名人1人につき、写真一枚と音声30秒が必要です。データ入力後の制作時間は、顔変換、音声生成、口形生成変換に8分かかります」

映像を見ると、普通のアナウンサーがキム・ヨナ、ハン・ガイン、ジェニファー・ロペス、マルリン・モンローにあっという間に変身します。デジタルヒューマンに挑戦するスタートアップは多いです。本当に人に見えるような映像を、細部まで骨を折って作っている会社は多くあります。klleonは「もう少し安く、もう少し速く、できるだけ人のようなデジタルヒューマンを作ろう」を目標としています。デジタルヒューマンの量産を目指すわけです。

今回のMetaとのコラボレーションは、このようなデジタルヒューマン量産技術を基に可能となりました。映像はその技術を適用してジン・スンヒョク代表が読者のために別途作ってくれたものです。ジン代表に昨年5月の<インタビュー>後、変わったことは何かお尋ねしました。

チャットGPTのようにデジタルヒューマン制作も「安くて簡単でないと」

klleonのジン・スンヒョク代表/klleon

-昨年CESに出席し、Metaと接触したのでしょうか？

「CESに出て、アメリカのアクセラレータ「Plug and Play（プラグアンドプレイ）」と知り合いました。当社の技術と製品に興味を示していました。Plug and Playのアメリカ本社、韓国支社代表と仲良くなり、本当に偶然、klleonの技術がPlug and Playフランス支社にまで知られることになったのです。MetaがNPEをグローバルに募集していたのですが、Plug and Playフランス支社が「韓国に面白いデジタルヒューマンスタートアップがある」と推薦してくれました。そうしてNPEを一緒に行うことになりました」

-NPEに参加した韓国唯一のスタートアップです。

「NPEに参加したスタートアップは、韓国、アジアではklleonが唯一です。残りはすべてヨーロッパとアメリカのスタートアップでした」

-Metaがklleonをコラボレーションパートナーとして選ぶに至るペインポイントがあった？

「現在メタバースに入る際には、それぞれのアバターを作ります。自分に似せた形で作ることもありますが、全く違うキャラクターにして入ることもありますよね。仮想世界では、あえて現実の自分とは全く違う姿のキャラクターでアクセスすることもあり、逆に現実の自分と似たメタバースの自分を望む利用者もいる、ということでしょう。

Metaはこの部分に注目したようです。とにかくメタバースの中のデジタルヒューマンは、「利用者が望む姿」通りに生成されるように技術的にサポートしなければならず、速くて簡単でなければなりません。klleonの今回の技術は写真1枚、音声30秒あれば、実際の現実の自分と似たデジタルヒューマンが現れるのです。メタバース内に行き、自分と本当に似たキャラクターを作ってアクセスする未来を描いていたのでしょう。オキュラスからデジタルヒューマンの技術まで。これらの計画が、Metaのロードマップにあるようです」

-似たような技術をMetaが持っていたり、他のスタートアップが開発中かもしれないのではないでしょうか。

「写真と音声を使い、目鼻口の形を変える技術は多くあります。しかし、顔全体と体の動作まで変える技術は、klleonが初だと自負しています。よく見て頂くと、写真だけでも顔の全体的な形や顎のライン、髪型まで変えています。全体的な印象も変わります。

たかが顎のラインではありますが、デジタルヒューマンの領域では、口の形を自然にするのに数年かかりました。AIを利用して、です。この一つ一つのポイントがデジタルヒューマンの異質感を和らげるのに大きな役割を果たします。klleonは今、目鼻口を似せることを越えて顔全体を変えることに到達したのです。この部分に、Metaは満足していました」

- klleonのデジタルヒューマンはAIに基づいて構築されています。AIが本当にたくさん学習したのでしょうか？

「AIの学習方法にもいくつかのモデルがあります。非常に技術的な領域であるため、具体的に説明するのは難しいのですが、今回の制作方式にはディフュージョンモデルというAI学習方式を使っています。既存製品のAI学習方式とは全く違いますね。これまでコンピュータビジョンに主に使われていたのは、GANというモデルでした。

（2号の、ディフュージョンモデルについて、非常に簡単だが、少し飛躍したところのある説明：GANモデルは、人工知能（AI）が自ら「絵を描くコンピュータ」と「絵判別コンピュータ」を内部に生成し、一種の役割分担により人が描くのと似た絵を描くようにするという原理です。絵を描くコンピュータが複数枚の絵を描くと、判別コンピュータが「合格/不合格」を判定し、ますます人のように描けるように、絵が上手くなっていくように設計しました。一方、ディフュージョンモデルは人の絵のピクセル一つ一つ解体して白紙に戻し、再び白紙からそれを復元する作業を学習する仕組みです。過去の棋譜を一つ一つ学習したAlphaGo（アルファゴ）の初期モデルと、自ら対局を続けて学習したAlphaGo後期バージョンの差とでもいいましょうか。近頃、AI画家たちはディフュージョンモデルを適用することで、絵の実力が大幅に向上しました。代表的にはオープンAIのDALL-EのようなAI画家が存在します。）

ディフュージョンモデルの研究と投資はずっと続けていました。ただ、商品としてリリースするのに、満足できるクオリティにはなっていません。約3～4年が経ち、ディフュージョンモデルを基盤にしたデジタルヒューマン製作結果がもっともらしいものとなりました。これでアプリケーションとして行ける、と思いました。最近、GPTが世界を驚かせていますよね？今、人工知能（AI）の「時」が来ているようです。人々をあっと言わせる結果物を出すタイミングです。デジタルヒューマンの領域もこの地点に、ほぼ到達したと感じます」

‐メタバースに対して、悲観的な見方が多いです。Metaのメタバース投資は果たしていつ頃光を見るのかという視線もありますし。そうした多くの人々がメタバースに向かう？

「必ずしもメタバースではなくても、デジタルヒューマンのニーズは随所にあります。メタバースについては私の答えも「まだ分からない」です。しかし、自分だけのデジタルヒューマン、は産業のあちこちで必要になるでしょう。そうなれば、その時に生まれる私たちの日常生活の変化は凄いものだと思います。

今想像するイノベーションの一つとしては、例えば近頃証券アナリストが動画に出演することが多くあります。アナリストの本業は証券市場を分析することです。しかし、出演と広報によるセールスの必要性もあります。顧客を確保しなければならないので、3PRO TV（サムプロTV、YouTube経済チャンネル）に出演し続け、顧客の相手も行うのです。

しかし時間は皆に同じように与えられています。証券分析においては、研究者は研究にもっと投資してこそ、良い結果を出すことができますが、その時間を削って、使っているのです。時間が生産性の低いところで売られているわけですね。

証券アナリストに似たデジタルヒューマンが出てきて、顧客を対象に商品を説明してくれたら？医者でも可能です。医師は患者の治療に集中し、簡単な患者相談や説明はデジタルヒューマンが代わりに行うということもできます。例えば、手術前にお伝えしなければならない事項等、定期的に繰り返し行わなければならない説明は、デジタルヒューマンが代行するのです。

完全なメタバースの世界が来るより、デジタルヒューマンの普及の方が速いでしょう。メタバースが1つの空間だとすると、空間にはコンテンツが必要です。しかし、まだコンテンツが足りていません。一方、デジタルヒューマンは現実に基づいているため、コンテンツはすでにあるわけです。

-単純な動画や音声でも可能なことではないでしょうか？

「いえ。実在の人物に似た声や顔というのが、とても重要です。私たちに信頼と信用を与えるのです。そのため、デジタルヒューマンが必要です。デジタルヒューマンがいくつかの仕事を代われば、人はより必要な仕事に時間と労力を費やすこととなり、生産性の向上につながります。最終的には、企業と市場がデジタルヒューマンを必要とするでしょう。完璧な仮想世界、メタバースではなくても、現実に基づく世界からまず、デジタルヒューマンへのニーズが増えるはずです。市中銀行、証券会社数社とも契約を締結しました」

-klleonの目指すところはチャットGPT？

「チャットGPTを随時使ってみています。とても驚きます。結果より驚くべき事実は「ひとまず安い」、そして「誰でも使える」ことです。以前このレベルでAIを駆動するには、かなり高い費用がかかっていました。それを誰でもアクセスできるように、簡単に作ったのです。それでもクオリティが高いのです。klleonが目指す場所です。誰もがデジタルヒューマンを安く、簡単につくること」

-メタバースに対する悲観論が大きくなる中で、資金調達も難しくなっていませんか。

「どうでしょう。メタバースへの熱が冷めたというよりは、スタートアップ投資全体への熱が冷めたことの影響の方が大きいと感じます。それでも技術には自信があります。従来のデジタルヒューマン制作方式は、実際に人の映像を撮ってそれを変換する、CG作業に近かったとするなら、klleonは全く違うトラックを進んでいるのです。20代はIMFを文章で知った、と言われていますが…不況の後は本物の技術と実力がある企業のみが生き残ったといいます。玉石の見わけですね。デジタルヒューマンに基づいた先鋭的なビジネスを生み出します」

-Metaとのコラボ結果はいつ頃公開されるのでしょうか。

「6月頃にはすべての内容を公開できます。その頃には誰でもサービスを使えるようになるでしょう」