デジタルハリウッド大学と現実科学ラボがお届けする「現実科学 レクチャーシリーズ」。
「現実を科学し、ゆたかにする」をテーマに、デジタルハリウッド大学大学院 藤井直敬卓越教授がホストになって各界有識者をお招きし、お話を伺うレクチャー＋ディスカッションのトークイベントです。
X（旧Twitter）のハッシュタグは「#現実とは」です。ぜひ、みなさんにとっての「現実」もシェアしてください。
概要
- 開催日時：2024年10月30日（水）19:30～21:00
- 参加費用：無料
- 参加方法： Peatixページより、参加登録ください。お申込み後、Zoomの視聴用リンクをお送りいたします。
視聴専用のセミナーになりますので、お客様のカメラとマイクはオフのまま、お気軽にご参加いただけます。
ご注意事項
- 当日の内容によって、最大30分延長する可能性がございます。（ご都合の良い時間に入退出いただけます。）
- 内容は予期なく変更となる可能性がございます。
- ウェビナーの内容は録画させていただきます。
プログラム（90分）
- はじめに
- 現実科学とは：藤井直敬
- ゲストトーク：橋本昌嗣氏
- 対談：橋本昌嗣氏 × 藤井直敬
- Q&A
登壇者
橋本 昌嗣
ビジュアル・グラフィックス株式会社 取締役 新規事業担当
デジタルハリウッド大学大学院 特任教授
北陸先端科学技術大学院大学 インダストリアルアドバイザー・産学官連携客員教授
日本SGI株式会社 CTO、エイベックス・エンタテイメント 映像事業部 担当部長を経て、可視化を得意とする。
ZOOM中の相手の感情を読み取るコミュニケーション支援のAIの研究・開発に東京大学と取り組む。
東北大学大学院 情報科学研究科 情報基礎科学専攻 博士課程後期 修了。博士（情報科学）
藤井 直敬
株式会社ハコスコ 取締役 CTO
医学博士／XRコンソーシアム代表理事
ブレインテックコンソーシアム代表理事
東北大学医学部特任教授
デジタルハリウッド大学 大学院卓越教授
MIT研究員、理化学研究所脳科学総合研究センター チームリーダーを経て、2014年株式会社ハコスコ創業。主要研究テーマは、現実科学、適応知性、社会的脳機能の解明。
共催
※本稿では、当日のトークの一部を再構成してお届けします。
「現実」を「可視化」でとらえる
藤井 本日は、デジタルハリウッド大学大学院の特任教授、橋本昌嗣先生をお呼びしています。橋本先生の活動を拝見していると、すごく楽しそうに色々なことをやっていらっしゃいますね。
橋本 よろしくお願いします。私は可視化を得意としておりますので、「『現実』を『可視化』でとらえる」という視点からお話させていただければと思っております。
私は1993年に『ジュラシック・パーク』の映画を観て、「このCGはすごいぞ」と思いまして。どこに行けばそういうのが学べるんだというところから、北陸先端科学技術大学院大学に進学しました。
それから今までやってきたことを振り返ってみると、日本SGIではスーパーコンピュータと可視化装置の導入・運用をしたり、フェラーリ・エンツォのデザイナーKen Okuyamaさんが日本で独立される時にジュネーブモーターショーに出展される際のCGや映像のお手伝いをさせていただいたりしたこともあります。また、キヤノンの協力を得て日産のMRシステムの導入をしたり、イギリスのシリコングラフィックスと協力してミイラがどのような生涯を送ったのかというVRコンテンツを国立科学博物館で上映したり、マツダの全国700店舗のディーラーで使用する販促システムを設計・開発・構築・運用したり、といったこともありました。
多彩な学生たちと新しい領域を模索
橋本 アカデミックの方では、上智大学で10年近く「ビジュアリゼーション」という寄付講座で非常勤講師を務めました。それから、長岡技術大学では「先端シミュレーション工学」の客員准教授をさせていただいたり、奈良女子大学では「コンテンツ開発プランニングワークフロー概論」という形で教えたりしていました。
母校の北陸先端科学技術大学院大学では、現在インダストリアルアドバイザー、産官学連携客員教授をやっております。またデジタルハリウッド大学では2011年から客員教授を務め、現在は特任教授をしております。
デジタルハリウッド大学大学院では「アーキテクチャ原論」という、ちょっと未来が予見できるようなコンピュータの授業を担当しております。また、コンピュータグラフィックスと人工知能などを中心に扱う「Visual Media Intelligenceラボ」を運営しています。
ラボにはM2が8名、M1が10名いるんですけれども、本当に多彩な学生が来てくれています。出身大学も様々ですし、社会人も半分います。それも麻酔科医やデータアナリスト、元AWS社員など、とても多彩です。スキルも色々で、特許作成、開発、ドローン操作、モデリング、映像編集もできるというような学生がいます。ですので、私から一方的に教えるということではなく、みんなでディスカッションをして、お互いリスペクトしながら、新しい領域を模索していくという形で研究を進めています。
イメージによるコミュニケーション
橋本 私にとって「可視化」はライフワークなんですけれども、いつも授業を「ラスコーの壁画」から始めるんですね。ラスコーの壁画は3万年前から1万年前にはありました。でも、文字が使用されるようになったのは約5千年前と言われています。つまり、人間は文字を使うより前から、イメージでコミュニケーションをしていたということです。言語を超えた円滑なコミュニケーションとして可視化を使って、世界の人々を幸せにしたいというのが私の根底にあります。
それでは、「現実をとらえる可視化」について考えてみたいと思います。私が「可視化をして」と頼まれますと、可視化の対象物、いわゆる「現実」の意味を理解してきちんと抽出する、ということをします。その上でデータ形式を整理して、限られた空間にその意味をきちんと配置して提示するということを心がけています。
私自身を可視化したら、を例にとってみます。色々と見る側面があると思うんですけれども、私の健康状態を可視化するなら健康診断書になるでしょうし、どういう人生を送ってきたかなら履歴書、資産状況なら預金残高を可視化する、という形になると思います。やっぱり、現実ってすごく多面的で多角的なんですよね。それをどういう方向から見るか？ということはものすごく重要だと考えています。
会議のメタファーを可視化する
橋本 現実を可視化した例として、私の修士論文である会議のメタファーをオンライン会議で見せられないか、という研究をご紹介します。これを考えた発端は国会中継でした。国会中継って、限られたテレビの画面の中でちゃんと分かるんですね。最初に国会全体がダダーンと出てきて「あ、これ国会中継だ」というのが分かって、党首や主要な議員の顔が出てきて、それから発言する人を中心にカメラが切り替えられて、国会の議論がきちんと国民にも伝えられる。これがすごいなと思いました。
それで、私はまず会議の種類を調べました。大きくいうと「伝達会議」「創造会議」「調整会議」「決定会議」の4つがあると言われています。それから、それぞれにどのようなレイアウトが適しているのかを考えました。
伝達会議なら、情報の伝達を目指すので、チェアマンがいて、スピーカーが前に立って、みんなが聞いているのが良いと言われています。創造会議でブレインストーミングをするような時には、上下関係がない円卓。
調整会議で、例えば国同士の調整ごとなら、間に調整する人がいて、国ごとに別れて話をする。でも、バーチャルの世界なら、意見が変わったら席自体も変わってしまって良いのではないかと考えました。
決定会議、イエスかノーかというところなら、U字型の席で例えばイエスの人は左側、ノーの人は右側、どっちにもつかない人は真ん中と、そういう座り方ができるのではないか。
Zoomのようなオンライン会議に出ると、たくさん人が映っているだけで、状況が分かりづらいですよね。国会中継のようにバーンとキューブ型のビデオウォールを配置したようなショットをはさむことで、より会議の状況がわかるんじゃないかと。そのようなことを、30年前に考えていました。
声から感情を可視化する
橋本 それから、コーチングのメソッドをAIに実装してコミュニケーション支援ができないか、ということも考えました。発端となったのは、先日まで東京大学の特任准教授をされていた光吉俊二先生の成果です。
感情というのは、実は顔の表情には出なくて、声に出てくるというふうに言われています。声というのは脳と近い位置にあって、いろんな感情の要素が出てくるそうです。光吉先生は、東日本大震災でご遺体の処理に携わった方々への医師によるストレス判定と、声のトーンを比較するという研究をされています。
やっぱり、自然言語処理では限界があるんですね。例えば、女子高生が「ディズニーランドに行くたくなくない？」と言ったとします。これを自然言語で処理すると、「ディズニーランドに行きたくない」ということになってしまうんですね。でも、声のトーンで取ると明るいから、「行きたい」と判断すると。この成果はロボットのペッパーにも組み込まれていて、その感情のトーンを読み取って話をつなげる、ということをしています。
AIによるオンライン時代のコミュニケーション支援
橋本 また、光吉先生の感情認識の技術を発展させまして、私の方でオンライン時代のコミュニケーション支援AIの設計を行いました。コロナ禍で多くのコミュニケーションがオンラインにシフトしましたけれども、そこでは相手の表情がとても分かりづらいということがありました。
その中で、NLP（Neuro Linguistic Programming）という技術があります。こちらはカリフォルニア大学サンタクルーズ校のジョン・グリンダーとリチャード・バンドラーの研究で、コミュニケーションがとても得意な人の手法を上手く体系化して活用しようとしたものです。
その中でVAK診断というものがあります。人間って、同じものを見ていたとしても、視覚が強い人、聴覚が強い人、感覚が強い人で、ちょっと見方が違うと言われています。例えば会話の中で、視覚が強い人は「それってよく見るよね」、聴覚が強い人は「よく聞くよね」、感覚が強い人は「腹落ちするよね」と言うそうです。その人はどれが強いかを会話の中で見極めて、それぞれに合った語彙を使うことによって、その人と早く信頼関係が構築できるというテクニックです。
それぞれに関わる単語を事前に登録しておくと、どの感覚を使っているかを解析できたり、会話の速度なども解析したりできます。また、表情の分析などもできます。それを使ったアプリケーションのUIで、相手がよく使う単語を出したり、感情や信頼関係を評価したりすることができるのではないかと考え、試作して使ったりもしています。
フォトグラメトリによる被災地支援の検討
橋本 次に、フォトグラメトリ技術を被災地支援に検討したという例をご紹介します。フォトグラメトリというのは、数万枚の写真から3Dを起こすという技術です。それを使って、屋外のボランティア支援ができないかということで、私の指導学生で修了生の石原樹さんと一緒に考えました。
ボランティアの日程を決めたり、現地の状況を確認したり、そういうことをできるようなアプリケーションです。そのためには、3Dにするだけでは足りません。例えば、草刈りをする前の状況では、角度がどれくらいあって、この辺に岩があって危ないですよ、ということも考慮して草刈りをやりましょうと。した後では、どう変わったか、どう進捗したか、何日でどれくらいできたか、ということも記載すれば、色々な予測や支援の計画も立てられるのではないか、と考えているところです。
可視化でより良い未来を作る
橋本 最後に、現実の可視化ということで私なりのまとめをしたいと思います。私も50歳になりますと、自分の体の老化なんかもすごく気になります。それによって気持ちが動揺することもあります。また、周りには色々な環境があって、予期しない災害や交通事故があったり、あるいはコロナがきたりします。それに仕事とか学校とか家庭とか趣味とか、こういうものが私たちの中に現実として押し寄せてくるんじゃないかと考えています。
その中で、現実を可視化することによってデジタルツインの環境を作ると、どういうことをすればどういう未来が来るのかという、色々な予測ができるのではないかと思います。それを、私はフューチャー・パラレル・ワールドと呼んでいます。
小さいところでは、歯を磨いたり舌を洗ったり、そういうことをすることで20年後、30年後の自分の歯の状態がずいぶん変わってくるんじゃないか、とかですね。それから、今回の選挙でも色々な党がいました。でも、消費税を安くしますよ、と言った時にそれに変わる財源はどうなのか？あるいはバラマキ支援をしますよ、と言った時の財源はどこから出てくるのか。そういうところをきちんと示してくれた党はいなかったように思います。
そういう意味でも、現実を可視化することはとても重要で、国会にも情報可視化省が必要なのではないかと私は思っております。
「見たい」は人間の本能
藤井 ありがとうございます。可視化を中心にこれまでやられてきたことをお話しいただきましたが、橋本先生はそもそもなぜこの可視化がテーマになったんですか？
橋本 シリコングラフィックスの創業者の「見たいという本能のところにビジネスがある」という言葉を聞いた時に「わ、これすごい」と思いまして。やっぱり、人間にはもともと「見たい」という本能があるんだ、それに寄り添ってみたい、と。言葉ではなく、可視化でコミュニケーションすることによって世界の人を幸せにできないかと考えました。
藤井 なるほど、「見たい」は本能。「見たい」と「知りたい」は同じですかね？
橋本 はい、一緒だと思います。
藤井 見えないのは分からないということですよね。自分の感情すら自分でもよく分からないし、他人の感情も分からないから推測するしかないし。分からない、推測しなければならないという人と人の間のストレスを低減させるっていうことなんですかね。
橋本 そうですね。コミュニケーションが円滑になれば、ということも思っています。
最適解を選ぶのは人間
藤井 僕もよく言われるんですけど、いろんなことをやり過ぎて結局あなたは何がやりたいの？って。橋本先生もいろんなトライアルをされていますが、その結果として何ができると嬉しいんでしょうか？
橋本 やっぱり、明るい未来を更新して、子供たちにつないでいきたいという思いが強いです。可視化すると現在地が分かります。そこから将来のいくつかのパターンが見えますので、なるべくいい方向に持っていけたらなと思っています。
藤井 その時のいい方向って何ですか？
橋本 それはすごく難しいと思っていて。最近では「多目的最適化」という言葉があるんですけれども。飛行機を例にあげると、軽いのがいいのか、燃料を使わないのがいいのか、最適解が色々あると思うんですね。セスナだったり、旅客機だったり、戦闘機だったり、輸送機だったり。
その最適解であろうものはAIでも作れるし、抜け漏れがないようにするところはAIがやってくれたらいいんですけど、最終的な判断は人間がするべきかなと。やっぱり、そこは人間自身が判断して方向性を決めていくということが重要なのではないかと思います。
藤井 社会をより良い方向にするという決定の話だと思うんですが。ちょっと前まではね、民意っていうものがあって、それを受け取ってみんなが表現すれば社会はより良い方向にいくだろうと、やっぱり民主主義は権威主義より優れているだろうというふうに思っていましたけれど。今みたいな対立が前提になった民主主義って、あんまり上手くワークする気がしないんですよね。
橋本 今、国とかそういうふうに別れていますけど、私は将来みんな地球人になってくれればいいなと思っていて。お互いにリスペクトしてダイバーシティが生まれ、それからどんどん民族や国がミクスチャーしてく。そういうところに新しい価値観が生まれるのではないかと。そこに、可視化が役に立つんじゃないかということは考えています。
メタバースやオンライン会議に足りないこと
藤井 先ほど会議の可視化のお話がありましたけれど、例えばメタバース内で空間や位置や視点を自由に操作できるようになると、さらに効率の良い合意形成の仕組みが作れる可能性がありますか？
橋本 あると思います。メタバースならなおさら、そういう可能性は大きいでしょうね。
藤井 今のメタバースって、あんまりその生身の微細な表情は見えないと思うんです。情報として結構欠けてしまっていて、メタバース内のコミュニケーションってすごくシンプルにならざるを得ないというのはいつも感じているんですね。身振り手振りはできるけど、もしかしたら緊張で指先は震えているかもしれない。そういうのは出ないから。そういうのを出したくない人にとってはいい場所なのかもしれないですけれど。
橋本 そこでどうしようと悩んだ結果が、あのキューブにビデオテクスチャーを貼り付けるという手法でした。
藤井 今後、解像度が上がってくると微表情なども見られる？
橋本 そういうことです。
藤井 今のZoomでも表情はある程度見えますが、何が足りなくて何が満たされているんでしょうか？
橋本 オンライン会議を評価する時に、アウェアネスが結構重要になっています。色々な研究結果によると、実物の人間と同じ大きさがあると、やっぱり、すごく視認性が高いと言われています。相手の目がどこを向いているのか、手の動きや表情はどうか、何か別のことをしているのかしていないのか。そういうことが分かれば分かるほど、コミュニケーションがスムーズになります。
Zoomの弱点は、大人数が入ってしまうとどうしても一人一人が小さくなってしまうので、視認性が落ちるというところです。それを補完するために、会議全体の状況が分かるような画を差し込めば、より会議全体を把握しやすくなるんじゃないかと考えています。
藤井 具体的にこうしたらいいのに、というのはありますか？
橋本 3Dで立ち位置や考え方が可視化されるといいんじゃないかと思います。この件に関して100％良いと思っているのか、80％くらい良いと思っているのか、とか。イエスとノーのどのくらいのところ、が可視化されると、もう少し議論ができるのではないかと。
藤井 たしかに、0か100かじゃないですからね、人はね。
可視化の中であえて見せないもの
藤井 受講されている方からの質問で、「可視化してく中であえて見せないものは何でしょうか？」と。
橋本 本質以外のもの、ですね。やっぱり、可視化するというのは本質を見せるということで、それが一体何なのかを突き詰めていくので、それ以外のものはあえて見せないようにしていると思います。
藤井 本質って何ですか？
橋本 真実、事実、ですかね。
藤井 真実や事実ってあるんですか？
橋本 数値的なものだと、それは出てくると思います。統計学でいうところの傾向とかですね。
藤井 そういう点では、次元がかなり圧縮されていると思うんです。複雑なものを圧縮しないまま可視化ってできないから、どこかで削っている。そのプロセスで、ここは削れないというところを橋本先生は本質と呼ばれているんでしょうか？
橋本 例えばソフトウェアの設計を見せる時に、モジュール図だけではダメで。やっぱりデータフローも必要だし、という形でちょっと多角的に見せる必要があるので。その色々な側面を表すためには、何枚で見せるのが良いのか、どこまで見せるのか、というところも重要だと思います。
橋本先生にとっての「#現実とは」
藤井 最後に、橋本先生にとっての現実とは何でしょうか。
橋本 そうですね。ありのまま、というところにしたいと思います。ありのままというのは「ゆく川の流れは絶えずしてしかも、もとの水にあらず」という、あの『方丈記』にあるように、昔の人も目の前にあるものは常に変化していると捉えていたのかなと。
それに対峙する私たちは、なるべく不動心、それから意思をもって対峙したいと思っていて。明るい未来を子供たちに伝えていきたいので。私が修了する学生に必ず言うのは、「皆さんが明るい未来を子供たちに伝えることを最後の宿題にします」と。それで、いつも最後に別れるようにしています。
藤井 なるほど。ありがとうございます。
（テキスト：ヨシムラマリ）
本レクチャーのアーカイブはReality Science LabのYouTubeチャンネルにてご視聴いただけます。
