デジタルハリウッド大学と現実科学ラボがお届けする「現実科学 レクチャーシリーズ」。
「現実を科学し、ゆたかにする」をテーマに、デジタルハリウッド大学大学院 藤井直敬卓越教授がホストになって各界有識者をお招きし、お話を伺うレクチャー＋ディスカッションのトークイベントです。
X（旧Twitter）のハッシュタグは「#現実とは」です。ぜひ、みなさんにとっての「現実」もシェアしてください。
概要
- 開催日時：2024年12月16日（月）19:30～21:00
- 参加費用：無料
- 参加方法： Peatixページより、参加登録ください。お申込み後、Zoomの視聴用リンクをお送りいたします。
視聴専用のセミナーになりますので、お客様のカメラとマイクはオフのまま、お気軽にご参加いただけます。
ご注意事項
- 当日の内容によって、最大30分延長する可能性がございます。（ご都合の良い時間に入退出いただけます。）
- 内容は予期なく変更となる可能性がございます。
- ウェビナーの内容は録画させていただきます。
プログラム（90分）
- はじめに
- 現実科学とは：藤井直敬
- ゲストトーク：渡邉英徳氏
- 対談：渡邉英徳氏 × 藤井直敬
- Q&A
登壇者
渡邉英徳
1974年生。東京大学大学院 情報学環 教授。情報デザインとデジタルアーカイブを研究。首都大学東京システムデザイン学部 准教授，ハーバード大学エドウィン・Ｏ・ライシャワー日本研究所 客員研究員，京都大学地域研究統合情報センター 客員准教授などを歴任。東京理科大学理工学部建築学科 卒業(卒業設計賞受賞)，筑波大学大学院システム情報工学研究科 博士後期課程 修了。博士（工学）。
「ナガサキ・アーカイブ」「ヒロシマ・アーカイブ」「東日本大震災アーカイブ」「忘れない：震災犠牲者の行動記録」「ウクライナ衛星画像マップ」「能登半島地震フォトグラメトリ・マップ」などを制作。講談社現代新書「データを紡いで社会につなぐ」，光文社新書「AIとカラー化した写真でよみがえる戦前・戦争」（共著）などを執筆。
「日本賞」，グッドデザイン賞，アルスエレクトロニカ，文化庁メディア芸術祭などで受賞・入選。岩手日報社との共同研究成果は日本新聞協会賞を受賞。
藤井 直敬
株式会社ハコスコ 取締役 CTO
医学博士／XRコンソーシアム代表理事
ブレインテックコンソーシアム代表理事
東北大学医学部特任教授
デジタルハリウッド大学 大学院卓越教授
MIT研究員、理化学研究所脳科学総合研究センター チームリーダーを経て、2014年株式会社ハコスコ創業。主要研究テーマは、現実科学、適応知性、社会的脳機能の解明。
共催
※本稿では、当日のトークの一部を再構成してお届けします。
戦争や災害の記憶を技術で後世に伝える
藤井 本日は東京大学大学院の渡邉英徳先生をお招きしました。X（旧Twitter）ではずっとお互いに見ていたんですけれども、お話しするのは今日が初めてなので、とても楽しみにしていました。よろしくお願いします。
渡邉 よろしくお願いします。僕はもっぱら戦争や災害の記憶を、技術を使って多くの人々、特に後世の人々にどう伝えるのかということをミッションに仕事をしています。最初にお見せしたいのは「ヒロシマ・アーカイブ」というプロジェクトで、これは2011年からずっと取り組んでいるものです。
我々は今、広島の上空にいます。中心の赤い球は、原爆の火の球です。大きなビルがたくさん建っていますが、これはフォトグラメトリで収録された現在の広島の街ですね。そこに顔写真がいくつも浮かんでいます。これは被爆者の方々で、原爆投下の日にどこにいらしたのかをお一人お一人に聞き取りをして、このデジタルアースに載せています。顔写真をクリックすると、それぞれの方のお話を見ることができます。
こんな風に地図と重ねる効能がよく分かるのが、例えばこういう場所です。たくさんの若い女性の顔写真が浮かんでいます。皆さん、セーラー服を着ていますよね。ということは、ここに何があったのか。昔のアメリカ軍が作った地図を見てみると、「ガールズハイスクール」と書いてある。だから、女学校があったということですね。
現在の地図にしてみると、「私立広島女学院中学校・高等学校」と書いてあります。そうすると、この学校に通っている生徒さん達がこのマップを見た時に、たった80年前に自分達が学んでいる場所で、先輩達が大変な経験をしたんだ、悲劇が起きたんだ、ということを感じやすくなるわけです。
過去の記憶と今の現実をどう結びつけるのか
渡邉 もうひとつ、別の種類の資料が載っています。例えば、爆心地の近くに移動してアイコンをクリックすると、カメラアングルがくるっと変わって写真が出てきました。これは1945年の原爆投下直後に撮影された広島の被害をとらえた写真なんですが、後ろのデジタルアースとカメラアングルが一致していることがお分かりになりますでしょうか？
1枚1枚の写真の撮影アングルを推定して、現在のデジタルアース上に3D的に重ねています。こうすると何が起きるかというと、21世紀の街並みにタイムカメラのように、1945年当時へと時間を超える窓が開いて、その向こうをのぞいているような感覚が訪れてくるわけです。
僕がさっき「広島の上空にいます」と説明をした時に、ほとんどの方が「そうだね」とすぐに受け止めたと思うんですけれど、なぜそう感じられるのか。これはおそらく、2005年にGoogle Earthが登場して、地球上のあらゆる場所を隅々まで見られるようになったという背景が影響しているんだと思います。
僕らは、衛星画像や3Dモデルが世界中で整備されていて、好きな場所を仔細に見られる環境の中で生きています。昔は一部の人しかできなかったことが、皆さんにとって当たり前のインターフェースになっている。その上に過去の写真がアングルを合わせて置いてあることで、1945年の世界をのぞくという経験もすんなり腑に落ちてくるわけですね。
東日本大震災の犠牲者の行動記録
渡邉 次は、「忘れない：震災犠牲者の行動記録」というプロジェクトです。岩手県の上空、陸前高田市にやってきました。地面にたくさんの点が動いています。一番下に日付と時間が出ているので何を扱ったものかすぐお分かりになるかと思いますが、東日本大震災で亡くなった方々の、最後の3〜40分間の行動を再現したものです。
たくさんの人たちが一ヶ所に集まっています。ここは、陸前高田市民体育館公設の避難所でした。なぜ皆さんがここに集まっていったのか、想像してみてください。避難所は安全だと思ったからですよね。当然、死ぬために集まったわけではなくて、市のマニュアルの「津波が来る時は安全な場所に避難しましょう」というのに従ったわけです。
ある新聞記者の方はこのマップを見て「“そっちに行っちゃダメだ”って言いたくなりますね」と感想を口にされました。これ、ちょっと不思議ですよね。先ほどの「ヒロシマ・アーカイブ」では訪れない感覚だと思うんです。広島は過去のものだと我々は受け止めます。でもこちらは過去の出来事なのに、アイコンと線で単純化されているのに、なぜ避難所に向かって必死に走っていく方々が見えるような気がしてしまうのか。
見ているマテリアルと心の中の解釈
渡邉 もうひとつ、これはちょっとしたトリックとも言えるんですが、下に見えているこの航空写真は被災後のものです。津波が訪れた後の、すべてがウォッシュアウトされてしまった状態。でも、時間的には変なんですよね。この方々が逃げ延びていた時には、被害を受ける前の陸前高田の景色が見えていたはずなんです。
最初にこれを作った時に、僕は被災前の景色ではこの方々が最後に過ごした3〜40分間の現実を表現できないと考えました。だから、時系列としては前後が逆になっても、あえて被災後の写真にしています。不思議なんですね。見ているマテリアルと、僕らの心の中で解釈する時空間。この時に起きた現実というのは、異なってくるわけです。
身の回りの現実をそのまま写しとる
渡邉 さらに最近の出来事に近づいて、2022年に起きたウクライナの戦争のデータです。先ほどまでは文字の証言や二次元の写真でしたが、今度は何が扱えるかというと3Dデータなんですね。現地の協力者の方々が多数のフォトグラメトリを作成して、僕たちに送ってくれています。
被災した多くの建物の記録がデジタルアース上にマッピングされていて、それを仔細に観察できる。「ヒロシマ・アーカイブ」や「忘れない」では資料をどうビジュアライズするかというところに少し距離があって、それをデザインの工夫で解決していたわけです。でも、ウクライナの戦争は、現地の方が身の回りの空間をそのまま写しとって我々に送ってくれるようになりました。
今見ているのは、ロシア軍に閉じ込められた子供達11人が亡くなったという大変悲劇的な学校です。壁の落書き、カレンダーの日付が刻んであったりしますね。もう僕自身が何かしらの表現を工夫しなくても、ここに閉じ込められた子供達の苦しみだったり、悲しみだったり、そういうものが生き写しにされたデータでリアルタイムに提供されてきます。
3Dガウシアンスプラッティングの可能性
渡邉 次にお見せするのは、最新の取り組みです。フォトグラメトリを作ったことがある方は分かると思うんですけれど、これ相当大変なんですよね。くまなく撮影して、長時間かけて計算をさせて、ようやくモデルができるわけです。
こちらは、中東の衛星放送局アルジャジーラが撮影したガザ地区の映像です。イスラエル軍によって無惨に破壊されてしまったアル・シファ病院の内部を、4Kでいち早く収録したものです。我々はこの映像を使って、フォトグラメトリではなく、3Dガウシアンスプラッティング（3DGS）のデータを作成しました。
見ていただくと、先ほどの映像ともたらす感覚が違うはずです。不思議なんですよね。先ほどの映像の方が、明らかにたくさんのディテールが写っている。3DGSはこの映像をもとに機械学習で擬似的に立体化したものなので、それよりも荒いんですよね。でもなぜか、こちらの方が立体に見える。空間の中を我々が探索しているという感覚をもたらしてくれます。
こちらのUNRWA（国連パレスチナ難民救済事業機関）のサンプルも、非常に臨場感があるんですよね。元の映像は詳細が写っているけど、不思議と“映像”に見えて空間性を感じさせない。3DGS化することで、3Dとしてはいい加減で破綻しているのに、カメラのパスに沿って動いている間は元の映像にはない不思議な現実感をもたらしてくれています。
なぜそうなるのかはまた藤井先生ともお話しできればと思うんですが。Google Earthなど時代ごとの新しい可視化のテクノロジーの延長線上に3DGSという手法が出てきて、新しく現実を伝えるための方法をつかむことができたという実感を最近は得ています。
物語がコンテンツの力になる
藤井 ありがとうございます。やっぱりね、広島の現在の街をただ3Dモデルで作りましたって言っても、地図以上の利用価値はあまりなかったりするじゃないですか。渡邉先生がやられていることは、災害であったり、戦争であったり、そこに物語があって。被爆者の方々のお話であるとか、津波で亡くなられた方の行動のデータを合わせるとか。物語がそこにあるからこそ、このコンテンツが力を持っていると僕は思ったんですね。実は僕、被爆2世なんですよ。
渡邉 そうなんですね。初めて知りました。
藤井 でもそんなこと絶対外で言うなって言われていて。原爆直後のひどかった話は誰も教えてくれていないですし、資料館も誰も連れて行ってくれなかった。まあ、嫌だったんでしょうね。そうなると、ほとんど語ってくれる人もいないから。あそこで人がどう生きてどういうことがあったのかっていうストーリー以外に人を動かすものってないんだろうなって思うんです。
渡邉 「ヒロシマ・アーカイブ」を作る時に、そこはすごく意識していました。お一人お一人のストーリーが一番よく伝わる形でビジュアライズしたかった。それで、最終的には顔写真のアイコンだけになって、画面上には他の文字がまったく無いんですね。
被爆者と地元の若者たちが創るコミュニティ
藤井 「ヒロシマ・アーカイブ」は、今は誰が運営されているんですか？
渡邉 このプロジェクトの一番大事な点は、地元の若者達が参加していると言うことなんですね。実は、先ほどの女子校の生徒さん達が集めた証言がマッピングされているという。だから、インターフェースも大事なんですけど、このマップの向こう側には被爆者の方と若者達の共同作業があるということなんです。被爆者の方も、地元の子が聞いてくれるならお話ししますという方が多くいらして、ここもプロジェクトの特徴になっています。
藤井 それはすごくいいなと思います。これ自体は、例えば20年後には誰がどう運用していると想定されていますか。
渡邉 僕が東大にいる間は渡邉研で維持運営できるんですけれど、その先をどうするかということで、近々すべてオープンソースにしようと思っています。GitHubではすでに公開しているので、ダウンロードして、自分のサーバーにソースコード一式をアップロードすると、誰でも「ヒロシマ・アーカイブ」を運営できてしまうという。
藤井 それはいいですね。
現実の表現の仕方は変化しても構わない
渡邉 難点は改ざんされてしまう恐れがあるということなんですが。ただ、その時代ごとの解釈が施されていっても構わないような気がするんですね。オリジンはきちんと保ったままで、そこにどんな風に人々が解釈を施して、その時代ごとの「ヒロシマ・アーカイブ」になっていったかという履歴が保存できると、そこも含めたデジタルアーカイブになるのではないかと思います。
藤井 そうですね。先ほどの被爆者の方の2Dの動画も、あと1〜2年でもう普通に立体で出てきますからね。AR表示されて、ここにおばあちゃんがやってきました、ということも当たり前になると思います。
渡邉 それが、その時代における現実の表現の仕方になると思うんですね。
地獄と日常はグラデーションに過ぎない
藤井 最近、僕はつくづく思うんですけれど、地獄や天国って来世のイメージじゃなくて、今生きているこの世界こそが地獄だなって。日本みたいな平和ボケしたところだと思いが至らないだけで、ちょっと離れたところ、ウクライナやガザみたいなところを見ると。もう信じられないですよね、ガザで起きていることなんて。
渡邉 そうですね。
藤井 僕らはちょっとマシなところにいるだけで。だから、良くしなきゃいけないんだということです。ガザを良くするのもそうだけれど、今私たちが生きているこの近くで、身の回りの人々をちょっとでも良くする。学校で生徒さんと話をして、この子がちょっとでも良くなってくれたら教師としてこの上ない喜びじゃないですか。地獄にいるんだと思ったら、ちょっとでも良くすることにすごく価値があると、最近すごく思います。
渡邉 僕は子供が中学生と小学生なんですね。新聞やテレビは見ないですし、ネットニュースも見ない。で、YouTubeを見てるんです。でも、YouTubeには藤井先生のおっしゃった地獄が入ってこないんですよね。自分自身が見たいものだけが見られるし、それがどんどん先鋭化されていくので。
特に若い世代の人たちにとっては、そういう痛々しいことが起こっていることを見ずに済む情報環境になっている。でも、本当は先ほど言われたように、地獄と僕らが生きている日常っていうのはグラデーションに過ぎなくて。
藤井 そうなんです。
渡邉 それをよく示しているのが、広島の被害であったり、東日本大震災であったりするのかなと。普通に平穏に暮らしていた人が津波に押し流されて死んでしまうことが起きるんですよね。災害は、我々はたまたまその時期その場所にいなかっただけだと気づかせてくれる。
藤井 いつでも地獄は口を開けているよね。
渡邉 壁をちょっとめくった向こう側にあるんですよね。そう思いながら暮らしていると、逆説的に今のこの自分自身の平穏な日常がいかに幸せなことかっていう。その感覚を、若い人たちにはなるべく早めにつかんでもらいたいですよね。
記憶と言葉と物語によって現実を残す
渡邉 戦争体験者の方からお聞きする当時の日本ってもっと酷かったかもしれなくて。でも、そういう現実を体験された、リアルを持っている方々がもうすぐいなくなってしまう。その現実も受け止めないといけないと思っています。そういう時代に、どうやって継承していくのかが次のミッションになるのではないかと。
藤井 今まさに渡邉先生がおっしゃったように、その方々にとっての現実なわけですよね。記憶って、時間が経って色々修飾されたり歪んだりしているかもしれないけど、少なくともそこで映像として見ると、「これは私があの時見たものだ」と記憶を呼び覚まされて、その人にとっての現実がもう一回浮かび上がってくる。
先ほどから話している物語というものがそれぞれの記憶の中にあって。なんだろう、原爆ドームをずっと保存したりっていうのは、それはそれでいいですよ。だけど原爆ドームがただあったって、誰にも何のメッセージも伝わらないと思うんです。やっぱり、生きてきた人、そこで困って大変な目に遭った人たちの言葉と物語。それしか残すものはないんじゃないかな。
渡邉 マテリアルは、それに添えられるものでしかないのかもしれないですよね。
藤井 そういうUIとしてね。
渡邉 先ほどお見せしたウクライナの3Dモデルも、やっぱり収録したウクライナのクリエイターさんのメッセージがついてくるんですよね。そこが大事で。ガザ地区のデータもアルジャジーラのジャーナリストのストーリーだったり、UNRWAの職員さんのストーリーだったりがセットになって初めて伝わってきますよね。
空間そのものをキャプチャーし続けても、藤井先生が言われた通り、その空間を主体として受け止めた方のストーリーがなくなってしまうと、語り継いでいけないのかもしれないですね。
藤井 そうね、データでしかないもんね。
抽象化されることで生じるリアリティ
渡邉 藤井先生にぜひご意見をお聞きしたいと思ったのが、先ほどの3DGS化したデータの方が元データよりよほどローファイなのになぜ空間を感じさせるのかっていう、そのからくりですね。
藤井 どうなんでしょうね？画質が上がっちゃうとほぼ映像と同じものが再現されてしまうんじゃないかとは思っていて。ちょっと画質が悪い方がリアルに見えるというのはなんとなく昔からあった気がするんですけれども、それで説明できるのかな。
渡邉 僕が今ふわっと解釈しているのは、間引かれる要素が人間が空間を見る時に無意識に間引いている要素と似ているからリアルに見えるのかなと思うんですよね。4K映像だと僕らが注目していない要素もすべて写り込んでしまっているから、アンリアルに感じるのかもしれない。AIというか、機械学習で人間が見ているであろうものに近づけて再現している結果が幸いして、空間を感じさせる仕上がりになっているのかもしれないですね。
藤井 抽象化レベルが人間の抽象化の認知と似ているからじゃないか、ということですか。
渡邉 かもしれない。元はアルジャジーラのカメラマンが物語を伝えるために危険な状況の中で撮ったものなんですよね。それが抽象化されるときに、やっぱりカメラアングルなんかで反映されているはずなので。ある意味、過渡期の技術で、間引かれたものが出てくるところに、メッセージやストーリーが挟まりこむ余地があるのかもしれない。
藤井 先ほどの「忘れない」もそうですよね？動いた情報、点と直線だけでしょう。
渡邉 本当はだから、道に沿って細かく移動してるんですけど。
藤井 そうしないことで、そこに向かっている感がありますよね。
渡邉 そうなんです。強さが出るんですよね。間引くことの強さというか、そこにストーリーやメッセージが宿るような気がするんです。3DGSも、収録した人が込めたかったストーリーに沿って強調されるような気がするんですよ。
物語が強調される新しい表現とは
藤井 もしかしたら、今後は例えば撮影者だったり、何らかの意図に沿った演出だったりをモデルにできるみたいな。そういうのが出てくると、新しい表現になるかもしれないですね。
渡邉 絵画だと、まさにそれを画家がやっているわけですよね。現実をどう解釈したのかが絵に現れる。3Dスキャンも行き着く果てが現実世界の模写だと面白くないというか。失われていく記憶をいかに伝えるかっていう切り口で技術を使っている身からすると、被爆者の方々がどんな風に広島を見たのかっていうことが浮かび上がってくるような再現ができると素晴らしいなと思います。
藤井 今日はずっと言ってますけど、やっぱり物語しかないと僕は思うんですね。人が残って語り継ぐには。
渡邉 物語に付随するマテリアルを作成する技術はどんどんアップデートされていくので、そこはきちんとフォローしながらですね。でも僕がこっちに向かって研ぎ澄ましていきたいなと思うのは、やっぱりストーリーを引き立たせるような可視化の手法ですね。その人が見た現実世界を再現するような3Dスキャンであったり、ビジュアライゼーションの手法であったりを探求していくべきかな、と改めて思いました。
渡邉先生にとっての「#現実とは」
藤井 それではいつも通り、渡邉先生にとっての現実とは何か、をひと言でお願いします。
渡邉 悠久の過去から時間の流れと共に続いてきたもので、僕が生まれて死ぬまで自分と共に存在していて、亡くなったら次の世代の人たちが受け継いでいくものが現実だと思います。
藤井 それって、現実というものが一個あるっていう、そういうことですか？
渡邉 僕も含めて流れ続けてきているもので、そこに僕が自分の生涯の間たまたま介在しているという。そういう感覚ですね。
藤井 自分もその一部であると。分かりました。ありがとうございます。
（テキスト：ヨシムラマリ）
本レクチャーのアーカイブはReality Science LabのYouTubeチャンネルにてご視聴いただけます。
