デジタルハリウッド大学と現実科学ラボがお届けする「現実科学 レクチャーシリーズ」。
「現実を科学し、ゆたかにする」をテーマに、デジタルハリウッド大学大学院 藤井直敬卓越教授がホストになって各界有識者をお招きし、お話を伺うレクチャー＋ディスカッションのトークイベントです。
X（旧Twitter）のハッシュタグは「#現実とは」です。ぜひ、みなさんにとっての「現実」もシェアしてください。
概要
- 開催日時：2024年2月28日（水）19:30～21:00
- 参加費用：無料
- 参加方法： Peatixページより、参加登録ください。お申込み後、Zoomの視聴用リンクをお送りいたします。
視聴専用のセミナーになりますので、お客様のカメラとマイクはオフのまま、お気軽にご参加いただけます。
ご注意事項
- 当日の内容によって、最大30分延長する可能性がございます。（ご都合の良い時間に入退出いただけます。）
- 内容は予期なく変更となる可能性がございます。
- ウェビナーの内容は録画させていただきます。
プログラム（90分）
- はじめに
- 現実科学とは：藤井直敬
- ゲストトーク：徳井直生氏
- 対談：徳井直生氏 × 藤井直敬
- Q&A
登壇者
徳井直生
アーティスト／研究者。AIを用いた人間の創造性の拡張を研究と作品制作の両面から模索。アーティスト、デザイナー、AI研究者／エンジニアなどから構成されるコレクティブ、Qosmo（コズモ）を率いて作品制作や技術開発に取り組むほか、23年7月設立のNeutone（ニュートーン）では、AIを用いた新しい「楽器」の開発を手がける。2021年1月には、これまでの活動をまとめた『創るためのAI — 機械と創造性のはてしない物語』を出版（大川出版賞受賞）。2024年1月に初めての英語の単著、”Surfing human creativity with AI”の出版を予定。東京大学 工学系研究科 電子工学専攻 博士課程修了。工学博士。
https://twitter.com/naotokui
藤井 直敬
株式会社ハコスコ 取締役 CTO
医学博士／XRコンソーシアム代表理事
ブレインテックコンソーシアム代表理事
東北大学医学部特任教授
デジタルハリウッド大学 大学院卓越教授
MIT研究員、理化学研究所脳科学総合研究センター チームリーダーを経て、2014年株式会社ハコスコ創業。主要研究テーマは、現実科学、適応知性、社会的脳機能の解明。
共催
※本稿では、当日のトークの一部を再構成してお届けします。
人工現実と基底現実の境界部分にある豊かさ
藤井 まずいつものように、現実科学とはなんだ？ということについてお話します。僕らが普段生きているのは、意識的な自分と、その目の前にある物理的な世界。すべての人に共通な基底現実、科学的な世界観ですね。一方、意識的な自分の裏側には、無意識的な自分がいる。自分でもまったく気が付かない有象無象の情報が、基底現実の中に混ざり込んでいる。それを、神話的な世界観と僕は呼んでいます。
科学的世界観と神話的世界観は相入れなかったんだけれども、ここにきて色んなテクノロジーが出てくることによって、両者が融合することができるようになってきた。意識と無意識、人工現実と基底現実、その境界部分に豊かさがあるんじゃないかと考えています。
そして、その豊かさを支えているのが、BMI（ブレイン・マシン・インターフェース）や、XR、AR、VR、そしてAIといったテクノロジーです。これが、境界部分から無尽蔵の情報を私たちに提供してくれて、非常に面白い世界がこれから生まれていく。
そこで一番大事になるのが、自分の現実を定義しよう、ということです。今回は、徳井直生さんをお招きしました。創造性とAIという、すごく面白い活動をされていますので、ここから徳井さんにお話を伺いたいと思います。
AIと創造性に関心を持つきっかけになった「仮想生命体」
徳井 よろしくお願いします。「アーティスト／研究者」という肩書きになっていますが、大学院に入った頃に「AIと創造性」というのが自分の中で大きなテーマとして出てきて、それから色々な紆余曲折を経て、今も創作や研究をしています。
そういうテーマを持つきっかけになったのが、1996年頃に出会ったカール・シムズの作品でした。シムズはコンピューター・グラフィックスのパイオニアで、彼がここで何をやったかというと、仮想の3D空間を作って、遺伝の仕組みのようなものを実装したんですね。つまり、各個体がDNAを持っていて、このバーチャルな空間の中でどれくらい上手く動けるかということで取捨選択されていく。そういう進化のシミュレーションをしたところ、このように面白い動きをする生命体がでてきた、と。
これについて、シムズが「この仮想環境を作ったのは自分だが、その中でどうやってこの仮想生命体が進化したのかは説明できないし、自分で作れと言われてもできない」というようなことを言っていたのが衝撃的で。そこに僕はすごくロマンを感じたというか、面白いと思ったというのが最初の一歩でした。
AIを用いた創作活動の歴史
徳井 当時の僕はちょうどDJを始めて、音楽を創り始めて、自分の創造性のなさ、音楽性のなさにほとほとガッカリしていたところだったので。こういうAIを使って自分の音楽的な創造性をどう高められるか？が大きなテーマとして出てきたわけです。
今日聞いてくださっている皆様の中には、AIを普段の創作活動で使っている方も多いのではないかと思いますが、実はAIを絵画や音楽などの表現に応用するというのは古くから研究されていますし、色んな取り組みがなされています。
例えば1970年代には、AIアートのパイオニアであるハロルド・コーエンが、AARONというお絵描きロボットみたいなものを作っています。コーエン自身がアーティストなんですが、これは自分がどういう風に絵を描いているかをシステム化したものです。
もともとは、作品を作るプロセスだったり、美しさの裏側のある種の公式だったり、そういったものをルール化、定式化しようとする試みだったんですね。それに対して、今の僕たちが見ている機械学習、深層学習ベースのAIを使った表現活動というのは、制作のプロセスをすっ飛ばして、すでに出来上がっている作品の中にあるパターンを模倣する、というものになっている。
「創造性」の定義とは？
徳井 これに対して僕が問題視しているのは、本当に過去を学習することで新しい表現を作ることは可能なのか？という点です。こう言うと、「こんなにきれいな絵ができるんだから、AIに創造性があるって言ってもいいんじゃない？」と反論される方もいて。一部については僕も認めるんですけども、そもそもどういう創造性について議論しているのか？を明確にする必要があると思います。
マーガレット・ボーデンという心理学者は、「創造性とは『新しくて、驚きがあって、価値があるアイデアや人工物を生み出す能力』」という定義を残していて、自分としては納得性が高いなと思っています。
ボーデンはさらに、創造性の3つの分類について語っています。ひとつは、「組み合わせの創造性」。ピーナッツ・ジェリー・バター・サンドイッチとか、それまで組み合わせられていなかったアイデアを組み合わせて新しいものを作ること。もうひとつは、「探索的創造性」。ルールを元に何かをデザインして、そのパラメーターをちょっとずつ変えることで形がどんどん変化していく。あるアイデアの近傍にある新しいアイデアを探索するような創造性のあり方です。最後が「変革的創造性」で、ピカソやデュシャンの『泉』のように、今まで全くなかった、存在すらも予期されなかったようなアイデアを生み出す力ですね。
それに対して、今のStable DiffusionやChatGPTみたいなモデルはどうなっているかというと、基本的には学習データを大量に集めて、そのデータにある特徴と出力のそれが近くなるようにするわけです。だからデザインとして、未知の新しい何かを作るようにはなっていない。なので、「組み合わせの創造性」や「探索的創造性」はあり得るかもしれないけど、「変革的創造性」みたいなことは難しいよね、というわけです。
違いに焦点を当てるのが人間のアーティスト
徳井 画像生成AIの話に戻ると、やっぱりこう、“それっぽさ”みたいなところに囚われる結果になっているなと感じていて。そこから外に出て、新しいものを作っていこうという動機づけが逆に難しくなっているんじゃないかと感じています。
これはまだ自分の中でもまとめきれていないんですが、AI生成の画像や動画がすごく記号的だなと思っていて。OpenAIのSoraという動画生成AIのデモを見たときに、本当に何か記号が写っている、記号が動いているという風に見えたんですね。桜っていうのはこうだ、東京っていうのはこうだ、屋台っていうのはこうだっていう、記号が動いている。
AIは人間のように、実体の「桜」と記号としての「桜」をつなげることができない。でも深層学習以降、とにかく大量にデータがあれば、「桜」というものをいちいち定義しなくても、統計的に「桜」のパターンが“理解”できるよね、という風になってきたわけです。
それって、「桜」と聞いたときに皆が同じ「桜」を想起するという、全員が共通する現実を持っている前提で動いているモデルのような気がしていて。でも本当は、それぞれの人が違う「桜」を頭の中に持っているんです。
アーティストは、その違いを掘り起こすというか、違いに焦点を当てるのが仕事だと僕は思っているんですけれども、そのあたりの個人差みたいなものが捨像されて、最大公約数的な記号に押し込められてしまっているなと感じています。これは、もう少し突き詰めて考えたいなと思っているところです。
AIを活用して未知の音楽表現を探る「AI DJプロジェクト」
徳井 最初に言ったように、自分の目的意識としては自分にとって未知なる表現、驚くようなもの、見たことがないもの、聴いたことがないものを計算機（AI）を使って創り出したいというのが根幹にあります。そのために、今は2つの方向から進めています。
ひとつは、AI×人。アーティストの力を活用するための、道具としてのAIのあり方ということで、紹介したいのが『AI DJプロジェクト』です。2015年にスタートした時は、僕が1曲かけたら次にAIがそれに合う曲を選んで、それに合わせてまた僕が選曲するというバック・トゥ・バックという形でやっていました。
今から考えると原始的な仕組みで、音楽の特徴を抽出して、あらかじめ用意しておいたライブラリーの中から雰囲気が近いものを選んでくるという実装をしています。DJって、前にかかっている曲の流れをいかにキープして、お客さんがスムーズに気持ちよく踊れるようにするっていうのが基本なので、そういう仕組みにしていました。
でも面白いのが、ぴったりくる曲をずっとつなげていると、お客さんが飽きちゃうんですね。そこで、骨格検知のアルゴリズムを使って、お客さんが踊っていれば今かかってる曲の雰囲気をキープするんだけど、ちょっと飽きてきたら特徴量の空間の中で少し遠くにある、つまり違う雰囲気の曲をかけることで場を盛り上げる、みたいなことをやっていました。
今は、曲をミックスするのではなくて、全部リアルタイムにAIが生成しているものを僕がミックスする、というようなことをやっています。モーフィングみたいに、スペクトログラムを生成して、曲がどんどん変化していくというような感じです。
AIが色んな方向に行こうとするのを、まあまあこっちだよって方向づけしてあげるみたいな。こうなると、どこまでがAIで、どこまでが自分かがわからなくなってきます。DJってディスク・ジョッキー、「ディスクを乗りこなす人」ですよね。それに対して、AI・ジョッキーというか、AIを乗りこなしているような感覚があります。
ツールの“誤用”が新しい表現を生む
徳井 もうひとつは、AIの枠組みの改変ですね。表現の歴史を見ると、アーティストがツールを「誤用」した時に新しい表現が生まれることがあります。例えば、ターンテーブルでレコードを手でこすって音楽を作るなんてことは、ターンテーブルの会社は全く考えていなかったんですけど、そうやって誤用する人がいたから、ヒップホップなどの音楽が生まれてきたわけです。
でもAIの音楽ツールは、誤用するのが難しい。プログラミングができないと動かせなかったり、完全にパッケージ化されていて、ボタンをクリックしたら曲が完成したり。それだと、アーティストは別に面白くない。やっぱり自分が主体的にそのツールを使って音楽を作りたいので。
そこで、誤用できるAIツールということで、Neutoneをやっています。Ableton Liveなどの音楽制作ソフトウェア上で使えるプラグインとして公開しているので、アーティストは特にAIのことを考えずに最新のAIモデルが使えますし、腕に覚えのある人なら自分独自のプログラムをラップして使うこともできるようになっています。3月中には、Neutone Morphoという製品もリリースします。これは、例えばドラムのループを入力にして、リアルタイムにそれが別の音に変化していく、ということができます。
生成AIというと、どうしても既存の作品を再生産するものと思われがちなんですが、そうじゃないAIツールのあり方もあるということを言いたくて。Neutone Morphoはまるっと作品を生成するわけではないんだけど、こういうツールを使うことで、今までなかった音の変化を実現できて、アーティストがそれを使って新しい表現を生み出してくれたらいいな、と思っている次第です。
“模倣”ではなく“新しい表現”を生み出す実装は可能か？
徳井 最後に、今いちばん自分が興味のあるところを話して終わりにしたいと思います。既存の表現ではない、新しい表現を作るためにAIで何ができるかということですね。
深層学習のひとつ前に中心的なアーキテクチャーだったGenerative Adversarial Networksというのがありあます。画像を生成するネットワーク（生成器）と、その生成された画像を見分けるネットワーク（識別器）の2つを使うモデルです。生成器は学習データそっくりのデータを生成するように学習して、識別器は学習データにあった本物か、生成器が作った偽物かを見分ける学習をする。この2つを戦わせることで、それぞれの精度がすごく上がっていく。
ここでやっていることって、結局は模倣なんですね。そこでこの仕組みをちょっと改変して、音楽のリズムの生成に応用してみました。ジャンルを識別する識別器を追加して、生成器は指定したジャンルのリズムを本物っぽく生成しつつ、ジャンルを識別する識別器を混乱させる、騙すように学習させる。そうすると、リズムっぽいんだけど、あまり聴いたことがないような不思議なリズムが生まれています。
これは本当にまだ研究段階ですが、AI自体のフレームワークをうまくコントロールすることで、単なる既存の表現物の模倣や再生産ではない、新しいものを生み出す仕組みを作ることできるんじゃないかと考えています。
人間は適度に飛躍する
藤井 ありがとうございます。AIは、驚かせるっていう意味での創造性は感じないというのは、確かにおっしゃる通りだと思います。先ほどのバック・トゥ・バックのように、2人でやるときの面白さってびっくりすることだと思うんですね。そこでそうきたか、っていうのもそうだし、お客さんを喜ばせるっていうのもそれなんだと思うので。
徳井 人間って、適度に飛躍するんですよね。その「適度に飛躍する」というのが、AIだとかなり難しくて。やっぱり、AIが得意なのは最適解を求めるところだなあと思っています。ぴったりくる曲を選ぶセンスはすごくある。ただし、意外性みたいなものがない。だから、いったんある曲調にハマると、もうずっとそこから動かなかったりして。
藤井 局所最適みたいな感じになっちゃう。
徳井 局所最適、おっしゃる通りです。やっぱり、適度なノイズを入れるみたいなことが、人間の得意なところというか、まだAIにはできないところかなという気がしますね。
一緒にやることで生まれる新しい楽しさ
藤井 今こういうご時世になっていて、実際に音楽を生成していて、しかもなんだろう、ある意味では音楽を一緒にプレイするパートナーを作っているみたいなものですよね。囲碁や将棋ではもう人はコンピューターに勝てなくなっているけれども、一緒にやることで新しい強さや楽しさを見出せるというか。競争ではなく、新しい楽しさがあると言っているのが、音楽でも生まれつつあるということなんでしょうか？
徳井 そうですね。ただ僕の問題意識としてあるのは、どうしても省力化の方向というか、テキストプロンプトを入れたらそれが音楽になる、みたいな部分に世の中の注目や研究のリソースが動きがちなことで。
そうなると、将来的にAIが音楽を作る手助けをするってなった時に、GoogleやAmazonといった大企業が作った押し着せのAIツールを使わざるを得ない状況になってしまいます。とすると、自分が思ったように誤用できない、思った通りに使えない、ということがあると思っていて。
昔からそうだったんじゃないの？という話もあるんですけど、道具が物理的なものだった場合は割と色んな誤用の仕方ができたと思うんです。でもAIみたいにブラックボックス化が進むと、ますますそこの制約が強くなってしまう。そうすると、文化の多様性が失われるということが起こってくる。そういう意味で、誤用ができるAIツールを作る必要性を感じています。
ツールの外側に出ていくことは難しい
藤井 多様な空間ではなくて、どこかにクラスターができて、クラスターがぽんぽんぽん、っていくつかあるかもしれないけど、中間にあるユニークなものっていうのが作りにくくなるんじゃないか、っていうことなんですよね。
徳井 さらに言うと、その空間自体を拡張させることにもつながらないっていうことですね。そうは言っても、AIで生成した画像に手を加えて作品にするみたいなことが普通にやられているから大丈夫だろう、みたいな話をされる方もいるんですけれども。やっぱり、ツールが簡単になり過ぎていくと、ツールの外側に出ていくのは結構難しくなっちゃうなと。だって、ボタン押してすごいものができるってなったら、それでいいじゃないかってなっちゃいますよね。
藤井 特に素人はそう思いますよね。これとあれ、何が違うんだ？って。
徳井 今のアーティストって言われている人たちはそうじゃない時代を知っているから、差異化ができるんですけど、AI画像生成と生まれ育った子供たちが大人になった時にどうなるのかっていうのは、結構考えないといけないことだろうなって思いますね。
徳井さんにとっての「#現実とは」
藤井 最後に、徳井さんにとっての現実とは何でしょうか？
徳井 僕、サーフィンが好きで、何でもサーフィンに例えるんですけど。自分とは、自分の持っている世界観やアイデア、世界とはこういものだっていう感覚と、外からくる現実と、色んな周りの環境とのせめぎ合い。自分の中の現実と外の現実のせめぎ合いからできているなと思っていて。
サーフィンって、基本的には受け身で波に乗る、というか波に流されるんですけど、どこかで主体的に波を選んだり、ターンする場所を選んだりする。そういう、受動性と主体性がせめぎ合うスポーツで。僕のAIとの付き合いも、社会に出てからの人生も、色々なことに流されつつ、何となく興味のあるところに戻ってきたりして。そのあたりをうまくコントロールできると、豊かに生きられると思っているので。
そういう意味で、自分にとっての現実はサーフィンだ、ということにしておきたいと思います。
藤井 なんだろう、せめぎ合っているところを主体的に描いていく、境界を設定しながら生きていくっていう、そういうことですかね？
徳井 そうですね。
藤井 うん、かっこいいね。
（テキスト：ヨシムラマリ）