そこで、人工知能に関するいくつかの辛辣な考えを共有できることに興奮しています。
しかし、まずは哲学的な話をしましょう。
まず、18 世紀の啓蒙哲学者ヴォルテールの言葉から始めましょう。「常識はそれほど一般的ではない」。
結局のところ、この引用は今日の人工知能にとってこれ以上に意味のあるものではないことが分かりました。
それにもかかわらず、AI は紛れもなく強力なツールであり、世界クラスの囲碁チャンピオンを破り、大学入学試験で成績を収め、さらには司法試験にも合格しました。
私は 20 年間コンピューター科学者として人工知能の研究に取り組んでいます。
私は AI をわかりやすく理解するためにここにいます。
つまり、今日の AI はゴリアテのようなものです。
文字通り、とても、とても大きいです。
最近のものは数万の GPU と 1 兆の単語でトレーニングされていると推測されています。
このような極端な規模の AI モデルは、大規模言語モデルと呼ばれることが多く、小さく愚かな間違いを犯す場合 (よくあることですが) を除いて、汎用人工知能である AGI の火花を実証しているように見えます。
多くの人は、今日 AI が犯す間違いは何であれ、規模を拡大し、リソースを増やすことで簡単に修正できると信じています。
何が問題になる可能性がありますか?つまり、社会レベルで私たちがすでに直面している差し迫った課題が 3 つあります。
まず、超大規模な AI モデルのトレーニングには非常に費用がかかり、そうする余裕のあるテクノロジー企業はほんのわずかです。
したがって、私たちはすでに権力の集中を目にしています。
しかし、AI の安全性にとってさらに悪いことは何でしょうか?より大きなコミュニティの研究者にはこれらのモデルを実際に検査して分析する手段がないため、私たちは現在、これら少数のテクノロジー企業のなすがままになっています。
そして、その膨大な二酸化炭素排出量と環境への影響も忘れてはなりません。
さらに、これらの追加の知的質問もあります。
確固たる常識を持たない AI は人類にとって本当に安全でしょうか?そして、総当たりスケールが本当に AI に教える唯一の方法であり、正しい方法なのでしょうか?そのため、最近では、非常に大規模なコンピューティングを使用せずに有意義な研究を行うことは可能なのかとよく尋ねられます。
そして、私は大学と非営利研究機関で働いているため、巨大な言語モデルを作成するための大規模な GPU ファームを買う余裕はありません。
それでも、AIを持続可能で人間らしいものにするために、私たちがやるべきこと、できることはたくさんあると私は信じています。
AIを民主化するにはAIを小型化する必要があり、人間の規範や価値観を教えることでAIをより安全にする必要があります。
おそらくダビデとゴリアテから類推することができるでしょう。
ゴリアテは極端なスケールの言語モデルであり、私の解釈では、敵を知り、戦いを選択し、武器を革新するという古い古典である「戦争の芸術」からインスピレーションを得ています。
まずは敵を知ることから始めましょう。これは、AI を綿密に評価する必要があることを意味します。
AIは司法試験に合格しつつある。
ということは、AIは常識的には強いということなのでしょうか？そう思うかもしれないが、それは決して分からない。
そこで、5 枚の服を天日干しにしておいたところ、完全に乾くまでに 5 時間かかったとします。
30枚の服を乾かすのにどれくらい時間がかかりますか?最新かつ最高の AI システムである GPT-4 は、30 時間と言われています。
良くない。
別のものです。
12 リットルの水差しと 6 リットルの水差しがあります。6 リットルを測りたいと思っています。
どうすればいいのですか？ 6リットルの水差しを使うだけですよね？ GPT-4 は非常に手の込んだナンセンスを吐き出します。
ステップ 1、6 リットルの水差しを満たします。
ステップ2、6〜12リットルの水差しに水を注ぎます。
ステップ 3、6 リットルの水差しを再び満たします。
ステップ 4、6 リットルから 12 リットルの水差しに水を非常に注意深く注ぎます。
そして最後に、6 リットルの水差しには 6 リットルの水が入っており、もう空になっているはずです。
はい、もう 1 つ。
釘、ネジ、割れたガラスの上に架かった橋を自転車で渡ったら、タイヤがパンクするでしょうか?はい、その可能性が非常に高いと GPT-4 は言います。
おそらく、橋が折れた釘や割れたガラスの上に吊るされている場合、橋の表面がこれらの鋭利な物体に直接触れないと正しく推論できないためだと考えられます。
では、司法試験に合格したにも関わらず、そのような基本的な常識で無作為に不合格となった AI 弁護士についてどう思いますか?今日の AI は信じられないほど賢いですが、驚くほど愚かでもあります。
これは、強引なスケールで AI を教えることによる避けられない副作用です。
規模の楽観主義者の中には、これについては心配する必要はないと言う人もいるかもしれません。この問題はすべて、同様の例を AI のトレーニング データとしてさらに追加することで簡単に修正できます。
しかし、本当の疑問はこれです。
なぜそんなことをする必要があるのでしょうか？同様の例を使ってトレーニングする必要がなく、すぐに正しい答えを得ることができます。
子どもたちは、そのような基本的な常識レベルを習得するために、1兆語も読んでいるわけではありません。
したがって、この観察は次の知恵、つまり戦いを選択することにつながります。
では、極限規模の AI でこの現状を打破するために、私たちは今どのような根本的な疑問を持ち、今日取り組むべきなのでしょうか?常識は最優先事項の一つだと思います。
そのため、常識は AI における長年の課題でした。
その理由を説明するために、暗黒物質に例えてみましょう。
つまり、宇宙のわずか 5% のみが目で見て触れ合うことができる通常の物質であり、残りの 95% は暗黒物質と暗黒エネルギーです。
暗黒物質は完全に目に見えませんが、光の軌道を含む目に見える世界に影響を与えるため、暗黒物質が存在すると科学者は推測しています。
したがって、言語の場合、通常の物質は目に見えるテキストであり、暗黒物質は世界の仕組みに関する暗黙のルールであり、人々が言語を使用し解釈する方法に影響を与える素朴な物理学や民族心理学が含まれます。
では、なぜこの常識が重要なのでしょうか?さて、ニック・ボストロムが提案した有名な思考実験では、AI はペーパークリップを作成して最大化するように求められ、その AI は人間をペーパークリップに変えるための追加リソースとして利用するために人間を殺すことにしました。
なぜなら、AIは人間の価値観について人間の基本的な理解を持っていなかったからです。
ここで、方程式に「人間を殺さない」というより良い目的を明確に記述することも機能しません。AI が、それが完全に問題ないと考えて、すべての木を枯らす可能性があるからです。
そして実際、ペーパークリップを最大化する際に AI が明らかにすべきではないことは他にも無限にあります。これには、フェイクニュースを広めない、盗まない、嘘をつかないなどがあります。これらはすべて、どのようにするかについての私たちの常識的な理解の一部です。世界は機能します。
しかし、AI 分野では数十年にわたり、常識はほぼ不可能な課題であると考えられてきました。
それがあまりに多かったので、数年前に学生や同僚と私がそれに取り組み始めたときは、とても落胆しました。
私たちは彼らに、これは 70 年代から 80 年代の研究テーマであり、決してうまくいかないので取り組むべきではないとさえ言いました。
実際、真剣に受け止めるためには、その言葉さえ言わないでください。
さて、今年に早送りすると、チェット・チェピティが問題をほぼ解決したので、それに取り組む必要はないと聞いています。
そして、物事をスケールアップするだけで魔法が生まれ、他には何も関係ありません。
したがって、私の立場は、真の常識、人間らしい、堅牢な常識を AI に与えるのはまだムーンショットだということです。
そして、世界で最も高い建物を一度に 1 インチずつ高くしても、月に到達することはできません。
極端なスケールの AI モデルは、これまで以上に多くの常識知識を獲得します。それについてはお伝えします。
しかし、子供でもできるような些細な問題でつまずいてしまうということを覚えておいてください。
したがって、今日の AI は非常に非効率的です。
そして、代替の道、まだ見つかっていない道、ディープ ニューラル ネットワークの進歩を基にして、規模をそれほど極端に拡大することなく構築できる道があるとしたらどうなるでしょうか?したがって、これは私たちの最終的な知恵、つまり武器を革新することにつながります。
現代の AI の文脈では、これはデータとアルゴリズムを革新することを意味します。
さて、現代の AI がトレーニングされるデータには大まかに 3 種類あります。
生の Web データ、細工されたサンプル、AI トレーニング用にカスタム開発されたもの、そして人間の判断 (AI のパフォーマンスに関する人間のフィードバックとも呼ばれます)。
AI が最初のタイプである、無料で入手できる生の Web データのみでトレーニングされた場合、このデータには人種差別、性差別、誤った情報が読み込まれているため、良くありません。
つまり、どれだけ使っても、ゴミが入ったりゴミが出たりするのです。
そのため、最新かつ最高の AI システムは現在、人間の作業者によって作成および判断される 2 番目と 3 番目のタイプのデータを利用しています。
これは、AI が学習するための専門的な教科書を作成し、人間の家庭教師を雇って AI に継続的にフィードバックを与えることに似ています。
これらは概して独自のデータであり、数千万ドルの費用がかかると推測されています。
これに何が含まれているのかはわかりませんが、多様な規範や価値観を検査して確実にサポートできるように、公開され、一般に公開されるべきです。
このため、UW と AI2 の私のチームは、AI に基本的な常識規範とモデルを教えるための常識知識グラフとモデル規範リポジトリに取り組んできました。
このような重要な研究テーマでは透明性が鍵となるため、当社のデータは完全にオープンになっており、誰でも内容を検査して必要に応じて修正することができます。
次に、学習アルゴリズムについて考えてみましょう。
大規模な言語モデルがどれほど素晴らしいものであっても、設計上、信頼できる知識モデルとして機能するのに最適ではない可能性があります。
そして、これらの言語モデルは確かに膨大な量の知識を獲得しますが、それは直接的な学習目的とは対照的に副産物としてであり、その結果、幻覚効果や常識の欠如などの望ましくない副作用が生じます。
対照的に、人間の学習は決して次にどの単語が来るかを予測することではなく、実際には世界を理解し、世界がどのように機能するかを学ぶことです。
そしてもしかしたら、AIもそのように教えられるべきなのかもしれない。
そこで、より直接的な常識知識の獲得を目指して、私のチームは、記号知識の蒸留を含む潜在的な新しいアルゴリズムを調査してきました。これは、ここに示されているように、大きすぎて画面に収まりませんでした。そして、ディープ ニューラル ネットワークを使用して、それをはるかに小さな常識モデルにまで細分化します。
そしてそうすることで、人間が検査できる象徴的な常識知識表現もアルゴリズム的に生成し、人間が検査して修正したり、他の神経常識モデルをトレーニングするために使用したりすることもできます。
もっと広く言えば、私たちは物理的、社会的、視覚的な常識から心の理論、規範、モデルに至るまで、この一見不可能に見える常識の巨大なパズルに取り組んできました。
個々の作品は風変わりで不完全に見えるかもしれませんが、一歩下がってみると、これらの作品が人間の経験や常識と呼ばれるタペストリーに織り込まれているかのようです。
私たちは現在、AI が人間と比較して独自の長所と短所を備えた新しい知的種のような新しい時代に突入しています。
この強力な AI を持続可能で人間らしいものにするためには、AI に常識、規範、価値観を教える必要があります。
ありがとう。
あれ見てよ。
ギジンさん、ちょっと待ってください。
非常に興味深いですね、この常識的な考え方。
私たちは皆、これから何が起こるとしてもこれを本当に望んでいることは明らかですが、理解するのを助けてください。
そうですね、私たちは子供の学習モデルを作りました。
より多くのインプットと人間からのフィードバックを蓄積する以外に、子供はどのようにして常識を獲得するのでしょうか?他には何があるの？基本的に欠けているものがいくつかありますが、その 1 つは、たとえば、仮説を立てて実験を行い、世界と対話してこの仮説を発展させる能力です。
私たちは世界がどのように機能するかについての概念を追跡しなければなりません、そしてそれが私たちが本当に学ぶ方法です。
今日の言語モデルとは対照的に、その一部は実際にはまだ実現されていません。
あなたは、建物を一度に 1 フィートずつ拡張しても月には到達できないという例えを使いました。
しかし、私たちのほとんどがこれらの言語モデルについて経験したことは、一度に 1 フィートではありません。
まさに息を呑むような加速です。
こういったことが進んでいるペースを考えると、次のレベルに進むたびに、知恵や知識のようなものがもたらされるように見えると確信していますか?スケールアップによって実際に全体的なパフォーマンスが向上するのは驚くべきことであるという意見に完全に同意します。
つまり、コンピューティングとデータの規模に応じて実際の学習が行われます。
しかし、学習の質はまだそこまで達していません。実際のところ、単に規模を拡大するだけでそこに完全に到達できるかどうかはまだわかりません。
それができないとしたら、他に何があるかという疑問が生じます。そして、たとえそれができたとしても、少数の人だけが作成して所有できる非常に極端なスケールの AI モデルを所有するというこのアイデアは気に入るでしょうか?つまり、OpenAI が「私たちはあなたの仕事に興味があるので、私たちのモデルの改善に協力してほしい」と言った場合です。
あなたがやっていることと彼らが構築したものを組み合わせる方法はありますか?確かに、私が想像しているのは、ディープ ニューラル ネットワークの進歩に基づいて構築する必要があり、そのような規模のゴルディロックス ゾーンが存在する可能性があります。ちなみに、小さいほど良いとは考えていません。
おそらく適切な規模はあるでしょうが、それを超えた勝利のレシピは別のものである可能性があります。
したがって、ここではいくつかのアイデアの統合が重要になります。
チェ・イェジンさん、貴重なお話をありがとうございました。
ありがとう
コメント