まてんろう@DAPPS KANSAI

これ普通に人類史が変わろうとしているニュースなのに話題になってないけどアメリカ議会で「AGI」の「マンハッタン計画」の推進が初めて提言されたのはやばすぎるので全員知ってほしい。歴史的な瞬間だ。議会でおそらくはじめてAGIとマンハッタン計画という言葉が出てきて、その勧告がなされたんですよ。

元OpenAI GTM責任者『Transformerが、AGIを実現できないと信じる理由は何もありません』（23/10末インタビュー） ・Transformerが、AGIを実現できないと信じる理由は何もない ・AGIが2027年に実現しても驚かない（23/3発言） ・人類史上最も重要な産業革命が目前に迫っている ・これから起こる革命は「火、車輪、水道、インターネット」などの発明とは、比べものにならない ・先端技術と商用展開の間に、18ヶ月から24ヶ月のギャップがある ・今後10年以内に、癌やアルツハイマーなど、不治の病のほとんどが治るようになる ・労働者の生産性と仕事への満足度が大幅に向上する ・AI家庭教師や、簡易的な診察がスマホで出来るAI医師が登場する ・第1フェーズ：現在の状態。AIを専用のアプリで起動し使用する期間は、約18ヶ月続く ・第2フェーズ：AIエージェント。アプリを操作せず自然言語で話しかけて動作するエージェントは、12～18ヶ月以内に実現する ・第3フェーズ：AIのOS化。AIがOSそのものになる ・第4フェーズ：AGIの登場（早ければ2027年） 上気はシンギュラリティdiscord server のnone5200氏による要約。以下彼彼女によるインタビュー翻訳。 languid-gaura-c6e.notion.sit… 以下Discordサーバー discord.com/invite/eMSa5B3SC…

日本のAI研究者もビジネスサイドも人文系も（つまり日本人のほぼ全員）が今文脈として理解していない可能性があるのが ①AGIは相当早い時期（数年後）に実現する可能性がある。 ②AI Alignment問題に対する懸念は相当深刻（人類規模の課題）として国際的に認識されつつある。 ということな気がする。 ①に関してはまだ日本の多くの人によって認識され始めている状況で②よりはまだ認知度は高いと思われるが、これが 本当なら国家安全保障上の問題になり得るため論文等では革新を確認できない。その一方で状況証拠的にAGIの実現が相当近いことが示唆される。 （確実とは言えないのは当たり前ですが、注意が必要） xitter.gq/bioshok3/status/… xitter.gq/bioshok3/status/… ②に関しては、日本はもともと「シンギュラリティのポジティブな側面」が多くビジネスリーダーや思想家に共有されてるが、高度なAIのもたらす「壊滅的なリスク」については驚くほど日本で文脈が共有されていない。 そのため、何故アメリカとイギリス（EUも追従）が今ここまで国際的に規制を急ピッチで進めているのかを理解しにくいかもしれない。 20年以上前からアメリカのベイエリア（Eliezer Yudkowsky）とオックスフォード（Nick Bostrom）中心に高度なAIがもたらす人類存亡リスクが懸念され、10年前から効果的利他主義（EA）コミュニティに広がり、そこから世界中の規制機関やビリオネアに大きな影響を及ぼしている。 シンギュラリティ系の思想自体は20世紀からあり、2000年代前半にカーツワイルがシンギュラリティは近いを出してから日本でもメディアやビジネスサイドでも取り上げられるほど浸透。 一方でそもそも2000年代前半から実は「シンギュラリティシンギュラリティいうけど、それって人類滅亡リスクもあるのでは？」という懸念が爆誕し、シンギュラリティ思想とは別の運動として、AIのもたらす存亡リスク、いわゆるAI Doomerismが勃興、今の世界的なAI規制論に結びついているのは驚くほど日本で共有されてないし文脈として理解してる人が少ない。 ある意味このAI脅威論は今後数年で来るとても大きな波になりえる運動で、欧米圏一部では20年以上考察されてきている文化があるため、2023年からしきりにAIによる絶滅リスクが唱えられ始めたが、それはポットでの気分ではなく、明らかに20年の歴史のある議論が一般にも目に止まるようになったという話になる。 ここらへんの歴史的背景を理解しないと、そもそもOpen AI 解任騒動も、イギリスのAI Safety Summitで出されたブレッチリー宣言もアメリカ大統領令も効果的利他主義運動も理解できない。 AGIがもうすぐ本当に来ているのかどうか？はここでは重要ではなく、世界的に議論をまきおこしているAI脅威論の文脈を理解するためには、 ①AGIの早期の実現可能性 ②AIアライメント問題の歴史的背景 の2つを知らないといけないと思われるという話になる。 ちなみに欧米圏でもAI脅威論の議論は確かにめちゃくちゃ濃厚に20年以上されてきているが、去年までメジャーではなく、どちらかというと一部の研究者やオタクの好むニッチで偏った話題だった。それがGPT-4登場でアメリカのテレビでも取り上げられるほどになっている。 なのでAI脅威論が事実かどうか？そもそもAGIなんて怪しい定義と概念がもうすぐくるとか言ってるのがナンセンスとか言う話は関係なく国際規制と議論は進んでいるため、文脈を理解する必要があると僕は感じている。 イーサリアムの創設者Vitalik氏の以下の図のようなイメージ、つまりAGIが制御不可能になるか悪用されることによる人類存亡かAGIによるユートピアか？という世界観を持っている政策立案者や研究者は増えている。 また、今後大きな議題として上がるのは高度なAIをどこまで実力行使（データセンター空爆、強硬的な警察権や軍事力の行使）が認められるか？といったEmile Torres氏（長期主義批判）の懸念するリアリティのある話題にもなり得る。 ※ちなみに、Torres氏の批判は理論的には長期主義批判にはなっていないという効果的利他主義コミュニティからの応答があります。 なので今後高度なAIが実現が近いならば、AIの制御が不可能になり、人類社会に壊滅的なダメージを与える可能性、それを防ぐ手立てとしてどこまでの実力行使が許されるのか否か、戦争や全体主義やテロはどこまで悪化していくのか？などの議論が急激にリアリティをもって来る可能性があるため、情報を共有だけはしたく以下のようなAI Alignment/Governanceや存亡リスクの歴史的背景について書かせていただいています。 ここら辺の議論（なぜAIが人類を絶滅させるのか？専門家はどのように考えているのか？技術的政策的対策は？歴史的背景は？等）は個人的には網羅的に書いたつもりではあるので、是非興味ある方は見ていただければと思います。 xitter.gq/bioshok3/status/…

note.com/bioshok/n/n423d2ca1… 以下簡易的に私の今持っている様々なタイムラインを記載したものを公開します。理由などは細かくは書いていませんが後書く予定です。

OpenAI ガバナンスチームのDaniel Kokotajiro氏予測プラットホームMetaculus上でAGIに関する予想に複数言及。 ●AGIはもうすぐです 『AGIはもうすぐです。 AGIはAIの研究開発を少なくとも10倍スピードアップします。 ASI (別名AIの神) はAGIよりもそれほど難しくないため、すぐ後に続くことになります。 現在、ASIを調整または制御する方法がわかりません。 OpenAIの計画は、初期のAGI風のシステムを使用して、AIの調整と制御を大幅に進歩させ AGI風のシステムが機能しすぎて制御を逃れたり破壊したりする前に十分な速さで進歩することです。 これについては、OpenAI Webサイトとアラインメントブログで読むことができます。 また、最近の弱いものから強いものへの一般化に関する論文の付録Gも含まれます。 したがって、私たちのスーパーアライメント計画が何らかの形で壊れたり、失敗したり、あるいは不適切に実装されたりする可能性は十分にあります。 その結果、AGIシステムが完成し、そのすぐ後にASIシステムが調整不良で制御不能になることになります。 』（2024年1月29日） ●ASIからナノボットに移行するのに1か月もかからない（30％の確信度） 『私は「研究室の箱に入ったASIからナノボットに移行するのに1か月もかからない」 ということについてかなりの確率で考えていますが、おそらく30%程度でしょう。 （2024年2月6日） ●数十年分のAIの進歩が約1年で起こるだろう 『あなたの「...したがって、AGIは数十年も先のことである」という意見には同意しません。 あなたが言及した制限がなぜそれほど長い間克服されないのかについて、より多くの議論を提示する必要があります。 私の立場は、現在のLLMがチューリングテストに合格するということではなく、むしろ数年後のLLMベースのシステムがAIの研究開発を自動化し 大幅にスピードアップし、数十年分のAIの進歩が約1年で起こるだろうというものです。 私自身の見解では、AGIが実現され、AIの研究開発のペースが劇的に加速し、その後チューリングテストに合格し その他の多くの技術的な奇跡も起こるだろうと考えています。』 （2024年1月18日） ●AGIがいつ起こるかについて、人々の答えは矛盾しているが、彼らはまだ気づいていない 『 ・AGIの到来を人々に尋ねた場合、X年と予測する ・AGIにより経済成長率が30%以上になるのはいつかを尋ねた場合、X+10年以上と予測する ・しかし、AGIができた後、経済が変革されるまでにかかる時間を尋ねた場合、10年未満と予測する TAIの約1年以内にGWP（世界総生産）の成長が30%以上になると私は信じていますが 多くの人々はこれを信じていないか、実際には全く考えていません。 私は、人々にAGI（人工汎用知能）がいつ起こるか尋ねるとX年と言うが AIによる経済成長が1年で30%以上になる時期を尋ねるとY年と答え、Y>X+10となるが AGIが構築された後経済がどれだけ早く変化するか尋ねると10年未満と言うような フレーミング効果があると予測します。 これは矛盾していますが、まだ気づいていないものです。 （これは、最後の2回のAI Impacts調査で見つかった効果に似ており、過去のMetaculusの質問からもいくつかの証拠があります）』 （2024年1月17日） ●GPT-4がGPT-3よりも優れていたのと同じくらい、GPT-5もGPT-4よりも改善されると期待しています 『たとえば、GPT-4がGPT-3よりも優れていたのと同じくらい、GPT-5もGPT-4よりも改善されると私は確かに期待しています。 そして、それが間違っていることが判明し、スケ ーリングが停滞したり壁にぶつかったりすると、AGIのタイムラインは大幅に延びることになります。 メモリレス チャットボットは、ベンチマーク スコアがどれほど高くても、AGIではありません。 AGIは AutoGPT に似たものになり、目標を追求するために長期間自律的に動作し、仕事中に学習することができます。 AutoGPT5か何かが広く役立つことで実際に感動する頃には...それは基本的にAGIになるのではないでしょうか?』 （2023年12月29日） ●もしAGIが2年以内にやって来たら完全に終わりだ。より良いセキュリティとアライメントが必要だ（＊本音か、例え話かは不明です） あなたは私を自信過剰であると見せています。 これは不公平だと思います。 過信の非難は、しばしば単に聴衆との意見の相違の非難であり、聴衆が同意する主張に対しては、聴衆の過信分類器が作動しないからです。 例: AとBという2人の聴衆について考えてみましょう。 聴衆Aは、最新のAIシステムが制御から逃れられないようにする責任を負うOpenAI準備チームの人々と政府機関の職員であり 私たちがAGIに近づいているように見えることを既に非常に懸念しています。 視聴者Bは、metaculuで見られるような、通常の予測者の集団です。 聴衆Aは 「クソ、まだ準備ができていない。今後2年間にAGIが発生しないことを祈りたい。 そうしないと完全に台無しになるだろう。もっと良いセキュリティとアライメント技術が必要だ。昨日にでも必要だったくらいだ」 と考えています。 その場合、あなたがAGI発生確率は10%未満だと言えば、Aはあなたが狂ったように過信していると思うでしょう。 90%以上の確信？どのような議論に基づき、どのようなデータに基づくのか？ したがって、もし私たちの共有された聴衆が聴衆Aではなく聴衆Bだった場合 私は謙虚なカードを使って安易なポイントを得ることができます。 （2023年12月29日） 
GPT-4解説： この文は、話者（kokotajlodさん）が、聴衆によって受け取られる自身の発言の認識が異なる可能性があると指摘しています。 ここでの「謙虚なカードを使う」という表現は、自己を控えめに見せることで同情や理解を得ようとする戦略を意味します。 つまり話者は、もし彼らの話を聞く人々がAGI（人工汎用知能）の到来について非常に心配している専門家（聴衆A）ではなく 一般的な予測者（聴衆B）であれば、自分の見解を控えめに表現することで、より肯定的な反応や同意を簡単に得られるだろうと述べています。 ●私たちはもうすぐAGIに到達します 『私たちはもうすぐAGIに到達します。 新しいハードウェア設計は必要ありません。 H100がたくさんあります。 証拠が積み重なって、どこから始めればいいのかさえ分からないほどだ。 スケーリングの法則? GPT-2とGPT-3? AutoGPT4?』 （2023年10月20日） 「2030年までにASIが出来る確信度は70％」以前LessWrongでも書いていた 「(1) 2024 年第 1 四半期: GPT-4 よりも大きくて優れたモデルがどこかの研究室からリリースされます」 と言った予測があります。xitter.gq/bioshok3/status/174259… 前回は各予測が実現した場合の、2027年までにAGIが出来る確信度を表すのに使用していましたが 今回は同じものを、2030年までにASIが出来る確信度に使用しています。 『2030年までにASIに対するあなたの信頼はどの程度になるでしょうか? 私の答えは次のとおりです。 ステージ 0: (つまり、私の現在の確信度) 70% ステージ 1: 70% ステージ 2: 80% ステージ 3: 80% ステージ 4: 90% ステージ 5: 95% ステージ 6: 100%』 （2024年1月26日） 多くのOpenAI社員がAGIについて言及を避ける中Daniel kokotajiro氏はMetaculusにて、AGIについて熱く推測している。 ※以下参考 metaculus.com/accounts/profi… ※このまとめや図は以下のSingularity Discord Serverの有志によって作成されました。 discord.gg/E953nHEsEC

これは衝撃的な発言。 Open AI主任科学者のIlya Sutskever氏は昨日のインタビューにて、AGIにたどり着くためにはTransformerアーキテクチャ＋αで「明らかに」問題ないと言っている。 そしてデータ不足の問題も詳細は言えないようだが、「解決できる」と明確に話している。 youtube.com/watch?v=Ft0gTO2K…

マイクロソフトは去年Natural speech 論文で初めてTTSで人と統計的に見分けのつかないとされるレベルにまで至っていて、今年VALL-Eもリリースしているので、Whisper +GPT4+そのどちらかなんだろうけど、違和感を感じない。論文レベルではそれを知っていたけどいざ製品化されると実感する。

OpenAIがついにマルチモーダル（複数画像を条件付け可）機能をリリース！今後2週間かけてPlusユーザーに開放予定。 また音声会話機能（音声認識はWhisper使用し、プロの声優で合成音声作成）もAndroidとiOSで提供される。 11月頃かと思っていたが、想像以上に早かった。

ついに、OpenAIが公式のブログタイトルに「超知能」という言葉を使った記事を公開。 今後10年以内に出現する可能性を示唆しているように書かれている。 原子力規制のIAEAのような国際的な人類に対する存亡リスクを軽減することに重点を置く組織が必要と記述。