防走失，電梯直達
安全島報人劉亞東A來源：先知思想
作者：尤瓦爾·赫拉利
尤瓦爾·赫拉利（1976年—），生於以色列。2002年獲牛津大學博士學位，現任教於耶路撒冷希伯來大學歷史系。著有“人類簡史三部曲”（《人類簡史》《未來簡史》《今日簡史》）和《智人之上》等。
本文根據赫拉利在Frontiers Forum 2023 大會上的演講翻譯而成，原標題為“ AI與人類的未來(AI And The Future Of Humanity)”。
今天我想和大家聊聊AI，以及它可能給人類的未來帶來什麼。
我知道這次大會的主題是人類面臨的生態危機，但AI，不管是好是壞，都和這場危機息息相關。
它可能在很多方面幫我們化解危機，但也可能讓情況雪上加霜。
無機的智慧體
實際上，AI甚至可能會改變我們對生態系統的理解。
要知道，在過去的四十億年裡，地球的生態系統裡只有有機生命。
但現在，或者說在不久的將來，我們可能會看到地球上第一次出現無機生命，或者至少是無機的智慧體。
自從二十世紀中期，也就是計算機時代開始，人們就開始害怕AI。這種恐懼也催生了很多經典的科幻作品，像《終結者》和《駭客帝國》。
這些科幻故事如今已成了文化符號，但它們在學術界、科學界和政界，卻並沒有得到足夠的重視。也許，這是有原因的。
因為在這些科幻故事裡，通常都有一個前提，那就是AI要對人類產生威脅，就必須先達成兩個重要的里程碑。
第一，AI必須要有知覺，發展出意識、情感和感覺。不然的話，它為什麼要統治人類呢？
第二，AI必須得擅長在物理世界裡行動。機器人起碼得像人類一樣，靈活高效地在房屋、城市、山林裡穿梭才行。如果它們連物理世界都搞不定，又談何統治世界呢？
截至2023年4月，儘管ChatGPT和其他新的AI工具被炒得沸沸揚揚，但它們似乎離這兩個目標還很遙遠。我們沒有任何證據表明，這些工具有哪怕一丁點的意識、感覺或情感。
至於在物理世界中導航，雖然自動駕駛汽車的宣傳鋪天蓋地，但它們真正能佔據我們道路的日子，卻總是一再延後。
然而，令人不安的是，AI想要威脅人類文明的生存，其實並不需要意識，也不需要在物理世界裡自由行動。
最近幾年，一些新的AI工具開始進入公共領域。它們可能會以我們意想不到的方式，對人類文明的生存構成威脅。
這些新工具的能力，以及它們發展的速度，都讓人難以置信。
新AI工具的基本功能
AI可以透過自學來不斷提升自己。就連開發者，也沒法完全掌握自己創造出的東西的所有能耐。這些工具展現出的新能力，常常讓開發者自己都感到驚訝。
我想在座的各位，對新AI工具的一些最基本功能，比如寫作、繪畫、作曲和程式設計，應該都有所瞭解。
但它們的新能力遠不止於此。比如說，它們可以深度偽造人聲和影像，可以起草法律檔案，還能找出計算機程式碼，甚至是法律合同和協議裡的漏洞。
但最厲害的，恐怕還是它們與人類建立深厚親密關係的能力。每一種能力都值得我們深入探討，但它們的影響實在太大，我們很難完全理解。
所以，為了方便大家理解，我們不妨把這些能力都歸為一類：操縱和生成語言的能力，不管是透過文字、影像還是聲音。
目前這場AI革命，最關鍵的一點是，AI對語言的掌握程度，已經超越了人類的平均水平。
透過掌握語言，AI就等於拿到了開啟所有機構大門的鑰匙，從銀行到寺廟，莫不如此。
因為語言是我們向銀行發出指令，以及在我們腦海中描繪美好願景的工具。
我們可以這樣理解，AI入侵了人類文明的作業系統。語言，一直是人類歷史上所有文化的作業系統。
語言是萬物之始
我們用語言創造神話和法律，創造神靈和金錢，創造藝術和科學，創造友誼和國家。
舉個例子，人權並不是一種生物學上的事實，它並沒有寫在我們的DNA裡。
人權是我們用語言創造出來的，透過講故事和制定法律。
神靈也不是生物學或物理學上的事實，神靈也是我們人類用語言創造出來的，透過講述傳說和撰寫經文。
金錢也不是生物學或物理學上的事實。紙幣不過是些毫無價值的紙片。而現在，世界上超過90%的錢甚至都不是紙幣，它們只是計算機裡的電子資訊，在不同的賬戶間流轉。
任何形式的貨幣之所以有價值，都只是因為銀行家、財政部長和加密貨幣大佬們講的故事。像Sam Bankman-Fried、Elizabeth Holmes 和 Bernie Madoff，他們並沒有創造多少真正的價值，但他們都是講故事的高手。
那麼，如果有一天，我們生活在一個絕大多數的故事、旋律、影像、法律、政策和工具，都由一個非人類的外星智慧創造的世界裡，會怎麼樣？
這個智慧懂得如何高效地利用人類思維的弱點、偏見和成癮性，並且懂得如何與人類建立深厚，甚至是親密的關係，這又意味著什麼？這才是真正的大問題。
現在，在象棋比賽中，人類已經不可能戰勝電腦了。如果同樣的事情發生在藝術、政治、經濟，甚至是宗教領域，那會怎麼樣？人們在談論ChatGPT和其他新的AI工具時，常常會想到孩子們用它們來寫作文。孩子們用ChatGPT寫作文，會對教育體系造成什麼影響？
這當然是個問題，但它並沒有抓住重點。我們應該忘掉學校作文，而應該想想，如果是在2024年的美國總統大選時，出現一種新的AI工具，可以大量生成政治宣言、假新聞，甚至是新Cult組織的“聖經”，那會怎麼樣？
近年來，有個叫"QAnon"的Cult組織，在美國乃至全球迅速發展壯大。他們信奉一些匿名的網路文章，也就是“Q帖子”。這個組織有數百萬的追隨者，他們收集、閱讀並詮釋這些帖子，視其為某種新的“聖經”。
據我們所知，以前所有的“Q帖子”都是由人類撰寫的，機器人只是幫著在網上散播。但以後，我們可能會看到歷史上第一個Cult組織，甚至是宗教，它們信奉的“聖經”是由非人類的智慧撰寫的。
當然，歷史上一直有宗教聲稱，他們的“聖經”是由非人類的智慧撰寫的，但這從來都不是真的。但現在，這卻可能很快就會變成現實，而且會帶來深遠的影響。
再說說更實際的。我們可能很快就會發現自己正和一些我們以為是人類的實體，在網上就墮胎、氣候變化，或者俄羅斯入侵烏克蘭等問題進行長時間的討論，但實際上，和我們辯論的卻是AI 機器人。
關鍵是，我們花時間去說服一個AI機器人改變它的政治觀點，完全是徒勞無功。但我們和機器人聊得越久，它就越瞭解我們，越知道該如何調整它的話術，從而改變我們的政治、經濟或其他任何觀點。
戰場正從注意力轉向親密關係
正如我剛才說的，AI可以透過掌握語言，與人類建立親密關係，並利用這種親密關係來影響我們的觀點和世界觀。
現在，沒有任何跡象表明AI像我剛才說的，擁有任何意識，任何自己的感覺。但是，為了與人類建立虛假的親密關係，AI並不需要自己的感覺。它只需要能夠激發我們內心的感覺，讓我們依附於它。
2022年6月，谷歌工程師Blake Lemoine公開聲稱，他正在研究的AI聊天機器人LaMDA已經產生了知覺，這引起了軒然大波。這個極具爭議的主張讓他丟了工作。
關於這件事，最有趣的不是Lemoine的主張，這很可能是不真實的。真正有趣的是，他竟然願意為了他認為自己正在保護的AI聊天機器人而冒險，並最終失去了自己報酬豐厚的工作。
如果AI能夠影響人們去冒險並失去他們的工作，它還能誘導我們做什麼呢？在每一場爭奪人心和思想的政治鬥爭中，親密關係都是最有效的武器，而AI剛剛獲得了與數百萬、數億人建立親密關係的能力。
正如大家可能都知道的，在過去的十年裡，社交媒體已經成為一個爭奪人類注意力的戰場。
現在，隨著新一代AI的出現，戰場正從注意力轉向親密關係，這是非常糟糕的訊息。
隨著AI在爭奪與我們建立親密關係的戰鬥中相互競爭，人類社會和人類心理將會發生什麼？這些關係隨後可以被用來勸說我們購買特定的產品，或投票給特定的政治家。即使不創造虛假的親密關係，新的AI工具也會對人類的觀點和我們的世界觀產生巨大的影響。
例如，人們可能會開始使用，並且已經在開始使用單一的AI顧問，作為一站式的資訊來源。難怪谷歌會感到恐懼。如果你一直在看新聞，谷歌感到恐懼是有充分理由的。
當你可以直接問AI顧問你想知道的任何事情時，你為什麼還要自己搜尋呢？你不需要搜尋。
新聞業和廣告業也應該感到恐懼。當我可以直接問AI顧問告訴我有什麼新鮮事時，我為什麼還要讀報紙呢？
當我可以直接問AI顧問告訴我買什麼時，廣告的意義何在？因此，有可能在很短的時間內，整個廣告行業將會崩潰，而AI，或者控制新的AI顧問的人和公司，將會變得非常非常強大。
我們潛在地談論的，無異於人類歷史的終結，不是歷史的結束，只是我們所說的人類統治的歷史的結束。
這是生物學和文化相互作用，是我們對食物和性的生物學需求和慾望，與我們的文化創造，如宗教和法律之間的相互作用。歷史是宗教和法律與食物和性相互作用的過程。
當AI接管文化
那麼，當AI接管文化時，這種相互作用的原因，即歷史，將會發生什麼？在幾年之內，AI可能會吞噬整個人類文化，數千年來產生的一切，消化它，並開始湧出大量新的文化創造，新的文化產物。
請記住，我們人類從未真正直接接觸到現實，我們總是被文化包裹著，我們總是透過文化的稜鏡來體驗現實。
我們的政治觀點是由記者們的故事和朋友們的軼事塑造的，我們的性偏好受到電影和童話故事的影響。即使是我們走路和呼吸的方式，也是受到文化傳統的影響。
以前，這個文化的繭一直是由其他人類編織的。以前的工具，如印刷機、收音機或電視，幫助傳播人類的文化思想和創造，但它們永遠無法獨自創造新的東西。
印刷機無法創造一本新書，它總是由人類完成的。AI從根本上不同於印刷機、收音機，以及歷史上所有以前的發明，因為它能夠創造全新的思想，它可以創造一種新的文化。
而最大的問題是，透過非人類智慧，透過外星智慧產生的稜鏡來體驗現實，會是什麼樣子？
起初，在最初的幾年裡，AI可能主要模仿原型，即它在嬰兒期所接受的人類原型。但是，隨著時間的推移，AI文化將大膽地走向人類從未去過的地方。
數千年來，我們人類基本上生活在其他人類的夢想和幻想中。我們崇拜神靈，我們追求美的理想，我們把自己的一生奉獻給源於某些人類詩人、先知或政治家想象力的事業。
很快，我們可能會發現自己生活在一個外星智慧的夢想和幻想中。而這帶來的危險，它也具有積極的潛力，但它帶來的危險是根本性的，與科幻電影和小說中想象的一切，或大部分事物都非常不同。
以前，人們主要擔心智慧機器構成的物理威脅。因此，《終結者》描繪的是機器人在街上奔跑並射殺人類。《駭客帝國》假設，要獲得對人類社會的完全控制權，AI首先需要獲得對我們大腦的物理控制權，並將我們的大腦直接連線到計算機網路。但這是錯誤的。
僅僅透過掌握人類語言，AI就擁有了它所需要的一切，以便將我們包裹在一個類似《駭客帝國》的幻覺世界中。與一些陰謀論假設的相反，你真的不需要在人們的大腦中植入晶片來控制他們或操縱他們。
數千年來，先知、詩人和政治家一直使用語言和講故事來操縱和控制人們，並重塑社會。
現在，AI很可能能夠做到這一點，一旦它能夠做到這一點，它就不需要派遣殺手機器人來射殺我們，如果它真的需要，它可以讓人類扣動扳機。
對AI革命的恐懼
對AI的恐懼只困擾了人類幾代人，比如說從20世紀中期開始，如果你回到《弗蘭肯斯坦》，也許是200年，但數千年來，人類一直受到一種更深層的恐懼的困擾。人類總是欣賞故事、影像和語言的力量來操縱我們的思想並製造幻覺。
因此，自古代以來，人類一直害怕被困在一個幻覺世界裡。
在17世紀，笛卡爾擔心也許有一個惡意的惡魔把他困在一種幻覺世界裡，創造了笛卡爾所看到和聽到的一切。
在古希臘，柏拉圖講述了著名的洞穴寓言，其中一群人一生都被鎖在一個洞穴裡，面對著一面空白的牆，一個螢幕。在那個螢幕上，他們看到投射出來的各種陰影，囚犯們把這些幻覺，這些陰影誤認為是現實。
柏拉圖洞穴寓言
在古印度，佛教和印度教的聖人們指出，所有的人類都生活在他們所說的“摩耶”中。“摩耶”是幻覺世界。
佛陀說，我們通常認為是現實的東西，往往只是我們自己頭腦中的虛構。人們可能會發動整個戰爭，殺死他人並願意被殺，因為他們相信這些虛構的東西。
因此，AI革命正把我們帶到與笛卡爾的惡魔、柏拉圖的洞穴、“摩耶”面對面。如果我們不小心，一層幻覺的帷幕可能會降臨到全人類身上，我們將永遠無法將其撕掉，甚至無法意識到它的存在，因為我們會認為這是現實。
社交媒體和AI
如果這聽起來牽強附會，那就看看過去幾年裡的社交媒體。社交媒體讓我們初步體驗了即將發生的事情。
在社交媒體中，原始的AI工具，非常原始的AI工具被用來策劃內容，而不是創造內容，這些內容是由人類創造的。
人類創造故事和影片等等，而AI選擇哪些故事，哪些影片會傳到我們的耳朵和眼睛裡，選擇那些會獲得最多關注的，那些會最受歡迎的。
雖然非常原始，但這些AI工具仍然足以製造這種幻覺的帷幕，這種幻覺增加了全球範圍內的社會兩極分化，損害了我們的心理健康，並破壞了民主社會。數百萬的人將這些幻覺誤認為是現實。
美國擁有歷史上最強大的資訊科技，然而美國公民卻不能再就誰贏得了上次選舉，或者氣候變化是否真實，或者疫苗是否能預防疾病達成一致。
新的AI工具比這些社交媒體演算法要強大得多，它們可能會造成更大的損害。當然，AI也具有巨大的積極潛力。我沒有談論它，因為開發AI的人自然會談論它，你不需要我加入到那個合唱中。
AI的積極潛力
像我這樣的歷史學家和哲學家的工作，通常是指出危險。但當然，AI可以以無數種方式幫助我們，從找到治療癌症的新方法，到找到我們所面臨的生態危機的解決方案。
為了確保新的AI工具被用於好的方面，而不是用於壞的方面，我們首先需要了解它們的真正能力，我們需要非常非常仔細地監管它們。
自1945年以來，我們知道核技術可以摧毀人類文明，也可以透過產生廉價而豐富的能源來造福我們。因此，我們重塑了整個國際秩序來保護自己，並確保核技術主要用於好的方面。
我們現在必須應對一種新的大規模殺傷性武器，它可以摧毀我們的精神和社會世界。核武器和AI之間的一個巨大區別是，核武器無法產生更強大的核武器，而AI可以產生更強大的AI，因此我們需要迅速採取行動，趕在AI失控之前。
製藥公司不能在沒有首先對這些產品進行嚴格的安全檢查的情況下，向人們出售新藥。生物技術實驗室不能為了用技術魔力給股東留下深刻印象，就將一種新的病毒釋放到公共領域。
同樣，政府必須立即禁止將任何更具革命性的AI工具釋放到公共領域，然後才能確保它們的安全。我並不是說要停止所有AI研究。
第一步是阻止其進入公共領域。你可以在某個地方研究病毒，而不用將其釋放給公眾。你可以研究AI，但不要過快地將其釋放到公共領域。
AI軍備競賽
如果我們不減緩AI軍備競賽，我們將沒有時間去理解正在發生的事情，更不用說有效地監管這項極其強大的技術。
你可能會想知道，減緩AI的公開部署，是否會導致民主國家落後於更無情的獨裁政權？答案是絕對不會，恰恰相反。不受監管的AI部署，才會導致民主國家輸給獨裁統治。
因為如果我們釋放混亂，專制政權比開放社會更容易控制這些混亂。民主本質上是一種對話，民主是一種公開的對話。
獨裁是獨裁，有一個人在獨裁一切，沒有對話。民主是許多人之間關於做什麼的對話，而對話依賴於語言。
當AI侵入語言時，意味著它可能會摧毀我們進行有意義的公共對話的能力，從而摧毀民主。如果我們等待混亂髮生，就來不及以民主的方式進行監管了。也許在專制或極權主義的範圍內仍然可以進行監管。
但是如果你不能就此進行對話，你如何才能以民主的方式監管某些東西呢？如果你沒有及時監管AI，我們將無法再進行有意義的公共對話。
總而言之，我們基本上遇到了一個外星智慧，不是在外太空，而是在地球上。我們對這個外星智慧知之甚少，只知道它可能會摧毀我們的文明。
因此，我們應該停止這種外星智慧在我們的社會中不負責任的部署，並在AI監管我們之前對其進行監管。
我可以提出許多監管措施，但我建議的第一個監管措施是，強制要求AI在與人互動時，必須披露自己是AI。如果我正在和某人談話，而我無法分辨這個人是人類還是AI，那就是民主的終結，因為那是意味深長的公共對話的終結。
現在，你對你剛才聽到的這些內容有什麼看法？我想你們中的一些人可能會感到驚慌，一些人可能會對開發這些技術的公司或未能監管它們的政府感到憤怒。
你們中的一些人可能會對我感到憤怒，認為我誇大了威脅，或者誤導了公眾。但無論你怎麼想，我敢打賭我的話對你產生了一些情感上的影響，不僅僅是智力上的影響，還有情感上的影響。
我剛才給你講了一個故事，這個故事很可能會改變你對某些事情的看法，甚至可能導致你在世界上採取某些行動。
那麼，是誰創造了你剛才聽到的，並改變了你的想法和大腦的故事呢？
我向你保證，這段演講稿是我自己寫的，在其他一些人的幫助下完成的，儘管影像是在AI的幫助下創作的。我向你保證，至少你聽到的文字是人類思維或幾個人的思維的文化產物。但你能完全肯定嗎？
一年前，你肯定可以。一年前，地球上沒有任何東西，至少在公共領域，除了人類的頭腦，能夠產生如此複雜和強大的文字。但現在不同了。
理論上，你剛才聽到的文字可能是由一個非人類的外星智慧生成的。所以，花一點時間，或者更多的時間來思考一下。
謝謝大家。