作者：李開復 尤瓦爾·赫拉利
來源：混沌學園（ID：hundun-university）
前不久，國際AI專家、零一萬物CEO、創新工場董事長李開復博士與歷史學家、哲學家、《智人之上》作者尤瓦爾·赫拉利教授連麥暢聊。
本次對談從AI對現實的技術性影響切入，兩位嘉賓互問互答，進行了一場令人深思的思想互動。
他們認為，總有一天，AI將比我們所有人都聰明，但它們成為不了我們，因為它們只擁有智慧而不會進化出人性，而人性，就藏在我們的意識之中。
在由生成式AI引領的AI2.0時代，我們應該投入資源探索和發展我們的意識，人類的意識仍有巨大的潛力和探索空間。
01
AI將推動人類實現更大飛躍
李開復：我認為，資訊已經成為當今商業、工作和人類生活中最重要的因素。我可以肯定地說，我的所有工作都與處理資訊和人際關係有關，而且，越來越多的資訊成為了我們公司制定戰略的基礎。
我們採納資料主導的決定，我們利用資訊和技術來塑造思維、做出決策。我們的產品是以應用程式或軟體形式分發的資訊集，並且我們透過電子手段獲得報酬。所以，世界正變得越來越數字化和虛擬化，而被傳輸的就是資訊。
赫拉利：人類之所以能主宰世界，是因為我們比任何其他動物都更擅長合作。就個體而言，我們不比其他動物聰明或強壯多少。
以黑猩猩為例，它們只能在50只或100只的小群體中合作，而人類卻能夠建立跨越數百萬乃至數十億人的大規模合作網路。
這正是我們力量的來源，我們透過資訊交換來實現這一點。我們並不直接認識自己所在國家、公司或商業網路中的大多數成員，但我們保持聯絡、我們相互連線、我們透過資訊進行協作，這就是資訊為何如此重要的原因。
實際上，我們並不直接生活在現實中，我們不是對現實本身做出反應，而是對我們對現實的印象做出反應。我們根據所獲得的關於現實的資訊作出回應，這正是資訊至關重要的原因。
在歷史的這一階段，我們發明了有史以來最強大、最重要的資訊科技——人工智慧。人工智慧的獨特之處在於，它不僅是我們手中的工具，它還是一個活躍且自主的代理，能夠自行做出決策，能夠自己發明和創造新想法。
在歷史上，我們發明了許多工具和機器，但對這些工具和機器的控制權始終在我們手中，尤其是對資訊的控制權。
現在，關於人工智慧有很多炒作和誤解。什麼是人工智慧？它與以往的機器或計算機有何不同？區別在於，如果某個系統不能自我改變、不能學習和創造新事物，那麼它就不是人工智慧，而只是一臺老式機器。
我們之所以能夠主宰世界，是因為我們建立了這些資訊網路。但現在，我們可能已經創造出了一種能夠從我們手中奪取資訊網路控制權的東西。
在我請李博士分享他的觀點之前，我想舉一個例子。
以編輯的角色為例，無論是書籍出版、新聞機構還是報紙的編輯，他們都是世上最重要的一些人物，擁有巨大的權力。他們需要從昨天世界上發生的上百萬件事情中挑選出最重要的10件，讓它們出現在報紙頭版或電視新聞播報中。
如果你問自己：“當今世上最重要的編輯是誰？他們的名字是什麼？”你會發現他們沒有名字，因為它們是演算法，它們是人工智慧。
大型社交媒體平臺的編輯，比如YouTube、Twitter或TikTok，已經不再是人，它們是人工智慧。所以，人工智慧已經開始從我們手中接管對資訊網路的控制權。
李開復：是的，我同意赫拉利教授的觀點，人工智慧將推動自己再次實現更大的飛躍。
在我的日常工作中，我已經使用人工智慧代勞我所做的大部分事情。我認為，越來越多的人正在這樣做，但是許多人認為人工智慧只是一個聊天機器人，或是一個智慧搜尋引擎。這確實是當前的情況，但這僅僅是它的初步表現形式。
我們已經看到這樣的落地場景，比如“給我一個答案”“與我對話”。它正在轉變為我的助手，幫助我完成任務，而這將進一步發展為數字人勞動力接管某些人的部分或全部工作。隨後，它將轉變為接近自動化的狀態——即人類給出指令，人工智慧作為智慧體，能自由地創造資訊、做出決策。最終這種全自動化的助手將成為代表公司或個人的智慧體，去讓我們做那些人工智慧認為“你需要”的事情。
在某種意義上，TikTok給你推送一個影片，就是一個非常簡單的例子。你並沒有主動要求看那個影片，但它認為你會感興趣。
如果將這種智慧放大一百萬倍，人工智慧就能知道你想如何投資並替你進行投資。人工智慧知道你妻子的生日快到了，就會幫你買禮物。
這些都是相對無害的例子，當然，還有許多可能帶來潛在問題的例子。
02
從金融、醫療到軍事，
面臨AI，我們還不知道該怎麼做
赫拉利：您是否認為我們很快就會看到人工智慧在金融市場中做出重大決策？比如人工智慧投資者和人工智慧制定新的投資策略甚至創造新的金融工具？
李開復：是的，這在某種程度上已經發生了。
在美國、中國及其他國家和地區，許多人工智慧量化基金已經取得了出色的回報。這些基金基本上是由人工智慧來做決策，人工智慧每天會分析所有的交易資料和新聞，並決定最佳的股票購買時機，然後在沒有人類指令的情況下買進和賣出。
人類提供的唯一資訊是所有用於做決策的資料和目標，即在一定風險承受範圍內達到最高收益，這已經成為現實。
如果我們審視人類的所有任務，投資可能是最具量化性的任務。因為幾乎所有決策都是基於即時資訊，人工智慧能夠更快地閱讀、篩選可能性、進行組合交易，並且能夠更快速地買進和賣出，還具備更強大的資訊獲取能力。
所以，當人們讀到某位企業總裁的發言並考慮購買某隻股票時，人工智慧很可能已經搶先一步完成了交易。這已經成為現實。
赫拉利：那麼，這是否會像在其他特定領域發生的那樣，比如圍棋？我們已經知道人工智慧比任何人都更智慧，甚至更有創造力。在金融領域是否也會發生類似的情況？
如果確實如此，那麼當人類和人類政府失去了對金融系統的控制，這對社會乃至政治意味著什麼？也許他們再也無法理解金融系統及主要的金融決策。
李開復：是的，我認為幾乎每個職業都有這種風險。在金融領域，我提到的AI獲取資訊的速度和廣度是人類無法企及的。
有一些方面例外，比如，如果你是一名風險投資人，你可能依賴於直覺判斷一個人的微表情真誠與否等；而在企業重組和併購中，你需要深入瞭解不同人格並進行更深層次的解讀。
但是，除了人與人之間的互動之外，在所有基於資訊的方面上，我們都無法勝過人工智慧。
另一個我經常提到的職業，雖然對人工智慧來說更加困難，但最終我們也會聊到，就是醫療行業。
因為，人工智慧醫生將比普通醫生更優秀。醫生將把人工智慧作為一個可能的參考，然後，隨著人工智慧不斷進步，醫生會失去自信，更加信任人工智慧，最終變成一個“橡皮圖章”。
儘管我們將責任和醫療失誤的後果歸咎於醫生，但當醫生看到人工智慧進步的速度時，最終不可避免地會感到人類在這方面遠不如人工智慧準確。
那時，醫生將只是蓋章擔保決策逐步轉向由人工智慧做出決策。儘管我們最初出於滑坡效應的考慮所設定的原則是，所有決策必須由醫生做出，但人工智慧進步得更快，相較之下，人們可能會感到自己的智慧黯然失色。
赫拉利：我們已經在軍事領域看到了這種滑坡效應。
我一直在密切關注人工智慧的使用，在科幻小說和好萊塢電影中，我們習慣性地預期戰爭中的人工智慧會以殺手機器人的形象出現，成為實際開火和戰鬥計程車兵。但這種情況尚未發生，相反，人工智慧正在從士兵的上級環節決策過程中進入軍事領域——即關於目標選擇的關鍵決策，決定轟炸和射擊的目標。
因為選擇軍事目標需要非常迅速地分析大量資訊，所以人工智慧將目標選取過程加速了幾個量級。
但這當然也引發了一個非常大的倫理問題，如果軍方使用的人工智慧告訴你某棟建築是恐怖組織的總部或者是敵方的指揮部，你是直接相信人工智慧並下令轟炸，還是先由人類來驗證這一資訊的準確性？
也許人工智慧會出錯，也許那只是個平民住宅；也許那裡確實有敵軍總部，但同時也有平民，他們可能會受到傷害。那麼，你該如何選擇？
在這場戰爭中，人工智慧主要是在一方使用。但在未來的戰爭中，可能就在一兩年內，一旦雙方都擁有人工智慧，做出這些倫理決策的空間將會縮小，因為決策迫在眉睫。
如果雙方都由人工智慧選擇目標，其中一方直接相信人工智慧並立即採取行動，另一方卻說：“不，不，不，我們需要人類來驗證。”與人工智慧相比，人類非常緩慢。也許在人類花費幾天甚至幾小時驗證人工智慧決策正確性的時候，目標已經轉移，或者對方已經先發制人。
所以，軍隊將面臨越來越大的壓力，只是簡單地執行人工智慧的指令。
李開復：我認為在許多其他問題中，讓人類參與以確保安全的想法通常不具擴充套件性。這是同樣的問題，在金融市場上，人類的參與會使流程效率降低，可能導致你賺不到那麼多錢甚至虧損，在軍事上也是如此。
有人會說，讓人工智慧做決定可能是錯誤的。但如果我輸掉戰爭或者破產那更糟，所以我將移除這個環節中的人類。所以，我認為我們需要另外的基本安全檢查和防護措施。
有時候，技術本身就是防護措施，最好的防護措施是另一種技術。
就像當電力被使用時，它會電擊人，然後人們發明了斷路器；當網際網路產生病毒時，電腦中了病毒，就出現了防毒軟體。
這一次要困難得多，但我認為，如果我們這些技術專家鼓勵更多的人去研究防護性技術解決方案，而不僅僅是構建更智慧的人工智慧，那麼一個有效的解決方案或許就會出現。
當然，另一種方法是監管。但我認為，很難對一項尚不為人熟知的技術進行監管，所以我認為我們應該雙管齊下。
赫拉利：但是談到監管，特別是我們在唐納德·特朗普當選為美國總統後談論這個問題。他主要是以放松管制為競選綱領，並得到了埃隆·馬斯克的大力支援。
我認為，所有關於美國將對人工智慧發展施加管制的幻想，以及各國政府之間就人工智慧監管達成某種全球協議的幻想，現在看來完全不可能實現。
這背後是某種進化邏輯或進化競賽。如果你更關心安全問題，投入更多資金建立防護措施，而不是儘可能快地向通用人工智慧發展，那麼你就落後了；如果競爭對手更無情一點，完全不顧及安全問題和防護措施，他們就會領先。
所以這是一場無情者之間的競賽。整個情況的悖論在於，他們認為自己能夠信任自己的人工智慧，但卻無法信任其他人類。然而他們不知道如何控制它或信任它，還樂觀地認為隨著我們開發通用人工智慧，我們會找到控制它的方法。
這有點一廂情願，是極其可怕的。
另一個可怕的事情是，作為一名歷史學家，我認為新技術的巨大危險不在於最終結果，而在於實現它的過程。
因為當一種強大的新技術出現時，沒有人知道如何將其融入社會和政治，也不知道如何明智地使用它。人們會進行實驗，而有些實驗可能會非常非常糟糕。
我去了矽谷，和那裡的人談論人工智慧。他們告訴我：“看，當工業革命開始，人們發明了蒸汽機、火車和電報時，許多人擔心這將造成巨大損害。但你看，它最終創造了一個更好的世界。”
21世紀初，人們的生活比19世紀初好得多，這是事實。如果我們只看起點和終點，會看到一條直線上升。但在現實中，在歷史上，這並不是一條直線，它就像過山車一樣充滿了可怕的災難。
19世紀，當第一批國家進行工業化時，他們認為建立工業社會的唯一途徑是建立帝國，他們認為要建立工業社會就需要控制原材料和市場，所以必須要有一個帝國。
每一個工業國家，從小國比利時到日本再到俄羅斯，都去建立帝國，給全世界數億人帶來了可怕的後果。
後來，人們又有了另一種想法，認為建立工業社會的唯一途徑是建立極權主義政權，如納粹德國。
因為這個論點是合乎邏輯的。他們認為工業的爆炸性力量，如此巨大的創造性和破壞性力量，只能由一個控制生活各個方面的極權主義政權來管理。這導致了納粹德國的恐怖，導致了世界大戰。
現在回過頭來看，我們知道這是一個錯誤，有更好方法來建立工業社會。但實際的歷史程序更像是過山車，而不是一條直線。
現在面對人工智慧，我們不知道如何建立一個人工智慧社會，我們沒有歷史模型可以參考，即便我們最終能找到方法讓人工智慧造福人類。
我擔心的是，人們在這一過程中會不斷嘗試，或許是建立帝國，或許是建立新的極權主義政權。即使最終找到了解決方案，這一過程中可能有數億人會遭受極大的苦難。
03
AI對人類的威脅有3個，
其中2個迫在眉睫
李開復：是的，回到人工智慧的危險上，我想知道從短期和長期來看，您最擔心的是以下哪些問題？
一是使用人工智慧對其他人做可怕的事情；二是人工智慧並非有意為之，但由於其獎勵函式設計不當而造成傷害，它無意中傷害了人們；三是人工智慧本身就變成了危險，並且有做壞事的慾望，就像科幻電影一樣。
赫拉利：第三種是最不令人擔憂的，前兩個問題非常嚴重，它們已經是當前大家都在擔憂的，而隨著人工智慧變得更加強大，這將是一個越來越大的威脅。
最常見的是，如果惡意行為者使用人工智慧做壞事怎麼辦？這很明顯，如果恐怖分子利用人工智慧製造新的大流行病，這顯然是非常危險的。
因此，在公共演講中，我更強調人工智慧的第二個危害。不是因為它邪惡或想要接管世界，而是因為它是一種外來的智慧，非常難以控制，可能會產生許多我們沒有預料到的不良後果。
我們已經有了一個社交媒體的例子，即，社交媒體平臺由演算法控制。公司給了演算法一個特定的目標，即提高使用者參與度、增加流量，讓人們花更多時間在平臺上。
這聽起來像是個好目標，這對公司有好處，甚至對人們也有好處。但實際情況是，負責社交媒體的演算法決定了你在TikTok上看到的下一個影片將是什麼。
演算法發現了一種破解人類思維的方法，即如果目標僅僅是吸引人們的注意力，最簡單的方法就是按下大腦中的仇恨按鈕、憤怒按鈕或恐懼按鈕。從進化的角度來看，這些事情會立即抓住人們的注意力，但這對心理健康和社會健康都是毀滅性的。
演算法本身並不邪惡，它們沒有試圖傷害人們，但這帶來的結果對人類社會非常不利，而且這種情況可能會更大規模地發生。
想想人類是如何發展我們的目標的，我們從哪裡獲得生活中的目標？有時目標是從上至下的，比如有人給你一個目標。你在一家公司工作，CEO告訴你，這是你的目標，但大多數時候，這些目標是從下至上形成的。
人類可以被視為帶有非常基礎獎勵機制的演算法，即痛苦和快樂。我們在生活中經歷的一切，最終都只是身體的感覺。如果是快樂的感覺，我們就想要更多；如果是不痛苦的感覺，我們就想要減少，希望這種感覺消失。
從這些微小的心理原子中，整個人類世界被構建起來。如果你思考，為什麼人們會參與戰爭？人們做每件事的原因，歸根結底，這一切都是關於痛苦和快樂。
如果我們能夠在人工智慧中設計一個類似於痛苦和快樂的獎勵系統，那麼其他一切都可以從中構建出來，人工智慧甚至可能為了體驗這種快樂而發動戰爭。
現在聽起來很荒謬，為什麼人工智慧會為了體驗這種獎勵機制而發動戰爭？但這正是人類在做的事情。
歸根結底，這些都是人類系統在追求快樂、避免痛苦並進行復雜的計算，認為如果我們要體驗快樂、避免痛苦，就必須發動戰爭。
4
AI再智慧也不應被視為人類，
因為人性藏在我們的意識中
李開復：我曾經在寫《AI未來進行式》的時候也有提到，人工智慧將迅速進步。在我寫書的時候，我沒有預料到生成式AI在過去兩年中會進步得這麼快。但無論人工智慧進步多快，作為人類，我們有一些內在的特質是不會改變的。
無論人工智慧多麼擅長模仿我們，像我們一樣說話、寫作，但從根本上說，經過數千年的進化，我們的 DNA要求我們與他人建立聯絡。
即使人工智慧能夠模仿這種聯絡，在現實世界中，我們仍然渴望與人見面、交談和相愛，我們感受到溫暖，雖然我們並不完全理解這種感覺源自我們大腦或心靈的哪個部分，但這對我們來說非常重要。
我曾希望，並且現在仍然希望，這是我們能夠堅守的東西之一，是我們能做到而人工智慧做不到的。
所以，作為世界上最優秀的歷史學家之一，我想知道你對人類進化中的這部分有什麼看法？
你認為我們能否堅持這一點，無論人工智慧如何模仿，人們還是希望體驗那種人與人之間，尤其是面對面的信任、聯絡和愛。這是否可以成為我們追求的方向，使我們的生活更有意義？
即使人工智慧做了很多我們的工作，我們存在的意義不僅依賴於工作，儘管工作仍然重要，但更重要的是我們與家人和朋友之間的聯絡。你認為我們能否堅持這一點，無論生成式人工智慧發展得有多快？
赫拉利：我認為這極其重要。真正的問題是，我們想從關係中得到什麼？
如果人們非常以自我為中心，比如我想建立一段關係，只是為了讓另一個人滿足我的需求，我的物質需求、浪漫需求、社交需求，那麼最終人工智慧可能比任何人類更能滿足我們的需求。
但這並不是真正的關係，而是自我中心的，是極端自私的。
真正的關係是，我在乎另一個實體，另一個人的感受。
現在，人工智慧沒有感情，它們可以模仿感情，它們可以理解我的感情，但它們自己沒有感情。這裡有一個把“智慧”與“意識”混為一談的重大誤解。我認為，隨著人工智慧越來越擅長模仿情感和感覺，未來幾年內，將會出現大問題，因為存在強烈的商業動機去創造能夠模仿情緒、欺騙人們相信人工智慧具有意識、感知和感情的人工智慧技術。
李開復：我確實希望我們不要過多地將人工智慧視為人類，無論是給予公民身份還是其他形式的認可。
我們確實創造了人工智慧，它在某種程度上是一個黑箱，但肯定沒有內建的意識。人性應該更多地定義為意識，而不是智慧，因為人工智慧顯然具有智慧。
如果僅僅是因為智慧，五年後，我們可能不得不給所有人工智慧公民身份，這顯然是不對的。
我經常思考的另一個問題是，儘管我們討論了人工智慧的危險性，但另一個現實是人工智慧變得如此強大，以至於人們將開始失去工作。
所以我希望人們會逐漸意識到，生活不僅僅是為了工作，特別是簡單、重複性的工作。
人工智慧可能會成為一個促使人們重新定義自己和尋找人類命運的推動力，但我並沒有一個明確的計劃來實現這一目標。
作為一個歷史學家，您是否對我們在短時間內能夠實現如此巨大的轉變，對這個世界的人性持樂觀態度？
赫拉利：有樂觀的一面，也有悲觀的一面。
樂觀的一面是，我認為我們會越來越意識到對我們來說重要的不是智慧，而是意識。到目前為止，我們是地球上最聰明的生物，所以我們為自己的智慧感到自豪，並專注於智慧的發展。
現在，由於人工智慧正在變得比我們更聰明，這迫使我們重新思考人類的本質。我認為正確的結論是，人工智慧會更聰明，但真正重要的是意識，因此，我們應該更多地投資於發展我們的意識。
我個人而言，我每天花兩個小時冥想，每年我會進行一次為期30到60天的長時間冥想靜修，以探索和發展我的意識，而不是我的智慧。我希望人們能以不同的方式更多地投資於此，所以，意識的提升有著巨大的發展空間。
如果我們做出這樣的投資，我認為我們會很好，讓人工智慧承擔許多工作，如果我們發展我們的意識，世界會變得更好。
李開復：我認為目前，人們對人工智慧的強大之處缺乏足夠的瞭解和認識。要得出一個好的結論，人們必須首先理解機會有多大，挑戰有多嚴峻。
其次，我認為我們應該鼓勵人們在開發人工智慧應用時，考慮到人的因素。人工智慧的存在是為了幫助人類，不僅僅是賺錢，也不僅僅是成為一個新的物種，儘管這些事情終將發生。
我還想鼓勵進入人工智慧領域的人們認真思考，他們能否做一些使人工智慧安全的工作，使人類因此變得更好，而不僅僅是思考我如何構建一個更大的模型，我如何使人工智慧更智慧，我如何打敗其他人。
我鼓勵那些利用和控制人工智慧的企業，花費更多的時間和精力，思考他們的社會責任。因為權力越大，責任越大。現在控制人工智慧的人，控制人工智慧的公司，基本上對世界，對人類種群，負有最大的責任。
我希望人們能夠放下自負和貪婪，至少花部分時間，思考如何為了善的目的使用人工智慧，確保人工智慧的存在是為了輔助和幫助人們，而不是製造無法解決的問題。
本文來源：公眾號 @混沌學園。混沌學園用創新助力每一人、每一組織成就不凡，以哲科思維為根基，遍邀300位全球頂級師資，打造創新教育體系，幫助中國職場精英培養創新能力。
版權宣告：部分文章推送時未能與原作者取得聯絡。若涉及版權問題，敬請原作者聯絡我們。