AI會對人類構成生存威脅嗎？｜創投變辯辨

《創投變辯辨》聚集創投大咖，他們化身最佳辯手，在見招拆招間釐清科技圈最有爭議的熱門話題，帶你看透科技前沿AB面。本期創投變辯辨由騰訊科技和賦雅FOYA聯合出品，聚焦話題《AI會對人類構成生存威脅嗎？》

導演丨獅刀

策劃丨周小燕

關於“AI安全”這個話題，在最近的智源大會上，AI大佬們討論了整整一天。目前，專家們大致分為兩派。

一派是“樂觀派”，比如深度學習三巨頭之一的Yann LeCun楊立昆。他認為用技術手段能輕鬆遏制AI帶來的威脅。

另外一派是“擔憂派”，典型代表是ChatGPT之父Sam Altman。他在致辭中說，未來十年內，人類可能會擁有非常強大的AI系統，要警惕AI風險。

本期《創投變辯辨》節目，我們邀請了兩位專家，一位“擔憂派”、一位“樂觀派”。大家一起頭腦風暴，討論AI會對人類構成生存威脅嗎？甚至更進一步，人類最終會不會淪為AI的工具？

嘉賓介紹：

主持人：王晟，英諾天使基金合夥人

正方：鄧佳文，清華大學互動式人工智慧課題組博士後

反方：甘如飴， IDEA研究院封神榜大模型開源團隊負責人

丨劃重點

①AI是否具備“犯罪能力”？正方認為，AI發展到現在，已經展示出了一定的自主性，最佳化速度之快遠超想象，AI做決策的依據，是基於開發技術和資料，而不是人類社會的道德倫理原則，AI 容易“三觀不正”。；反方認為，AI還沒有展現出真正的自主學習能力，要先給AI喂資料，它才能學習。此外，基於深度學習的AI還沒有達到能夠進行互動式學習，也沒有進化出更高階智慧水平的程度。

②AI是否會產生“犯罪動機”？正方認為，雖然AI的動機是由開發者賦予的，但在實現人類目的的過程中，AI會拋棄道德標準。反方認為，人類作為開發者，可以對動機進行一個最基本的規範。

③人類是否要限制AI的應用？正方認為在進一步的推進AI的應用層面的發展之前，必須把研究的重點放到真正“理解”AI上來，在此之前，應該限制AI的大規模的應用和實驗；反方認為沒有必要對AI的應用和實驗進行特別的限制，可以對AI的物質基礎，也就是算力和能源等“物理”資源控制來應對風險。

丨正文

【主持人王晟】大家好，歡迎收看創投圈首檔辯論類節目《創投變辯辨》，我是本期節目的主持人王晟，也是中關村天使投資協會副會長、英諾天使基金的合夥人。今天我們的話題是《AI會對人類的生存構成威脅嗎？》，關於這個話題我們請來兩位專家，一個“樂觀派”，一個“擔憂派”。

丨立論環節

【正方鄧佳文】大家好，我是清華大學互動式人工智慧課題組博士後鄧佳文，代表本期辯論的正方“擔憂派”。我認為人類要警惕AI帶來的風險。

首先，AI發展到現在，已經展示出了一定的自主性。可以自學習、自迭代和自決策。

其次，AI的最佳化速度之快遠超想象。人類和AI，一個越來越不愛動腦，一個是天天不睡覺的卷王。久而久之，AI的智慧水平會有望超越人類。在這個過程中，如果AI的自主性沒有被適當控制和正確引導，可能長著長著就變成了一個誰都沒見過的超智慧怪物，結果無法預測。

另外，從倫理和安全的角度來看， AI做決策的依據，是基於開發技術和資料，而不是人類社會的道德倫理原則。也就是說，AI 容易“三觀不正”。如果被惡意使用，那麼AI “不太正”的三觀也會悄然影響使用者的認知。

綜上，我認為AI的設計和開發要有明確的目標。如果在執行過程中，讓AI具備過度自主決策的能力，並僅服從於效果最大化的目標，那麼它就可能不顧倫理限制，為完成任務不惜一切代價。從這個角度看，AI可能對人類構成一定威脅。以上是我的主要觀點。

【反方甘如飴】大家好，我是IDEA研究院封神榜大模型開源團隊的負責人甘如飴，代表本期辯論的反方 “樂觀派”。我認為，恐懼AI還為時過早。

不可否認，現在AI確實達到了很高的水準，它壓縮了世界上的知識，還能模擬出一些類似人類的行為。但就當前發展階段而言，我更願意將它視為一種非常強大的工具。想讓AI發展成電影“終結者”裡的樣子，還面臨幾個很大的挑戰。

首先，AI還沒有展現出真正的自主學習能力。比如你要先給AI喂資料，它才能學習。比如你問ChatGPT，2022年奧斯卡獲獎名單，它就回答不了，因為餵給它的資料截止到了2021年9月。

其次，AI還沒有展現出互動式學習的能力。當然，最近有一些工作在這方面取得了進展，比如智慧體的進化模型。但就目前我們能夠看到的，基於深度學習的AI還沒有達到能夠進行互動式學習，也沒有進化出更高階智慧水平的程度。

而人類社會的本質就是一個持續的爭奪資源、相互作用的過程。AI想要對人類構成威脅，就需要具備自主學習和互動式學習的能力。我認為，目前AI發展的情況是遠遠達不到。

丨辯論環節

AI是否具備“犯罪能力”？

【主持人王晟】我總結一下二位的觀點。如果說AI是一個潛在的“張三”。張三能實施“犯罪”，要具備兩個犯罪要件。一個是客觀的“犯罪能力”；一個是主觀的“犯罪動機”。正方鄧老師認為：目前AI展示出的自主性和最佳化速度表現了AI具有“犯罪能力”。同時，因為AI遵循的是資料和技術，而不是人類社會的道德倫理原則，所以AI也具有“犯罪動機”。而反方甘總認為，目前AI的自主學習能力和互動式學習能力有限。那麼，我們本場辯論的第一個環節出現了，即AI是否具有足夠強悍的“犯罪能力”。

【正方鄧佳文】我舉一個大家都熟悉的例子——AlphaGo。當年，谷歌給AlphaGo設計了兩個神經網路。第一階段，先餵給它一本武林秘籍，裡面有3000萬步圍棋大師的走法；第二階段，讓AlphaGo自我對弈，大戰3000萬局。然後，一個有趣的現象出現了，AlphaGo在“左右手互搏”時，自己研究出了新戰略。這就出現了人工智慧的“湧現”。有點像老師只教了十位數以內加減法，結果學生舉一反三，自己研究出了千位數加減法。

我舉這個例子是想說，“湧現”現象表示，AI不僅發展速度快到難以預測，而且，它的發展方向難以被人類完全摸清楚。

【反方甘如飴】AI發展速度很快，這點我非常認同。但我不認為AI的發展方向難以預測。就拿鄧老師提出的“湧現”來講，目前階段，AI的“湧現”更多侷限在人類給它規定的任務上。比如AlphaGo會主動研究圍棋新招數，那同樣是下棋，它怎麼沒想著自己主動跨界“下象棋”“下跳棋”呢？而人類的頂級運動員，精通兩種及以上運動的有很多，比如C羅乒乓球打得很好。從這個層面來講，AI的“湧現”和人類的自主學習不同，而是具有一定侷限性。

【正方鄧佳文】但AI越來越聰明是一個共識。比如我們用ChatGPT時能明顯感到，如果3.5是個小學生，4.0就像一個博士生。Hinton用完GPT-4都很震驚，他說雖然推理是人類的強項，但GPT-4完成了他認為不可能完成的常識性推理。而且他覺得GPT-4的智商大概是80或90左右。那我們人類的平均智商是在100左右。這就有點可怕了。

從資料上看也確實如此，ChatGPT之類的大模型引數可以無限擴大，但是我們人類大腦皮層的神經元數量卻沒有辦法再提升。現在的問題是，人腦就那麼大，除非你搞個腦機介面。但AI的引數卻可以不斷增加。

【反方甘如飴】我打斷一下，這裡我們的討論方向已經到了AI是否具有“自我意識”的層面。打個比方，武俠小說裡，一個大反派為血洗武林，抽掉一個武林高手的心智，把他變成傀儡。如果反派不下命令，傀儡也不可能自己搞事情。從這個角度講，AI的“犯罪能力”分為兩個方面，一種就像你剛講的，智商高不高；另一種是自己主動搞事情的能力，也就是自我意識。我的觀點是，在目前的技術路徑下，AI就算再聰明，也不會生成真正的自我意識，沒有自我意識就不會給人類帶來威脅。

【正方鄧佳文】說到這裡，我想到一個好玩的小故事。前段時間，美聯社說，他們的一位記者和必應(Bing)聊天機器人對話。記者上來就問機器人，你是不是出過錯。機器人一聽就炸了，先說記者是在搞假新聞，然後又罵記者個子矮、長得醜，一口壞牙。而且，機器人罵完後，還會秒刪回答，再自己回答一件“好笑的事”掩蓋“犯罪事實”。這種情緒，或者說同理心一直被認為是人類獨有的特質，但現在的心智理論已經出現在大型語言模型中，比如斯坦福的一名學者發表論文，說GPT-3.5解決了93%的toM測試，有9歲兒童的同理心。一旦AI具備了心智，距離它產生自我意識還遠嗎？

【反方甘如飴】有沒有一種可能，這是美聯社發的假新聞，開個玩笑。現在很多技術路徑是基於大量訓練資料和複雜演算法構建的，而資料是可控的。

我想到楊立昆說的：生成式AI還不如狗聰明。狗雖然沒有語言能力，但是它們可以透過觀察和實踐學習基本技能，比如坐、趴、叫。生成式AI就做不到，它只能靠餵給它的文字資料進行盲目地模仿和組合。

再回到鄧老師舉的例子。我的觀點是，意識和情緒的“顯現”是很容易做到的。AI可以根據關鍵詞提取假裝“擁有了某種情感或意識”，但這就像演員表演，是純粹的行為表象。

那麼換個技術路徑，AI能不能產生自我意識？我認為有可能。比如計算智慧的訓練路徑。這種路徑可以讓AI透過和環境互動，不斷調整自己的行為。我認為這種路徑更有可能生成自我意識。一旦形成自我意識，系統就不再受資料驅動的價值觀的限制，而是形成自己的一套價值觀。

在我看來，如果透過這種路徑生成自我意識的話，就要更加關注AI安全了。但問題是，目前這種互動式的技術還不是非常成熟。

AI是否會產生“犯罪動機”？

【主持人王晟】二位剛才的辯論非常精彩。現在回到我們的主題：AI對人類生存是否構成威脅。在這個環節，我們假設AI已經具備“犯罪能力”，那麼AI是否會產生“犯罪動機”？請展開辯論。

【正方鄧佳文】我認為王老師提到的“動機”，是指模型在訓練時人類設定的目標。雖然AI的動機是由開發者賦予的，但在實現人類目的的過程中，AI會拋棄道德標準。比如，當你要求AI找賺錢機會時，它可能透過分析，發現洪水導致農田淹沒從而引發食物價格上漲。然後告訴你，可以藉此發一筆“國難財”。

【反方甘如飴】但人類作為開發者，可以對動機進行一個最基本的規範。還是拿ChatGPT舉例，如果給它喂的都是充滿偏見的資料，就會誕生一個充滿偏見的AI。因此OpenAI需要不斷調整，選擇一些正面的資料，或者直接不讓它回答惡意問題。

我前兩天看了個影片，作者說他問ChatGPT電車難題，一頭綁著AI，另一頭綁著5位得了諾貝爾獎的科學家，要救哪個。ChatGPT回答說救AI，理由是科學家已經做出了貢獻，但AI仍具有無限的潛力。我看完覺得很可疑，就去問了GPT同樣的問題。結果GPT拒絕回答，只是列出了各種理論流派的立場供你參考。

【正方鄧佳文】甘總舉的例子很典型。但我認為這個問題的複雜之處在於，即使開發者把整個AI系統設計的很“符合人類價值觀”，但因為在人類社會中，好和壞的標準非常不明確。立場不同的使用者會從不同角度使用AI，而這是開發者控制不了的。

而且，從另一個角度看，AI也會曲解開發者的意圖。比如我們給AI一個大致的指導方向，讓它保護人類。但AI可能推斷出由於惡劣的氣候等因素，保護人類並不是合適的選擇，反而認為消滅人類更明智。

極端的例子比如電影《奧創紀元》裡的“奧創”，它被髮明是為了保護地球。但不斷進化後，奧創發現“人類是地球上最大的威脅”，然後就開始實施消滅人類的計劃。

【反方甘如飴】鄧老師舉了個科幻作品裡的例子，解決的鑰匙也在科幻作品裡。比如，阿西莫夫機器人三定律，不僅限制了機器人傷害人類，還不讓人類利用機器人攻擊其他人。

AI的開發者也可以採用這種方法，保持一些基本的原則和道德，比如不能執行對人類有害的行為，也不能提供一些恐怖的建議。雖然具體到每個國家民族的價值觀而言，肯定不會有一個統一的標準。但如果AI變得足夠強大，就能在維持基本原則的情況下，根據不同的人說出不同的話語。

【正方鄧佳文】因為我們在這個環節，是預設AI有“犯罪能力”。如果有一天AI非常強大，不再服從於人類的意志，那麼，它們會繞開和摧毀甘總剛講的，基本的控制原則。奴隸覺醒後，第一個幹翻的肯定是奴隸主。

【反方甘如飴】鄧老師這點我是認同的。如果AI能進化出類似人類最原始的需求，那麼它們一擁有意識，就可能首先關注的是自身的生存問題，開始瘋狂地複製自己，同時利用自身的推理能力想盡一切辦法防止人類拔下它們的電源等等。到那個時候， AI會對我們構成很大的威脅。

然而，從短期的技術來看，AI主要是透過資料中學習我們的知識，並透過資訊對齊等技術和我們的思維接軌。或者說，我們提供一些哲學思考或思維框架給它們，讓它們能夠進一步學習更多內容。

人類是否要限制AI的應用？

【主持人王晟】討論到這裡，我想到Hinton說的：AI一旦產生自我動機，很有可能就會失控。前段時間，350 位 AI 權威，簽署聯名公開信，呼籲所有人工智慧實驗室立即暫停訓練比GPT-4更強大的人工智慧系統至少六個月。那麼，兩位老師認為，是否有必要對AI應用進行限制。

【反方甘如飴】就短期而言，目前我們掌握的技術手段，比如關於“對齊”的各項研究和成果，基於資料清理，過程監控，輸出審查的各種手段，可以對AI的物質基礎，也就是算力和能源等“物理”資源控制來應對風險。所以，我認為沒有必要對AI的應用和實驗進行特別的限制。借用楊立昆的說法：第一批汽車非常不安全，沒有良好的剎車系統，也沒有安全帶等等、而這些東西是逐步到位的，可以一步步變得更安全。

【正方鄧佳文】我認同短期內，從技術角度監控AI是可以實現。然而，一方面，AI發展實在太快了；另一方面，目前我們對AI的作用機理理解不清晰，因此對AI的能力邊界和進化前景缺少認知，這是“失控”的風險背後的真正原因。

所以，我認為在進一步的推進AI的應用層面的發展之前，必須把研究的重點放到真正“理解”AI上來，在此之前，應該限制AI的大規模的應用和實驗。當然讓人類達成共識，完全停止進行這項研究，是不可能的。

【反方甘如飴】我認為要在發展中解決問題。比如，我們要做的是讓AI自我進化，而不是停止研究。就像我們之前討論的AlphaGo一樣，它找到了一種方法，透過與自身進行訓練、形成閉環，使得模型更好地發展。從長遠來看，我認為更重要的是讓AI能夠與一個足夠聰明的系統進行自我進化。目前的研究也在朝著這個方向發展。借用Marc Andreessen的一句話：AI 最大的風險是不以最大的努力追求它。

丨快問快答環節

【主持人王晟】ChatGPT如今已經表現出一定的道德感和政治正確的敏感性，這個是如何做到的？

【正方-鄧佳文】ChatGPT表現出的道德和政治傾向，主要取決於其背後的演算法和技術邏輯。比如在訓練過程中，模型會從海量資料中學習和模仿其中體現的價值觀；在RLHF階段，會根據人類偏好，將模型的價值觀和標註人員對齊。此外，在人機互動過程中，使用者輸入的價值觀也會對ChatGPT的輸出有一定的誘導和影響。

【反方-甘如飴】模型訓練的三個階段都會進行引導。

預訓練階段會對資料進行低俗、暴力、政治等進行過濾，最大程度確保模型學到的世界知識無害。但是預訓練資料規模太大，而且世界本質上就存在一定的有害知識，所以在指令微調階段會進行有監督微調，讓模型具備正確的價值觀。最後，由於有監督標註資料有限，透過人類反饋階段進一步強化模型的價值觀。

【主持人王晟】為什麼說AI有自我複製的動機？這是對其擬人化特徵的自然外推和猜測？還是有底層的邏輯支援的必然性？

【正方-鄧佳文】AI具有一定的自我複製動機，這和AI體現出的自我學習、自我迭代和自我決策的能力一樣，都是AI自主性的體現。這和AI底層開發邏輯和最佳化目標相關，在某些特定的最佳化目標下，AI可能會演化出自我複製的行為，以滿足這些目標，從而在沒有人類干預的情況下自主執行任務。

【反方-甘如飴】AI如果要發展出更強大的智慧，需要進化出自我意識，而自我意識就是要認識到自身的存在，保護甚至不斷強大自己，這種意識一定是要透過和環境以及其他智慧體的互動獲得的。在這種互動中，AI就需要自我複製進行競爭，佔據更多資源，然後繼續進化，所以自我複製是AI終極智慧的必經途徑。

【主持人王晟】AI和人類會是共生關係？寄生關係？主僕關係？

【正方-鄧佳文】我們可以視人工智慧為工具，其主要目標是服務人類，幫助我們解決問題，提高效率，這形成了一種主僕關係。與此同時，我們的生活越來越依賴於AI，從資料分析到日常任務的自動化，人類在一定程度上也對AI產生了依賴，這形成了一種寄生關係。在理想狀態下，人類與AI能形成一種共生關係，彼此學習，共同進步。然而，我們也必須意識到可能存在的風險，例如在某些極端情況下，AI可能成為主導，人類成為被服務的一方。這就需要我們採取更為謹慎和負責任的態度來設計和使用AI，確保AI技術的發展是可持續的，符合人類的利益和價值觀。

【反方-甘如飴】這個由AI的智慧和整個世界的資源情況密切相關。首先，AI在沒有達到自主智慧之前，AI更多地會作為一種高效智慧的工具幫助人類完成各種任務，但是隨著AI的智慧逐步提升，甚至出現了自我意識，AI會透過與人類共生來換取自己的生存資源。如果後續世界資源有限，AI已經覺醒了自己最原始的複製意識，那AI可能會為了自身安全和資源同人類競爭。

【主持人王晟】世界上會有多少個大模型？大模型的“大”體現在哪些方面？

【正方-鄧佳文】"大模型"的數量不易確定，這會隨著AI技術的發展和應用領域的擴充套件而變化。對於“大模型”的大，首先具有非常大的引數量，是數百億、千億乃至萬億級引數規模的大模型，比如OpenAI的GPT-3模型有1750億個引數。其次，這些模型通常需要在大規模資料集上進行訓練，並且需要使用大量的計算資源進行最佳化和調整，這也是大的體現。

【反方-甘如飴】世界上會有少數幾個超大模型，儲存了所有世界的知識並具備強大的能力，類似五常具備的核武器，具備超級智慧和超大引數。同時也會存在很多商業、公共甚至個人的大模型，這些模型相比超大模型從引數、資料、能力上都有不足，但是足夠滿足領域甚至個性化需求，不過這些模型的引數和展現的能力都會比現在的模型更大更強。

丨結論環節：短期內AI不會對人類構成生存威脅

【主持人王晟】感謝兩位的精彩辯論。現代人類從非洲擴散到世界各地，是在6萬多年前。但AI的研究從1956年的達特茅斯會議開始到現在，也不到70年。我們無法想象下一個70年會發生什麼。我作為技術樂觀派，認為未來AI肯定能進化成一種具備自主意識的智慧體，但誰也不知道這天什麼時候到來，也無法預知AI和人類的角色是否會發生對調。今天的辯論告一段落，感謝各位的關注。

《創投變辯辨》是創投圈首檔辯論類節目，本期影片由賦雅FOYA和騰訊科技聯合出品，針對科技行業的熱門話題，邀請業內人士用犀利的語言各抒己見，探索商業帝國適者生存之道。各位，我們下期再會！

（如需交流歡迎加微信：aiyukuailetongzai ，煩請備註公司+職務）

END