圖片來源：瑞典皇家工程科學院（IVA）。中文內容編譯轉自Z Potentials，版權屬於原作者，僅用於學術分享
導讀：
本文要點：
1.智慧的本質是學習——人工智慧是在神經網路中進行學習的，視覺和運動控制是基本的，而語言和推理則是在這些基礎之上發展出來的。我們目前掌握的關於人類理解句子的最佳模型，正是這些語言模型，它們也是唯一能夠實際運作的模型。
2. 我們進化出了模擬智慧，而沒有進化出數字智慧，是因為它涉及到過高的能量消耗。雖然能量消耗可能過於極端，但數字智慧的效率可能更高。單個系統不可能處理所有資料，尤其是在涉及到現實世界行動時，因為在現實世界中行動無法像數字系統那樣透過加速來完成，你必須在世界中實際行動，這一過程是緩慢且順序的。
3. 我們目前的局面是：擁有舊石器時代的大腦、中世紀的制度，以及類神的技術。
4. 我們真正需要做的是檢查影片等資訊的來源，即需要一種方法來追溯影片的出處。隨著能夠追溯到資訊源的技術發展，我們在確認事物真實性方面會做得更好，而且媒體機構也會支援這一點。這並不是火箭科學，基本上是現有技術能夠實現的，但我們需要重新思考如何構建網際網路的架構。
Yueyun Xu | 編譯
Z Potentials | 中文來源
Sylvia Schwaag Serger：
大家好！我叫Sylvia Schwaag Serger，是瑞典皇家工程科學院的院長，非常高興在研討會上歡迎諾貝爾物理學獎得主Geoffrey Hinton教授！在我請Hinton教授上臺之前，我想先說幾句話。作為一名經濟歷史學教授，我研究過技術變革，人工智慧作為數字化的一個延伸，它無疑是人類歷史上一個重大的技術變革。當我們面對技術變革時，它會帶來許多後果。當這些技術變革恰逢氣候危機加劇、地緣政治緊張局勢上升以及民主的侵蝕時，那就接近了某種我在情緒不佳時會稱之為“有毒雞尾酒”的情況。不過，今天我們並不是來討論這些的，我們今天的目的是探討如何以一種建設性、積極並且成功的方式來應對今天面臨的挑戰。
我想簡要談一下瑞典政府的人工智慧委員會，我曾是該委員會的一員。我們花了過去九個月的時間準備一份報告，與數百人進行了交流，剛剛在上週將我們的報告提交給了瑞典政府。這份報告與許多其他國家的人工智慧戰略報告有一些相似之處，比如它提出關於如何提高計算能力、如何推動科學進步、如何促進創新和競爭力的建議。但這份報告中也有一些方面，與其他國家的人工智慧戰略或委員會報告略有不同。第一個方面是我們的雄心，即賦予瑞典人民和社會成員對這項技術的掌控權，這是我們報告中的一個重要強調點，也與今年諾貝爾經濟學獎得主的觀點高度契合，他們提到了包容性制度以便將技術力量用於造福社會。其次，報告中還有一個強烈的建議是如何加強公共部門，以便提供更好的公共服務，以及公共部門如何成為人工智慧的推動者，而不僅是一個滯後的接受者。這兩點使瑞典在某種程度上區別於其他國家對人工智慧的看法和做法。
Sylvia Schwaag Serger。圖片來源：瑞典皇家工程科學院（IVA）
然而，這也是讓我夜不能寐的一個問題。
如果我們認為人民對技術的掌控權和包容性制度對於確保技術的積極發展至關重要，那麼當我們面對那些不相人時，我們該怎麼辦？部分原因也許是他們不相信制度，因為這些制度並沒有做到應有的包容性。
其次，當我們看到國際合作信任的下降時，我們該怎麼辦？國際合作和包容性制度對於確保人工智慧實現其作為推動社會向善力量的潛力至關重要。
第三，Hinton教授在多次講話中提到過人工智慧的風險以及監管的重要性。而當政府不真正相信監管時，我們該怎麼辦？
像瑞典這樣的國家，一個小而開放的經濟體，高度依賴國際貿易、國際合作和一個有效運作的世界秩序，在一個不是每個人都相信國際合作，或是採取支援國際合作的行動的世界中，應該做些什麼？歐盟應該在人工智慧的監管上做些什麼？我將把這些問題留給大家思考，期待Hinton教授的講話。
Geoffrey Hinton：
我想對Sylvia剛才說的做一個評論，相信制度，是因為如果這些制度正常運作，他們早就該進監獄了。如果拿氣候變化問題來說，首先得讓人們相信二氧化碳是由人類活動引起的氣候變化的根本原因，只有在做到這一點之後，才能制定出合理的政策。但即使在做到了這一點之後，可能仍然無法得到合理的政策，人們可能依舊繼續補貼石油公司等等，而這只是第一步。
現在我在談論人工智慧的生存威脅，這是一個長期的威脅。雖然有很多短期的威脅更為緊迫，比如網路攻擊、大量失業、疫情等等，還有假影片，這些問題層出不窮。但存在一個長期的生存威脅，那就是我們將創造出比人類更智慧的東西，它們將接管我們的位置。許多人並不把這個問題當回事，而他們不認真對待的原因之一，是他們認為現在的人工智慧系統並不真的“理解”人類。因此，有一群人，比如一些語言學家，他們稱這些人工智慧為“隨機鸚鵡”，只不過是透過一個統計技巧把大量的文字拼湊在一起，看起來像是理解了，但實際上並不像人類的理解方式。而我將主張的是，人工智慧的理解方式和我們一樣。
那些談論“隨機鸚鵡”的人，他們的理解理論來自於經典的符號AI理論，即你大腦中有符號表達式，用某種簡化的語言表示，你透過符號規則對它們進行操作。這個理論從來沒有真正成功過，但他們仍然堅持這個理論，因為他們認為只有透過類似邏輯的方式進行推理才可能擁有智慧，即智慧的本質是推理。其實有一個完全不同的正規化，那就是智慧的本質是學習——人工智慧是在神經網路中進行學習的，視覺和運動控制是基本的，而語言和推理則是在這些基礎之上發展出來的。
我想討論的一個問題是人工智慧是否真的理解？有一個歷史上的細節，大多數人都不知道，那就是這些大語言模型儘管它們看起來能理解，能夠以一個不太精通的專家水平回答任何問題，但它們其實很早就存在了。這來源於我在1985年做的一個模型，它是第一個神經網路語言模型，訓練樣本只有104個，而不是數百億，網路引數大約只有1000個，而不是數萬億。但它確實是一個語言模型，訓練它來預測下一個詞，並透過反向傳播誤差的方式，將輸入符號轉化為神經活動的向量，並學習這些向量如何互動，以預測它要預測的符號的向量。這個模型的目的不是為了某種工程應用，它的目的是為了解釋人們如何理解單詞的含義。因此，我們目前掌握的關於人類理解句子的最佳模型，正是這些語言模型，它們也是唯一能夠實際運作的模型。
我們有很多符號模型，但它們並不太有效，深受著Chomsky的影響。Chomsky成功地說服了幾代語言學家，認為語言不是透過學習獲得的。乍一看，認為語言不是透過學習獲得的，這顯然是荒謬的。但如果能讓人們相信顯而易見的荒謬觀點，那就相當於搞了一個教派，而Chomsky就有一個教派。
語言是透過學習獲得的，語言的結構並不需要天生具備，它是透過資料獲得的，這需要神經網路和學習演算法中具備的結構。Chomsky看不到如何做到這一點，因此他說它必須是天生的，實際上說它是天生的而不是學習來的，是非常愚蠢的，因為這相當於說進化是學習的。而進化是一個比學習更慢的過程，進化之所以產生大腦，就是為了讓人比進化本身更快速地學習。所以我這段話的目的是想讓你相信人工智慧的理解方式和我們是一樣的，接下來再給你一個證據。
許多討論隨機解析的人會說“看，我可以證明它們並不真正理解，因為它們會胡亂編造”。那些人不是心理學家，他們不明白不應該使用“胡亂編造”這個詞，而應該使用“編造”這個詞。自從20世紀初以來，心理學家們一直在研究人類的編造現象，比如一個人回憶某個很久以前發生的事，而在這期間沒有重新回顧過它，人們就會自信地回憶出一些錯誤的細節，因為記憶並不是從某個地方拿出一個檔案，而是由構建一些看似合理的東西組成的。現在，如果你剛剛看到某個事情，並且現在試圖構建一個看似合理的東西，你的細節會比較準確。但如果你看到的是很多年前的事情，現在試圖構建一個看似合理的回憶，首先，它會受到你這段時間學到的所有資訊的影響，你會構建出一個對你來說不錯的記憶，但實際上很多你非常自信的細節是錯誤的。很難證明這一點。
這就是人類記憶的運作方式，所以當這些模型編造內容時，它們就像人一樣，因為人們也會編造，至少我覺得是這樣。
Sylvia Schwaag Serger：Geoffrey，您曾談到過人工智慧的風險，您也提到過必須有某種形式的國際合作來應對這些風險，您認為什麼事情是必須發生的，才能使各國能夠以建設性的方式合作來遏制這些風險？
Geoffrey Hinton：像致命武器這樣的風險，各國是不會合作的，比如俄羅斯和美國不會在戰鬥機器人上進行合作，他們會互相對抗。所有主要的武器供應國——俄羅斯、美國、英國、以色列，可能還有瑞典——都在忙著製造自主致命武器，他們不會自我約束，也不會進行合作。如果看一下歐洲的人工智慧監管，歐洲的規定中有一條明確指出，這些規定不適用於人工智慧的軍事用途。所以顯然，歐洲各國並不想對其進行監管，他們希望繼續發展，看看是否能比其他國家制造更強大的戰鬥機器人，因此我們無法控制這一點。同時，許多其他短期風險也會有同樣的情況，例如，美國不會監管假影片，因為其中一個即將完全掌權的黨派是相信假影片的。
然而，有一個領域可能會看到合作，那就是生存威脅。幾乎所有我認識的研究人員都認為它們會比我們更聰明，只是對它們何時變得更聰明存在分歧，可能是五年後，也可能是三十年後。當它們比我們更聰明時，它們會接管嗎？我們是否能做些事情來防止這種情況發生？因為畢竟是我們創造了它們。各國會在這一點上達成合作，因為沒有哪個國家希望這種情況發生。冷戰高峰時期，蘇聯和美國可以合作防止核戰爭，同樣的方式，他們也會合作防止人工智慧接管人類社會。但在其他領域，我們將無法達成合作。
Sylvia Schwaag Serger：好的，那是一個相對樂觀的觀點。最後一個問題，作為工程科學院，我們專注於解決問題。我想問您，作為一位對當下和未來深感憂慮的家長，您會對今天的年輕人說些什麼？
Geoffrey Hinton：一些人工智慧研究者，比如我的朋友Jali，他曾是我的博士後，他說人工智慧不可能接管，沒什麼可擔心的。不要相信這種說法，因為我們不知道當人工智慧比我們更聰明時會發生什麼，這是完全未知的領域。還有一些並不完全是AI研究者，但對AI瞭解很多的研究的人們，會說99%的機率它們會接管，而正確的策略是現在就炸掉資料中心，這在大公司中並不受歡迎，這也是瘋狂的。
Geoffrey Hinton. 圖片來源：瑞典皇家工程科學院（IVA）
我們正在創造它們，正進入一個巨大的不確定性時代，當我們開始處理比我們更聰明的東西時，我們根本不知道會發生什麼。我們現在有很大的權力，但並不能知道未來會怎樣。人們非常聰明，完全有可能會找到一種方法，讓人工智慧永遠不接管。所以我們現在的處境就像是養了一隻非常可愛的老虎幼崽，但你最好確保它長大後永遠不想殺了你。如果你能確定這一點，那就沒問題。
Sylvia Schwaag Serger：非常感謝。在此，我將把接下來的討論交給Annette Novak，她將引導我們進行小組討論。
Anette Novak：作為IVA資訊科技部門的主席，我感到非常榮幸和自豪，能夠引導大家進入研討會的下一部分，這將是一個小組討論，邀請了一些非常有能力的演講嘉賓，我們有來自近未來學、哲學、計算機科學、人工智慧和人類互動等領域的學者。我們將從簡短的發言開始，為之後與Hinton教授的討論播下些許種子。首先邀請Anders Sandberg，他是斯德哥爾摩未來研究所的研究員，曾是牛津大學人類未來研究所成員。
Anders Sandberg：非常感謝，今天在這裡討論我們對人工智慧的瞭解真是非常有趣，尤其是我的教授也坐在觀眾席中。最令人尷尬的事情之一就是意識到我以前學到的很多東西現在已經不再成立了。事實上，這正是人工智慧領域的一個反面教訓，我們在預測什麼會成功、什麼不會成功方面非常糟糕。早期的人工智慧先驅們曾經自信地說，在這一代人之內，我們將會擁有類人機器，回頭看，這些預測也是錯誤的。
事情有時就是突然開始奏效，發生時令人驚訝，甚至是震驚。2010年代發生的那場革命，使用的是那些已經做了一些有趣事情的網路，但突然之間開始飛速發展，而原因我們至今還沒有完全理解。同理，那些新興的人工智慧成果並不是完全由我們創造的，而是作為一種湧現現象出現的，而我們在理解這些方面有很大的困難。顯然，這表明我們對未來的預測並不準確，且沒有足夠的基礎。這並不意味著我們就應該完全不相信這些預測，因為在許多領域——無論是商業、政治、戰爭，還是愛情——我們往往都需要做出一些預測，儘管這些預測並不牢靠。
當我們面臨一個看起來非常有前景的技術領域時，如何應對挑戰就顯得格外有趣。因為從安全形度來看，這種情況無疑是令人深感憂慮的，即人工智慧到底能走多遠，我們並不清楚。順便問一下，為什麼大模型不能思考呢？畢竟它們只是預測序列。但令人驚訝的是，序列預測實際上可能是思考的一個不錯替代品，即使大型語言模型存在一定的侷限性，也許它們只能規劃短期的思維鏈條，但可能是需要接入另一種架構。沒有什麼能保證聰明的傢伙不會在下週二做出這種改變。同樣，我們也不知道它能多快發展。我們經歷了很長一段時間，看似沒有什麼進展，卻發生了很多。這暗示了我們可能會面臨控制它和了解它發展的困難，而且它似乎能夠走得很遠，這其實是個好訊息，因為人工智慧確實非常有用。
我自己也在使用人工智慧，它解決了一些很有趣的問題，但也有些問題讓我緊張。今天我用一個大型語言模型（LLM）做生物安全演習，我一直在擔心它會告訴我：“Anders，那是生物武器，不要繼續開發了。” 但因為我巧妙地將它表達成一個學術專案，它高興地告訴我需要用什麼樣的病毒來轉染細胞，這讓我感到有點無措和緊張。我不是一個好的生物技術專家，所以大家肯定是安全的，但這也表明我們處於一個高不確定性的局面。謹慎的做法是假設我們會迎來快速且強大的發展，儘管我們無法預測它們，然後採取措施使其變得更安全。所以我喜歡說，我是一個悲觀主義者，因為我很樂觀。
如果人工智慧什麼也做不了，那就沒有理由做任何的應對措施，所以這裡雖然存在風險，但也有一個令人驚歎且美麗的機會。我們確實在這裡學到了一些深刻的東西，有關於我們自己智慧的本質，也有關於其他形式的智慧，最終我們得到了一面鏡子，展示了我們思考的其他方式。
Staffan Truvé：當我還是研究生的時候，有機會在麻省理工待了一年，因為我想學習語言學，正如Hinton教授所說，Chomsky當時是我的偶像。幸運的是，當我到達時，Chomsky正好在休假，一整年都不在，我跟一位認知心理學家合作了。
過去15年，我一直在建立一家公司，或者說一個系統——利用人工智慧來預測對組織、國家等的威脅。所以我想說點什麼，可能和關於短期威脅的說法有所不同。
首先我完全同意，從長遠來看，機器變得足夠智慧，理解到地球的真正威脅是人類，這對我們來說是一個大問題。但在我看來，短期壞人使用人工智慧是我們需要關注的重大威脅。這也是我對監管問題感到擔憂的原因，因為即使能讓全球各國就避免長期威脅達成共識，但從本質上講，短期內的情況是，如果我們假設西方國家、自由世界，或者願意稱之為“好人”的一方，如果我們制定了技術的監管措施，而對於那些不在乎規則的國家，他們將佔有優勢，因為他們不會停止開發。
當然，正因為這項技術如此易得，即便我們進行監管，也無法控制人們是否遵守這些規則。這與核武器完全不同，核武器需要巨大的機器和工廠，而這些都可以被監控、被探測到。即便某些國家可能會偽造並聲稱他們擁有這些技術，但這種情況在很大程度上仍然能被檢測出來。
Staffan Truvé. 圖片來源：瑞典皇家工程科學院（IVA）
我希望我們能回到這個問題，防範壞人利用人工智慧對付我們。我們正面臨一場軍備競賽，每天都在開發基於人工智慧的工具，例如檢測AI生成的影像，以便當虛假新聞傳播時發出警報。但這顯然是一場典型的軍備競賽，生成影像的模型不斷變得更強，檢測這些影像的模型也變得更強，彼此不斷對抗，毫無止境。所以我完全尊重長期的視角，但我也認為我們需要搞清楚——雖然我沒有答案——我們到底該如何防止非常糟糕的事情發生，不是在二十年後，而是在兩年之內？
Kia Höök：當他們邀請我來發言時，我說我不做人工智慧，而且我不喜歡人工智慧。我過去做的符號化人工智慧，我其實一點都不喜歡。最近，我們做了更具體現感的人工智慧專案，比如一個變形的束腹，它模仿歌手在唱歌時如何使用他們的肌肉，使得觀眾能夠在他們的身體上感受到這種變化，所以我們將人工智慧移到身體上來。我會談論威脅，但這是另一種型別的威脅——人工智慧和身體的倫理。
顯然這意味著要談論死亡，讓我解釋一下為什麼死亡很重要。最近我參加了一個會議，Terry說人工智慧並不關心任何事情，也就是人工智慧根本不會在意倫理。而Donna當時也在場，她說智慧是有形體的，它是嵌入在我們身體裡的，它不僅僅存在於大腦中，而是在整個系統中，包括腦幹、肌肉以及整個身體。我的觀點是，人類的智慧實際上是首先在運動中，其次才是語言，因此我對大型語言模型（LLMs）並不感興趣，我對這種體現感的東西更感興趣。如果我們要設計人工智慧，我們需要以一種體現倫理的方式來設計。
首先，擁有倫理需要有身體，因為身體才會被關進監獄，這對於司法系統的運作至關重要。而這並不是我想討論的內容，我想討論的是生物學如何以某種方式決定我們的行為、情感、價值觀等等，這正是如果要走向一種接近我們身體的倫理學時應該去探索的領域。實際上，身體本身的對稱性和上下左右，都在影響人們如何在世界上行動，也影響你們如何對待我。因此，我對自我的理解就是在這個過程中形成的。
我看到在座的女性都把腿併攏，並沒有像男性那樣展腿，儘管女性的骨盆沒問題，如果想像男性那樣做，完全可以，但那是一個規範，所以我們不這麼做。為了生存，我們需要處在一個規範的環境中，從他人那裡學習如何行為，因此文化對我們作為人類的意義至關重要，我們的習慣需要與他人保持一致。如果不一致，人們就不會喜歡我們，我們也無法交到朋友、獲得地位、甚至不能生存。這就是進化的作用所在。
所以，我們可以在進入人工智慧的世界後，與身體深深植根的習慣與規範一起工作並改變它們，人工智慧也會改變我們，改變我們的規範，以及我們在世界上的行動方式。這就是我擔憂的地方，因為那時需要真實表達出當我們與這些系統互動時的感受，這就需要超越那些深深植根於我們內心的習慣和規範，而我們自己是有偏見的，換句話說，我們會得到種族歧視的人工智慧。所以我們需要弄清楚，為什麼這個無形體的人工智慧以一種非常具體現感的方式讓我們感到不安？
我的觀點是，人工智慧與倫理學問題，不僅僅是程式化、法律層面和政策層面的，它是一個感知過程，一個身體的過程，是透過身體和我們有形的自我來體現的，這也是作為設計師的我所能發揮的空間。所以，我想提出一種女性主義的、具體現感的關懷倫理學，應用於人工智慧系統設計的過程之中。我很高興看到大家，你們顯然有很好的習慣，因為你們的地位都很高，穿著得體，你們和你們的身體將塑造這個世界，而你們需要意識到這一點是如何在你們的有形自我中體現出來的。
Anette Novak：這真是一個很好的開始，給大家帶來了很深的感受。現在，請所有的講者上臺。讓我們回到剛才深入探討的某些領域。我猜很多人可能對Hinton感到好奇，所以我想再問一個問題， 比如，考慮到你從事這項研究已經有這麼多年的時間，你是如何堅持下來的？因為你將不同的領域結合起來，而且花了很長時間去探索這些領域，並找到了想要融合的方向。
Geoffrey Hinton：我想知道大腦是如何工作的，但我仍然沒有弄明白。而且正是因為我一直希望能弄明白大腦是如何運作的而獲得諾貝爾生理學或醫學獎。我曾有一個理論，叫做“機器與神經元的理論”，這就是大腦的工作原理，我和Terry共同提出過這個理論，我們當時沒有意識到即使有這樣一個理論也可能是錯誤的。
還有一件事對我幫助很大。尤其是在90年代，計算機科學領域幾乎每個人都說我的研究是胡說八道，都說根本不可能成功。整個想法是透過模擬神經元的網路——儘管這些神經元根本不像真實的神經元——可以隨機連線這些神經元，僅透過檢視資料就能讓它做智慧的事情，但他們認為這是荒謬的，因為必須構建大量的先天結構才能讓它做事情，他們說如果開始嘗試透過梯度訓練，它會陷入區域性最優解。雖然他們從未實際檢查過這是否會發生，但他們堅信這會發生。
當你周圍的每個人都說你做的事是胡說八道時，你是如何堅持下來的？對我來說很簡單，因為我的父母都是無神論者。當我七歲的時候，他們把我送到了一個基督教的私立學校，那裡有很多相信上帝的孩子，還有許多相信上帝的老師。顯然，這些都是毫無意義的。我從很小的時候起就經歷過一些荒謬的事情，這對我研究神經網路很有幫助。
Anette Novak：那麼，如果每個人都認為你是在胡說八道，你是如何獲得資金的呢？（笑）
Geoffrey Hinton：在加拿大，他們會為人們提供基礎研究的資助，雖然資金不多，但我可以非常有效地利用這些資金。這是一個五年的資助，五年結束時，你需要寫一份六頁的報告來說明你做了什麼，而且，這份報告的內容不必完全符合你在資助申請中所承諾的內容。這是一種非常好的研究資助方式。
Staffan Truvé：我的教授曾經也說過幾乎相同的話，他說，衡量一項好研究的標準是優秀的應用和偉大的結果，但並不需要有必要的相關性。
Anette Novak：我希望在場的研究資助者能記住這一點。今天的我們將學術界變成了很多孤島，且往往深耕某一領域，而基礎研究通常就存在這些孤島中。現在我們正朝著更復雜的方向發展嗎？這是否意味著需要更多的跨學科或多學科合作？
Kia Höök：是的，至少對我來說，我的研究小組有歌劇歌手和像我這樣的人工智慧專家、硬體專家、軟體專家、工業設計師等等。所以如果要設計智慧的系統，那麼確實需要跨學科合作。而且現在更加緊迫的，是人文學科、倫理學，以及關心在技術的背景下，如何過上一個有意義的好生活。
Anette Novak：Anders來自澳大利亞，而澳大利亞現在關於人文學科經費削減的問題上有激烈的爭議嗎？
Anders Sandberg：是的。但另一個問題是，學術的“領域”是否真正對應著重要的問題，而現實其實並不符合學術領域的劃分。如果學術領域能夠somehow與現實相符，那將是非常了不起的，但我們並沒有朝著這個方向努力。我們最終形成的這些領域，主要是由於歷史原因，但通常真正有趣的新發現往往是將某個領域的成果應用到其他地方時產生的。
Anders Sandberg. 圖片來源：瑞典皇家工程科學院（IVA）
實際上，這正是我在澳大利亞計劃做的事情。我當時和一位老朋友一起工作，他原本是物理學家和生物學家，他還發現了泡茶時最合適的餅乾浸泡角度，所以現在他被稱為“餅乾浸泡教授”。我們正在組建團隊，試圖學習如何更好地進行跨學科的工作，因為我們在這方面還不夠系統化。我們嘗試去打破這些界限，但資助者給跨學科研究的資金並不多。
Staffan Truvé：需要跨學科合作的一個原因是，今天乃至未來的最大挑戰之一是“交接問題”。未來我們將看到人工智慧與人類的協作，這個問題在某些情況下會非常明顯，比如自動駕駛汽車，大家普遍認為汽車會自己開到某個程度，當它無法處理某個情形時會交給駕駛員，而駕駛員可能正在打瞌睡。因此，機器該如何將它對世界狀態的判斷傳達給人類呢？這種情況適用於所有領域。當我們與威脅分析師合作時，我們也會遇到類似的問題：如何將演算法分析的結果傳達給人類，以便他們繼續工作，或者驗證結果的正確性或錯誤性？為了做到這一點，顯然需要設計師和來自各個領域的人才，才能夠構建這些系統。
Kia Höök：我們實驗室也設計過這方面的系統，我們曾經為自動駕駛汽車設計了一個透過充氣背墊將人喚醒的裝置。
Anette Novak：我們需要回到風險問題上。自從Hinton離開谷歌後，越來越多地公開談論這個問題。既然在這裡與一些技術樂觀的朋友們在一起，我們就不必僅僅談論風險。Hinton在開場時確實提到過，超級智慧即將到來。
Geoffrey Hinton：我的看法是超級智慧以50%的機率，將在5到20年之間到來。幾乎每個人都相信它會到來，只是對時間的看法不同。那些不認為它會到來的，是相信經典語言學和符號AI的人，但幾乎所有了解神經網路的人都認為超級智慧會到來。
Anette Novak：請給我們描述一下，當你說這是一個延伸的機會時，你看到的是什麼？
Geoffrey Hinton：我擔心的一個問題是，人類可能會變得變得無關緊要。2023年初，我意識到了一件長期以來顯而易見的事情，雖然我之前並沒有完全感受到它的情感衝擊，那就是數字智慧可能是比我們現有的智慧更加高效的一種形式。
從本質上看，我們的大腦是一種模擬系統。神經元的活動雖然類似數字訊號，但它們本質上是模擬的。如果我們能夠利用模擬硬體的特殊性質，就能在非常低的功耗下完成許多工。雖然我們不能讓兩臺模擬計算機執行完全相同的任務，但如果每臺計算機都能夠學習，它們依然能夠表現得非常出色。大腦的運作也是如此。
然而，我不能和你分享“大腦的權重”，因為我的神經元和你的神經元之間並沒有一一對應的關係。我們的大腦以低功耗的方式運作，但資訊無法直接共享。所以，假如我們嘗試讓1000個人上1000門不同的課程，每個人的學習結果都可以在背景中平均，以最終掌握所有1000門課程的知識，每個人只需要上其中一門課程，且他們共享的知識會不斷被加權平均。然而，這樣的學習方式對我們的大腦而言並不現實。而數字智慧卻可以做到這一點。它們有一個共享頻寬，可以快速交換並同步海量的權重，數量級可達到數萬億位元。
我們之間共享知識的方式，往往是透過語言表達，而你根據我的話語調整你的認知。我們共享的頻寬非常有限，通常在每秒幾位元左右，遠不及數字智慧之間每秒數萬億位元的共享頻寬。數字智慧在這一點上比我們更具優勢，它們能夠更高效地獲取大量知識，並在這些知識之間建立關聯。
為了將所有知識儲存在有限的突觸中，大腦必須進行大量壓縮。壓縮意味著透過找出不同事物之間的共同點，將這些共性與細微差異結合，來進行資訊的儲存。這使得數字智慧能夠在一個全新的層面上看到許多人類未曾見過的類比和聯絡。因此，它們將比我們更加具有創造力，這讓我感到非常擔憂。
Staffan Truvé：關於這個問題，今天我們所使用的模型仍然非常“人性化”，因為它們會不斷胡亂生成語言，即使它們並不知道自己在說什麼。那麼，你認為模型意識到自己不知道的那一刻，離我們還有多遠？
Geoffrey Hinton：它們在這方面會變得越來越好。它們已經在不斷進步，雖然這種進展是漸進式的，但它們還不像人類那樣擅長意識到自己在“煤氣燈效應”（gaslighting）中的角色。然而，是否能完全停止這種行為，仍然是一個未知的問題。
Kia Höök：另一方面，AI是沒有死亡的，對吧？因此，它們沒有真正的理由去以某種方式行動或不行動。它們仍然沒有具身化，也不在現實世界中運作。所以，風險並不在於這一點。你不會擔心它們的“手臂”被砍掉之類的事情。
Geoffrey Hinton：但是你想看到的具身AI，可能會出現在戰鬥機器人中。如果你是一個小型戰鬥機器人，遇到一個大型戰鬥機器人時，最明智的選擇就是跑開躲藏，因為它們可能會擁有類似杏仁核的機制。它們會有真正的恐懼感，而這不僅僅是某種模擬的數字理論。這個小型戰鬥機器人會害怕大型器人。所以，你會看到所有這些具身的情感機制。我不認為這種恐懼感來源於它們可能“死亡”，這是因為它們需要這些情感機制來幫助自己在世界中生存。
Anders Sandberg：確實，許多強化學習系統需要類似情感的機制。從數學角度來看，它們的目標是最大化未來的預期獎勵，但訓練過程中通常是有限時間內完成這一目標。因此，它們實際上在某種程度上會感到壓力。有些事情比其他事情更糟糕。可以提出一個觀點，正如一些哲學同事所說的，這些機制就像是初步的情感，雖然它們可能不像生物學中的情感那樣優雅和複雜，但它們依然起著相同的作用。當一個意外的獎勵沒有到來時，失望便成為一個非常重要的學習訊號，這在機器人和人類身上都能看到，雖然機器人可能對此表現得更加冷靜。
Geoffrey Hinton：關於提到的讓AI系統檢測偽造影片的評論，曾經這是一個好主意，但現在我有些絕望，因為檢測器和生成器之間存在一場軍備競賽，這就是所謂的生成對抗網路（GANs），在擴散模型出現前，它曾是生成高質量影像的主要方法。現在人們普遍認為，檢測偽造影片基本上是無望的。
我們真正需要做的是檢查影片的來源，即需要一種方法來追溯影片的出處。舉例來說，對於政治影片，我們應該能夠追溯到那個影片所屬的政治活動的網站，如果能在該網站上找到完全相同的影片，並且確信那個網站確實屬於該活動（網站是唯一的，所以這並不困難），那麼就可以相信這個影片。反之，如果找不到這樣的出處，就不能相信它。未來，瀏覽器可能會做幾乎所有這些工作。就像現在當你收到垃圾郵件時，好的瀏覽器會提示你這可能是垃圾郵件一樣。隨著能夠追溯到資訊源的技術發展，我們在確認事物真實性方面會做得更好，而且媒體機構也會支援這一點。如《紐約時報》就非常支援這個想法。最終，唯一能夠完全信任的可能就是《紐約時報》了。
Staffan Truvé：我完全同意這個觀點。但問題在於，人們需要做的並不僅僅是認證品牌、瀏覽器和伺服器。實際上，我們還需要從裝置層面進行進一步的驗證，也就是需要知道是哪個相機在特定的位置拍攝了那張照片。這並不是火箭科學，基本上是現有技術能夠實現的，但我們需要重新思考如何構建網際網路的架構。
Anders Sandberg：這與你的觀點有趣地聯絡在一起。當我考慮在科學中使用AI時，顯而易見的做法是讓它閱讀所有科學文獻。但問題是，許多科學文獻實際上是錯誤的，有些甚至是偽造的，很多是質量較差的論文。為了讓AI在科學中學到有用的東西，它可能需要進入實驗室並進行實驗，這就是來源驗證的核心所在。透過實驗，就能獲得紮實的基礎，真正瞭解實驗會產生什麼樣的結果。而要做到這一點，顯然需要某種形式的體現，不管是實驗室機器人、感測器，還是其他可以從現實中獲得反饋的工具。要讓AI超越我們並以有用的方式發揮作用，這一步是非常必要的。
Kia Höök：考慮到Anette實際上是一名記者，我們應該記得，距離沒有照片或影片的時代並不遙遠。那時候，確實很難相信資訊。200年前，我們的處境與現在差不多，而那只是歷史中的一瞬間。曾經，你可以相信照片或影片，但如今，我們又回到了透過我們信任的方式傳播新聞和資訊的問題。因此，有時候AI的發展缺乏歷史感。
Geoffrey Hinton：幾百年前，在英國曾有政治小冊子，並且有一項法律要求，如果你釋出自由主義的小冊子，必須註明印刷商的名字。這樣，就能得到某種形式的來源驗證，因為當時的瓶頸是印刷機。印刷商的名字會出現在上面，這讓偽造這些小冊子變得更困難。而這正是我們現在需要做的。
Anette Novak：那麼，為什麼我們在創造照片的技術時沒有立刻採取類似的做法呢？
Staffan Truvé：幾年前，我們曾展示過由機器人拍攝的照片，並提出過這樣的問題：如果你能回到過去重新設計網際網路，你會怎麼做？他說的正是這個問題——真實性和驗證的能力。但在當時，網際網路只有200人，而且他們彼此都認識，而現在情況完全不同了。
Anette Novak：這正是我想結束這一部分討論的地方，因為現在的關鍵在於我們所處的位置提供了一個本地化和類比化的機會。只有當你認識某個人、瞭解某些事物的來源時，才能信任它。因此，這裡存在著一種與身體接近的機會，或者說，可能是本地社群的機會。你提到了《紐約時報》，但也許正是小型且緊密的媒體公司在這裡能夠發揮作用。
Anette Novak. 圖片來源：瑞典皇家工程科學院（IVA）
或許我想回到你一開始提到的內容，也就是回到完全的風險場景，因為現在你變得非常建設性，開始解決問題了。我們有戰鬥機器人，我們面臨生存威脅，我們是應該將這些風險構建進技術中，還是應該圍繞技術構建一些防範措施，以避免最糟糕的情況發生？
Geoffrey Hinton：我們真的不知道如何控制比我們更智慧的東西，我們也不知道這是否可能。這大機率不可能，但我不認為我們會停止AI的發展，因為它在許多方面都非常有用。潘多拉的盒子裡有太多短期的利益可以從中獲益。在資本主義社會中，你無法僅僅停止它。
我沒有簽署“我們應該放慢發展”的請願書，那是瘋狂的，我們不會那樣做。我們已經被困在這個事實中，AI將繼續發展，我們必須弄清楚是否能安全地做到這一點？我們應該集中精力解決這個問題，但我們不知道解決方案會是什麼樣子。我們只能希望最終能找到一個解決方案。如果人類因此消失，而我們沒有去尋找解決方案，那將是非常可惜的。
Anders Sandberg：我已經參與AI安全社群相當長的時間了，甚至在90年代就加入過郵件列表。當時，Yudkowsky還沒有意識到AI可能帶來的危險，他一度支援即將到來的奇點（singularity）。但後來，他意識到我們需要解決一些安全問題，於是我們開始著手研究這些問題。隨著時間的推移，這變得越來越困難、越來越具有挑戰性，但也越來越有趣。今天，讓我感到樂觀的是確實有很多人正在做有意義的工作。
我們正在檢測AI系統內部的狀態，儘管可能無法做到完美的解釋，但我們確實在不斷進步。我們已經找到了一些方法，甚至能夠檢測出AI是否在進行欺騙。儘管從哲學角度講，欺騙是一個複雜的問題，涉及未知的意圖，但我們正逐漸獲得相應的工具。雖然我的一些同事比較悲觀，認為這些工具還不夠完善，而我非常樂觀，如果我們真心投入其中，最終能夠做到。
Staffan Truvé：我現在意識到，我們需要做的是當構建出第一個超級智慧時，首先的任務應該是讓它告訴我們如何保護它，或者如何保護我們免受它的威脅，也許這聽起來有些矛盾。
Anette Novak：在這個話題上，關於具身化和連線，我也在思考你的研究。學習的一部分是社會規範和羞恥感等。當你回顧心理學的演化，尤其是在孩子成長過程中，有一種非常強烈的機制來引導他們走上正確的道路。那是否有可能存在這樣的機制，即我們能否教會這些系統在做錯事時感到羞恥？
Kia Höök：它們是否需要擁有某種情感系統？它們確實需要這樣做，以便以某種特定的方式進行學習。但更重要的是，這也與我們自己對自身的理解相關，因為它們所依賴的資料來源於人類社會、自然以及我們所寫的內容等等。因此，我們需要更清楚地理解我們自己所感受到的是什麼。比如，如果你看到一個帶有種族偏見的面部識別系統並感到尷尬，那麼你需要問問自己，為什麼會在這個種族偏見的系統面前感到尷尬？只有當你能夠闡明問題的根源時，你才能真正理解其中的問題所在。
但我們也面臨很多其他更為複雜的倫理問題。當你感覺到某種不對勁，或者你感受到某種限制自由或可能性時，你就需要能夠闡明這一點。很多倫理敏感性並沒有被明確表達出來，更多的是情感上的、身體上的反應，這使得它更難以言表。這也是為什麼我們需要新的設計方法來解決這些問題。
Anders Sandberg：同樣值得注意的是，我們可以採用許多設計方法將這些因素結合在一起。這就像瑞士的瑞士乳酪安全概念，每一層安全就像一片瑞士乳酪，雖然每片都有許多漏洞，但如果你有足夠多的層級，某些東西完全穿透的機率就會非常低。因此，我們可能需要設計一些類似“圖靈警察”的機制來檢查AI系統，制定一些培訓標準。還可以加入情感系統，為小型AI程式制定類似育兒的標準，進行良好的“養育”和優質的教育。將這些元素結合在一起，可能會讓AI系統變得足夠可靠。
Geoffrey Hinton：讓AI系統更安全、更符合倫理的一個關鍵方面是，這些系統更像孩子，而不是單純的計算機程式碼。過去，當我們編寫程式讓計算機執行某些任務時，我們可以逐行檢視程式碼並理解它們的功能。即使程式碼行數達到一百萬行，也許很難一一檢查，但至少是可控的。而現在訓練這些系統，是讓它們從資料中學習並提取模式。因此選擇哪些資料來訓練這些系統變得非常重要。
目前，像GPT-4這樣的模型是透過使用所有可獲取的資料進行訓練的。按照我的理解，它可能會被訓練在一些極端內容上，比如連環殺手的日記。如果你在教孩子讀書時，會選擇連環殺手的日記作為早期閱讀材料嗎？雖然孩子們可能覺得這些內容有趣，但這顯然不是你會選擇的材料。
AI系統的倫理問題將源自於資料的選擇和策劃。作為父母，你有兩種方式來影響孩子：一種是透過獎勵和懲罰，但這並不總是有效；另一種是透過樹立良好的榜樣，這樣通常更有效。如果你告訴孩子不要撒謊，但自己卻經常撒謊，這顯然不會奏效。所以，倫理問題的根源在於如何樹立良好的榜樣。
Kia Höök：關於如何處理和審視資料，女權主義理論、殘障理論以及去殖民化的資料理論提供了非常好的視角。這些資料到底來自哪裡？我們是從誰那裡收集資料的？而又沒有回饋給那些為這些系統提供訓練資料的人，特別是那些在奈及利亞等地做資料標註工作的人？這是我們需要做大量工作的地方。因此，資料不僅僅包括我們餵給AI的資料，如何構建這些資料集也是一個重要的問題。
Kia Höök. 圖片來源：瑞典皇家工程科學院（IVA）
Anette Novak：在討論這個問題時有一個假設，那就是AI一定會變得更智慧。但另一個問題是，AI是否會永遠缺失某些部分的智慧？我們還沒有深入探討那些本質上屬於人類的特質，機器是否永遠無法擁有這些特質。
Geoffrey Hinton：我想花五分鐘談談這個問題，因為很多人會提出最後一道防線，認為“是的，但它們沒有主觀體驗、意識或知覺”。我的觀點是，目前的多模態聊天機器人可能真的有主觀體驗，這與我們如何理解主觀體驗有關。
大多數人對大腦的理解是，它像一個劇院，裡面有些東西只有我能看到。如果你問一個哲學傢什麼是主觀體驗，他們通常會談論“質感”。假設我吃了藥，或者喝了很多酒，突然開始看到粉色大象漂浮在我面前，我告訴你我有粉色大象漂浮的主觀體驗，它們由粉色的質感、象的質感、漂浮的質感等組成。這是哲學家的說法，完全是胡說八道，哲學家們對於“內在感知”的理解完全是錯的。我說的主觀體驗其實是：我相信我的感知系統在騙我。這樣說的原因是，它試圖讓我相信外部世界的某些事情是正確的，即便我知道它在誤導我。
當我說“有粉色大象漂浮在我面前”時等同於說”我的感知系統在欺騙我“，但如果外部世界真有這些粉色大象漂浮在那裡，那麼它的說法就是正確的。因此，這些粉色的大象是現實世界中的大象，儘管它們是反事實的——如果它們真的存在，它們會是現實世界中的事物。
我舉個例子說明一個多模態聊天機器人如何擁有主觀體驗。假設我有一個汽車聊天機器人，它可以旋轉、指向，並且有機械臂和視覺系統。我把一個物體放到它面前，告訴它指向它，它就會指向。然後，我把一個稜鏡放到它的鏡頭前，機器人並不知道這一點，感知系統因此受到干擾。而我再次把一個物體放到它面前，告訴它指向那個物體，它卻不能正常指向。這時，我告訴它“你的鏡頭前面放了一個稜鏡，它彎曲了光線。”於是機器人說：“哦，我明白了，稜鏡彎曲了光線，所以物體其實應該在那兒，我曾經有過它在那裡時的主觀體驗。”
如果它這麼說，那麼它實際上就是在以類似我們理解“主觀體驗”的方式來解釋自己的感知錯亂，這種體驗就是它的感知系統出錯了，透過解釋外界世界應有的樣子來理解其錯誤。對我們來說是這樣，對聊天機器人也是一樣的。
Kia Höök：但你在以一種非常特定的方式定義主觀體驗，似乎它總是涉及真假問題。主觀體驗總是存在的。如果你認為有任何完全客觀的東西，那麼你就錯了。
Geoffrey Hinton：我的觀點有所不同。我曾和一些女權主義者就絕對真理問題展開過討論，我相信有些東西確實是真實的。例如，我現在看到一隻玻璃杯，我正客觀地看到這隻玻璃杯。
Anette Novak：我們以後再討論這個問題。而現在，我們一直在討論AGI（通用人工智慧）的出現和潛在危險。那麼，我們應該關注哪些里程碑？是否有任何觀察平臺或者類似的機制在跟蹤和報告這些里程碑的演變？
Geoffrey Hinton：這個問題不完全是我能回答的。OpenAI設定了一些里程碑，他們設定了幾個階段，目前他們處於第三階段，如果他們達到了第五階段，那就可以稱為AGI。去年春天我離開谷歌時，我停止了閱讀相關文獻，並且本打算退休。我離開谷歌的原因是想退休，同時順便提到這些技術可能帶來的危險，結果我沒有真的退休，反而繼續參與其中。
Anders Sandberg：從某種意義上來說這些觀點是合理的，只是表達得有些鬆散。當我回顧這些內容時，我會想該怎麼量化，這可能對歐盟AI法案更為相關，因為在這個法案中，實際上需要有一些具體的標準，這些標準將被立法並可能由檢查員來審查。他們需要能夠區分一個程式是屬於2級還是3級，因此需要一個相當嚴格的定義。不過，許多人確實在推動一些類似自我意識的標準。Anthropic提出，如果發現系統有任何自我意識的跡象，我們會立即停止訓練。而他們也確實發現了一些跡象，大家都笑著說，“這不很酷嗎？”然後就繼續訓練了。
Staffan Truvé：如果我們看到AGI（通用人工智慧），我們真的能識別它嗎？還是說它會超越我們？
Geoffrey Hinton：你會知道它，因為它掌控了局面。識別它的一種方式是，你和這個AI系統——比如一個大型的聊天機器人——進行辯論，而你總是輸。這也是我們識別AlphaGo的方法，AlphaGo的表現就是比人類下得更好，人類總是會輸。
Anette Novak：另一個來自觀眾的技術性問題是，人類大腦似乎比大型基礎AI模型更加節能。那麼，我們如何才能讓這些模型更節能呢？
Geoffrey Hinton：我們能夠更節能，是因為我們的大腦是模擬的系統，沒有硬體和軟體的分離。我們大腦中的神經網路權重是專門為這些特定的神經元、特定的連線方式以及所有神經元之間的相互作用而設計的，這些權重對這些神經元來說是非常有效的。
與此不同的是數字技術，它依賴於電晶體，而消耗大量能量，這些硬體在指令級別上執行相同的操作。為了做到這一點，就必須精確製造硬體，需要非常高的功率。數字技術只處理“0”和“1”，而不像模擬系統那樣能處理更精細的狀態。儘管這種方法有它的優點——兩個不同的硬體可以學習不同的東西並共享彼此學到的內容，但它的缺點是能量消耗較大。問題是，這種共享的優勢是否足以彌補它所消耗的更多能量？
我們進化出了模擬智慧，而沒有進化出數字智慧，是因為它涉及到過高的能量消耗。但數字智慧可能是更高效的。雖然能量消耗可能過於極端，但數字智慧的效率可能更高。
當然，如果我們能找到適當的方法，在模擬神經網路中進行學習，也許我們可以構建出比數字神經網路更強大的模擬神經網路。儘管它們不能相互共享學習內容，但其中一個系統仍可以學習大量資訊。單個系統不可能處理所有資料，尤其是在涉及到現實世界行動時，因為在現實世界中行動無法像數字系統那樣透過加速來完成，你必須在世界中實際行動，這一過程是緩慢且順序的。因此，不可能透過一個系統處理所有資料，這也是為什麼數字智慧最終無法與模擬智慧競爭的原因。
Geoffrey Hinton. 圖片來源：瑞典皇家工程科學院（IVA）
Anette Novak：你曾說過你要退休，但聽起來你依然對這個問題保持深厚的興趣。
Geoffrey Hinton：實際上，正是我在當時從事的工作讓我決定退休，因為模擬智慧無法與數字智慧競爭。
Anette Novak：關於能源效率，你有什麼看法嗎？
Anders Sandberg：這是一個非常有趣的問題，尤其是關於極限的所在。根據蘭道原理，提升1位元資訊需要付出一定的熱力學成本，而我們現在距離這個極限還有很長的距離。大腦在20到25瓦特的功率下執行已經接近這一極限，但依然距離這一極限還有七個數量級的差距。所以，在我們當前的宇宙中，數學並沒有達到非常智慧的水平。但隨著技術變得越來越先進，我們也會變得更加擅長製造這些技術。我們可能會獲得各種效率的進展，比如希望擁有高效能的機器人，希望擁有可複製的智慧，這可能需要更多的能源，或者希望擁有量子計算機，儘管它們有自己的一些缺點，因為它們非常脆弱，需要隔離。
Geoffrey Hinton：我記得有人曾經說過，我們目前的局面是：我們擁有舊石器時代的大腦、中世紀的制度，以及類神的技術。
Kia Höök：另一個可能的方向，雖然不一定能解決能源問題，但對於具身智慧來說，許多實驗已經開始在生物材料方面進行。因此，解決方案可能不在我們今天所知的傳統硬體上，而是使用其他材料，甚至是培養出新的材料。
Anette Novak：我現在對當前的討論有一個擔憂。我們正處於人工智慧熱潮的巔峰，但在大多數辯論中，尤其是在這場辯論中，聲音主要來自男性。而幾乎所有在研討會前發給我們的提問，也幾乎都是來自男性的提問者。因此，我現在要問一下觀眾——並且我要非常權威地說，只有女性才可以提問。
觀眾1：我有兩個問題。我先從第一個開始。當我們討論這些系統時，大多數人認為它們可能對我們有害，甚至有些邪惡。為什麼我們不假設世界上更多的是好人而不是壞人？因此，這些系統應該是好的系統，而不是壞的系統？
第二個問題是，如果我們回顧歷史，我們發現每當我們創造新系統時，我們通常能夠學會如何與它們相處，並將它們融入我們的生活，而不是看作是與我們分離的東西。那麼，為什麼我們不認為我們將與這些系統融合，並一起變得更好呢？
Geoffrey Hinton：我同意，世界上好人確實比壞人多。不幸的是，壞人往往處於權力的頂端。
Staffan Truvé：人們常稱之為“防守者困境”：攻擊者只需要成功一次，而防守者必須每次都成功。因此，隨著時間的推移，機率通常對好人不利。
Kia Höök：我們需要探索其他方法來處理這些問題，並將這些方法傳授給我們的年輕一代。在瑞典KTH技術學院，我們正在教授學生以新的方式思考這些系統，確保在實際實施時能夠強調它們的積極部分。透過與年輕學生的互動，我們可以推動這種變革。我聽說歐盟很快會規定，所有計算機科學系必須聘請來自人文學科和社會科學領域的人員。這樣的問題需要以一種有深度、有知識、有良好理論理解的方式來提問，既要理解資料，也要理解演算法，以及我們如何構建這些演算法。
Anders Sandberg：這很重要，每個文科學院也應該有一位工程師。你的第二個問題也很有趣，因為當我們使用工具時，它們會逐漸融入我們的身體意識，至少對許多簡單工具來說是這樣。比如，如果我手裡拿著一根長木棒，我的個人空間感就會發生變化，甚至可以透過大腦成像看到這些變化。對許多認知工具也一樣。我使用的智慧手機和筆記型電腦，實際上也成為了我思維的一部分，它們擴充套件了我的認知能力。我們的社會中也有類似的社交擴充套件，許多形式的認知擴充套件正在發生。
現在發生的令人著迷的事情是，越來越多的演算法和軟體開始滲透進來。我不久前意識到，維基百科已經成為我記憶的一部分，這意味著我的記憶已經被編輯者所影響。很多機器人也在編輯維基百科，這在許多方面是有益的，但這也意味著，我的記憶實際上在受到人工智慧的增強。我對維基百科有一定的信任，但對於其他一些系統，我並不確定是否應該信任它們。在我們擴充套件自我的過程中，開發出能夠確保可信度的方法將變得至關重要。
Kia Höök：我不想使用“信任”這個詞。這個概念本身有問題，它掩蓋了許多更深層次的議題。
Anette Novak：最後一個來自觀眾的問題。
觀眾2：我在谷歌從事公共政策工作。我對這個小組討論很感興趣，尤其是你們提到的Hinton教授關於治理的觀點。如果我們既看到了潛力，又意識到了風險，我們應該如何確保最終是潛力和機會佔上風？
Geoffrey Hinton：在我之前在Google工作時，Google處於領先地位，特別是在2017年左右及其後的幾年，他們釋出了Transformer模型，並且可能現在對釋出它感到後悔。那時，Google擁有比任何其他公司更先進的聊天機器人，並且非常負責任地沒有釋出這些機器人，因為他們看到微軟釋出的聊天機器人很快就開始傳播種族歧視的仇恨言論。Google非常重視自己的聲譽，不希望破壞它。所以，他們沒有釋出這些聊天機器人，並不是因為倫理原因，而是因為他們不想破壞自己的聲譽。但無論如何，他們的做法是非常負責任的。
然而，一旦OpenAI與微軟達成協議，Google就無法再保持這種做法了。為了競爭，Google必須釋出產品、推出聊天機器人。因此，當進入資本主義體系後，尤其是當公司由CEO領導，股票期權和短期利潤驅動時，短期利潤最終會壓倒一切。這正是在OpenAI中看到的情況，OpenAI實際上是一個即時實驗，展示了AI安全與利潤之間的衝突。
圖片來源：瑞典皇家工程科學院（IVA）
Kia Höök：我記得最早這個聊天機器人是在亞洲釋出的，效果很好。但當它在英國發布時，僅僅過了24小時，它就開始表現出種族主義傾向並使用髒話。
Geoffrey Hinton：幾乎可以肯定是男性使用者。（笑）
Anette Novak：我想提出一個問題，這個問題既是我自己的，也融合了觀眾的提問。我們對Hinton這一了不起的成就（諾貝爾獎）表示熱烈祝賀。正如你所知道的，諾貝爾本身也是一位發明家，他透過炸藥的專利賺取了財富，炸藥雖然為人類服務，但也導致了許多人喪命。觀眾提到的類似反思也包括奧本海默的例子，關於他對於自己發明的第二思考，以及他想要限制它。因此，我的問題是關於遺憾的，你有遺憾嗎？
Geoffrey Hinton：我想區分兩種遺憾。第一種是內疚的遺憾，即你明知道自己不該做某件事，但還是做了。第二種是，再次處在相同的情況下，擁有相同的資訊，你依然會做同樣的決定。然後過了很久，你才意識到這件事帶來了不良後果，而當時你並沒有足夠的資訊來預見這些後果。所以，我並沒有感到內疚的遺憾，但我確實在想，如果我們沒有這麼快地推動技術發展，可能會更好。
Anette Novak：非常感謝您的回答。聖誕節快到了，我感覺我們已經進入了節日的氛圍，也到了許願清單的時刻。所以我想以一個非常簡短的環節來結束這個討論。每個人可以分享一個願望，您可以把這個願望送給研發社群、政府，或者任何您想要的地方，甚至是研究領域。
Kia Höök：我的願望是跨學科合作。正如我們今天聽到的，這些問題非常複雜，涉及深刻的哲學思考。它關係到如何使我們的生活對我們自己和地球更好，而這個問題並不容易解決。所以，我希望能有更多的跨學科合作。
Anders Sandberg：我完全認同這個願望。在思考如何讓AI更安全時，我們需要跨學科的合作。我們已經嘗試過一些方法，這些方法對那些致力於提升AI安全的人來說有意義，但可能還有一些方法是我們還未嘗試的，實際上可能非常有用。即使我們從技術解決方案的角度來看，目前的方法可能仍然侷限於少數幾種選擇，我們需要更多樣化的途徑來應對這個問題。即使我們不專門為了安全目標而工作，也可能會發現一些關於我們自己或機器的驚人事物。
Staffan Truvé：我不太喜歡這類問題。也許我會選擇國際合作而非單純的國別合作。正如你所說，確實有些領域各國難以合作，但至少我們可以嘗試在國際層面上儘可能合作，共同推動技術朝著正確的方向發展。
Geoffrey Hinton：我希望這個聖誕節我能得到這個問題的答案：大腦是否實現了某種形式的反向傳播？
4. 小結
Anette Novak：我們現在將進入一個小的總結環節，有請研究員和計算機科學教授Fredrik Heintz。
Fredrik Heintz：我有一個小任務是總結一下今天我們討論的內容。今天我們首先討論了一個問題：當你感到不舒服時，你會怎麼做？以及如何接受不舒服的情境。
但今天的討論觸及了一個更大的問題，那就是智慧是什麼？我們能否構建真正智慧的人工系統？我們探討了一個非常有趣的觀點，即數字智慧在某些方面優於模擬智慧。這一觀點非常有意思，或許智慧的實現依賴於所使用的基礎結構，這將決定它能夠實現什麼，然而，我們現在只能模擬。也許正是因為我們身體的存在——這是一種限制，或許也是我們存在的原因，或者更準確地說是我們的潛力所在。
今天的討論同樣有趣的一個方面是，智慧的本質是推理還是學習？就我個人而言，鑑於我的實驗室叫做“推理與學習實驗室”，顯然我更傾向於推理。然而，二者如何結合並共存也是一個非常重要的話題。今天更為吸引我的，是關於“我”的話題，我們談到了主觀經驗。對我來說，一個大問題是：AI系統是否真的擁有主觀性？而“擁有主觀性”意味著什麼？我並不質疑它們是否有感知能力，或者它們是否能被欺騙，但如果要有一個“我”需要具備什麼？也許正是缺乏“我”的存在，使得數字智慧在某些方面優於模擬智慧。
Fredrik Heintz。圖片來源：瑞典皇家工程科學院（IVA）
我們也討論了另一個重要的話題——知識共享。數字系統的一個優勢是它能夠共享知識，並且還能壓縮知識。透過壓縮，它在事實與資訊之間創造了新的連線，而這種壓縮本身或許能改善我們的理解，甚至產生一些新的、出乎意料的連線。我們也討論了風險、倫理等問題，特別是如何透過建立用於訓練AI模型的資料來解決這些問題。這也是一個值得深入思考的話題。我們還探討了如何將反饋強化機制結合起來，以期推動這些模型更合理地發展，更符合我們的期望。
總結來說，我在介紹自己時提到，我是計算機科學的教授。接著，有人回應說：“我一生從未上過計算機科學的課，但我卻拿到了圖靈獎。”有人又說：“哦，我不做物理研究，但我拿了諾貝爾物理學獎。”這讓我感到驚訝，也給了我們所有人希望。或許有一天，我們也能取得偉大的成就。而有意思的是，AI作為一個領域，它觸及、連線並利用了許多其他學科。
回到諾貝爾獎的問題，有一個非常有趣的思考：什麼時候每個諾貝爾獎都會由AI支援？或者說，什麼時候一個人能借助AI獲得所有諾貝爾獎？甚至，AI本身是否有可能獲得諾貝爾獎？這個問題可能更具爭議，但如果要總結今天的討論，Hinton提到的高度不確定性是我們大家都能認同的一點：未來充滿了許多不確定性，我們根本無法預見會發生什麼。作為一名科學家和研究人員，我把這看作是一項挑戰。因此我鼓勵大家，讓我們一起探索答案，共同解決這個問題，謝謝！
Anette Novak：非常感謝大家，今天的討論真是令人震撼，我們都被這些內容激發了能量。在某種程度上，我們正踏入未知領域。一句俗語是：當你非常強大的時候，你需要非常友善。所以，我們在推進模型的時候，應該把這種精神融入其中。
原文：Seminar with Professor Geoffrey Hinton, at the Royal Swedish Academy of Engineering Sciences (IVA)，連結：https://www.iva.se/en/what-iva-does/events/Seminar-with-Professor-Geoffrey-Hinton/
宣告：中文原文首發於微信公眾號“Z Potentials”。
星標《賽先生》公眾號，
歡迎關注我們，投稿、授權等請聯絡
合作請新增微信SxsLive2022